Hadoop関連メモ

業務メモ。
適当にスルーしてください。

Hadoopのチューニングで使われる設定について。

hadoop-env.sh
パラメータ	説明	メモ
HADOOP_OPTS	デーモンのJava起動オプション	ヒープサイズを設定したり、並列GC、コンカレントGCを使用するなど

-server -XX:+UseParallelGC -XX:+UseConcMarkSweepGC -Xms1500m -Xmx1500m

1	-server -XX:+UseParallelGC -XX:+UseConcMarkSweepGC -Xms1500m -Xmx1500m

hadoop-site.xml
パラメータ	説明	メモ
mapred.tasktracker (map\|reduce).tasks.maximum	個々のTaskTrackerで同時に走るMap/Reduceの最大タスク数	デフォルトは2、コア数-1くらいが良い感じ
mapred.child.java.opts	MapReduceの子JVMのオプション	メモリが足りない時に、最大ヒープサイズを設定するなど

mapred.child.java.opts の設定は、JobConf実行時に設定可。
(hadoop-site.xml の設定項目は実行時に設定できるものとできないものがある)

public class Test {
  public static void main(String[] args) throws Exception {
    JobConf conf = new JobConf(Test.class);
    conf.setMapperClass(Map.class);
    // 子JVMの最大ヒープサイズを設定
    conf.set("mapred.child.java.opts", "-Xmx512m");
    ...
  }
}

public class Test {

public static void main(String[] args) throws Exception {

JobConf conf = new JobConf(Test.class);

conf.setMapperClass(Map.class);

// 子JVMの最大ヒープサイズを設定

conf.set("mapred.child.java.opts", "-Xmx512m");

...

}

あわせて読む:

コメントを残す