業務メモ。
適当にスルーしてください。
Hadoopのチューニングで使われる設定について。
| パラメータ | 説明 | メモ |
|---|---|---|
| HADOOP_OPTS | デーモンのJava起動オプション | ヒープサイズを設定したり、並列GC、コンカレントGCを使用するなど |
-server -XX:+UseParallelGC -XX:+UseConcMarkSweepGC -Xms1500m -Xmx1500m
| パラメータ | 説明 | メモ |
|---|---|---|
| mapred.tasktracker (map|reduce).tasks.maximum |
個々のTaskTrackerで同時に走るMap/Reduceの最大タスク数 | デフォルトは2、コア数-1くらいが良い感じ |
| mapred.child.java.opts | MapReduceの子JVMのオプション | メモリが足りない時に、最大ヒープサイズを設定するなど |
mapred.child.java.opts の設定は、JobConf実行時に設定可。
(hadoop-site.xml の設定項目は実行時に設定できるものとできないものがある)
[java]
public class Test {
public static void main(String[] args) throws Exception {
JobConf conf = new JobConf(Test.class);
conf.setMapperClass(Map.class);
// 子JVMの最大ヒープサイズを設定
conf.set(“mapred.child.java.opts”, “-Xmx512m”);
…
}
}
[/java]