業務メモ。
適当にスルーしてください。
Hadoopのチューニングで使われる設定について。
| パラメータ | 説明 | メモ |
|---|---|---|
| HADOOP_OPTS | デーモンのJava起動オプション | ヒープサイズを設定したり、並列GC、コンカレントGCを使用するなど |
|
1 |
-server -XX:+UseParallelGC -XX:+UseConcMarkSweepGC -Xms1500m -Xmx1500m |
| パラメータ | 説明 | メモ |
|---|---|---|
| mapred.tasktracker (map|reduce).tasks.maximum |
個々のTaskTrackerで同時に走るMap/Reduceの最大タスク数 | デフォルトは2、コア数-1くらいが良い感じ |
| mapred.child.java.opts | MapReduceの子JVMのオプション | メモリが足りない時に、最大ヒープサイズを設定するなど |
mapred.child.java.opts の設定は、JobConf実行時に設定可。
(hadoop-site.xml の設定項目は実行時に設定できるものとできないものがある)
|
1 2 3 4 5 6 7 8 9 |
public class Test { public static void main(String[] args) throws Exception { JobConf conf = new JobConf(Test.class); conf.setMapperClass(Map.class); // 子JVMの最大ヒープサイズを設定 conf.set("mapred.child.java.opts", "-Xmx512m"); ... } } |