Rest Term

Hadoop関連メモ

Pocket

業務メモ。
適当にスルーしてください。

Hadoopのチューニングで使われる設定について。

hadoop-env.sh
パラメータ 説明 メモ
HADOOP_OPTS デーモンのJava起動オプション ヒープサイズを設定したり、並列GC、コンカレントGCを使用するなど

hadoop-site.xml
パラメータ 説明 メモ
mapred.tasktracker
(map|reduce).tasks.maximum
個々のTaskTrackerで同時に走るMap/Reduceの最大タスク数 デフォルトは2、コア数-1くらいが良い感じ
mapred.child.java.opts MapReduceの子JVMのオプション メモリが足りない時に、最大ヒープサイズを設定するなど

mapred.child.java.opts の設定は、JobConf実行時に設定可。
(hadoop-site.xml の設定項目は実行時に設定できるものとできないものがある)

あわせて読む:

 

Tags: ,

Comments

No comments so far.

  • Leave a Reply
     
    Your gravatar
    Your Name