Hadoop関連メモ 3

業務メモ。 適当にスルーしてください。 圧縮 ・可能な限りスプリット可能な圧縮形式で圧縮 ・空間,時間効率のバランスを考えるとLZO推奨 ・サイズの大きなgzipファイルを入力にしてはいけない ・gzipファイルを利用す…

Hadoop関連メモ

業務メモ。 適当にスルーしてください。 Hadoopのチューニングで使われる設定について。 hadoop-env.sh パラメータ 説明 メモ HADOOP_OPTS デーモンのJava起動オプション ヒープサイズを設定…