Web関連技術の話など
業務メモ。 適当にスルーしてください。 SequenceFile SequenceFileは、<key, value>形式でデータを保持する。 テキストをそのままMapで読み込むと、keyにバイトオフセット、valueに入力テキストが入るが、SequenceFile形式だとkey, valueをそのままMapの入力とすることができる。 また、圧縮していても各ノードに分散される(gzipは分散されない)。 hadoop fs -textとすれば、コマンドラインからテキスト形式で内容を出…
業務メモ。 適当にスルーしてください。 Hadoopのチューニングで使われる設定について。 hadoop-env.sh パラメータ 説明 メモ HADOOP_OPTS デーモンのJava起動オプション ヒープサイズを設定したり、並列GC、コンカレントGCを使用するなど -server -XX:+UseParallelGC -XX:+UseConcMarkSweepGC -Xms1500m -Xmx1500m hadoop-site.xml パラメータ 説明 メモ mapred.tasktrack…
wonderfl,jsdo.it Meetup #1 補欠繰り上がりになったので参加させていだたきました。 僕の本業とはかけ離れた層の方々がFlash,HTML5について様々な話をしていました。 普段は地面の下を潜って水道管を整備してるような立場で仕事してるので、 今回は制作サイドの方々に感性を刺激され、モチベーションが上がっていくのがわかりました。 たぶん。 制作サイドの知識はほとんどない自分ですが、 これを機にちょこちょことFlash, HTML5について勉強していきたいと思います。 手始め…
要望があったので少し機能を追加しました。 追加機能：APIレスポンスデータのキャッシュ wonderfl APIからのレスポンスデータを有効期限付きでローカルキャッシュします。 バージョンは0.2.0です。 wonderfl | RubyGems.org | your community gem host ・RDoc ドキュメント wonderfl rdoc 使い方 [ruby] #!/usr/bin/ruby require ‘rubygems’ require …
画像のカラーヒストグラムをJavascriptで。 jsdo.it：Color Histogram using Web Workers – jsdo.it サイト内：HTML5 Color Histogram using Web Workers Web Workers を利用しています。 Workerプロセスに画像データを渡し、Worker内部で各チャンネル毎にヒストグラムを計算して返却。 通常のWorkerでは、Workerインスタンスとバックグラウンドプロセスが1対1で対応してい…
>> My 3D Library Test – jsdo.it 3D表現にはあまり詳しくないのですが、Javascriptの勉強ということで3Dライブラリを書いてます。 jsdo.itの文化に合わせてビジュアル的な要素を持ったサンプルで試していこうと。 Actionscript3.0ネイティブとPapervision3DライブラリのAPIを両方参考にして書いたので、 クラス設計も曖昧で試行錯誤中ですが、そこも含めて少しずつブラッシュアップしていこうと思います。 以前、jsdo.itに…
MySQL関連のメモ。 実際に業務で見ている主にメモリ周りのパラメータについて。特別なノウハウ等は入っていない基礎知識程度です。 ——————– MySQLのバッファには以下の2種類のタイプがある。パラメータチューニングの際にはこの2つのタイプの違いを意識しないといけない。 * グローバルバッファ (mysqld内部で1つだけ確保される) * スレッドバッファ (スレッド毎に確保される) スレッドバッファに多くの…
jsdo.it – share JavaScript, HTML5 and CSS wonderflのHTML5版、おもしろいですね。 JavascriptだけでなくHTMLやCSSも編集できるので、制作さんのマークアップの練習にも利用できます。 wonderflとの一番の違いは、その利用者層の広さだと思っています。 前述のように制作さんでもHTML+CSSのプレイグラウンドとして利用できるし、 デベロッパのJavascriptの書き方も人それぞれで幅広く、見ていて飽きません。 手続…