Hadoop関連メモ

業務メモ。 適当にスルーしてください。 Hadoopのチューニングで使われる設定について。 hadoop-env.sh パラメータ 説明 メモ HADOOP_OPTS デーモンのJava起動オプション ヒープサイズを設定したり、並列GC、コンカレントGCを使用するなど -server -XX:+UseParallelGC -XX:+UseConcMarkSweepGC -Xms1500m -Xmx1500m hadoop-site.xml パラメータ 説明 メモ mapred.tasktrack…

wonderfl,jsdo.it Meetup #1 行ってきた

wonderfl,jsdo.it Meetup #1 補欠繰り上がりになったので参加させていだたきました。 僕の本業とはかけ離れた層の方々がFlash,HTML5について様々な話をしていました。 普段は地面の下を潜って水道管を整備してるような立場で仕事してるので、 今回は制作サイドの方々に感性を刺激され、モチベーションが上がっていくのがわかりました。 たぶん。 制作サイドの知識はほとんどない自分ですが、 これを機にちょこちょことFlash, HTML5について勉強していきたいと思います。 手始め…

wonderfl API Rubyクライアント (キャッシュ機能付)

要望があったので少し機能を追加しました。 追加機能:APIレスポンスデータのキャッシュ wonderfl APIからのレスポンスデータを有効期限付きでローカルキャッシュします。 バージョンは0.2.0です。 wonderfl | RubyGems.org | your community gem host ・RDoc ドキュメント wonderfl rdoc 使い方 [ruby] #!/usr/bin/ruby require ‘rubygems’ require &#8…

Javascriptでカラーヒストグラム

画像のカラーヒストグラムをJavascriptで。 jsdo.it:Color Histogram using Web Workers – jsdo.it サイト内:HTML5 Color Histogram using Web Workers Web Workers を利用しています。 Workerプロセスに画像データを渡し、Worker内部で各チャンネル毎にヒストグラムを計算して返却。 通常のWorkerでは、Workerインスタンスとバックグラウンドプロセスが1対1で対応してい…

Javascriptで3D入門

>> My 3D Library Test – jsdo.it 3D表現にはあまり詳しくないのですが、Javascriptの勉強ということで3Dライブラリを書いてます。 jsdo.itの文化に合わせてビジュアル的な要素を持ったサンプルで試していこうと。 Actionscript3.0ネイティブとPapervision3DライブラリのAPIを両方参考にして書いたので、 クラス設計も曖昧で試行錯誤中ですが、そこも含めて少しずつブラッシュアップしていこうと思います。 以前、jsdo.itに…

MySQLパラメータチューニングメモ

MySQL関連のメモ。 実際に業務で見ている主にメモリ周りのパラメータについて。特別なノウハウ等は入っていない基礎知識程度です。 ——————– MySQLのバッファには以下の2種類のタイプがある。パラメータチューニングの際にはこの2つのタイプの違いを意識しないといけない。 * グローバルバッファ (mysqld内部で1つだけ確保される) * スレッドバッファ (スレッド毎に確保される) スレッドバッファに多くの…

jsdo.itで遊ぶ

jsdo.it – share JavaScript, HTML5 and CSS wonderflのHTML5版、おもしろいですね。 JavascriptだけでなくHTMLやCSSも編集できるので、制作さんのマークアップの練習にも利用できます。 wonderflとの一番の違いは、その利用者層の広さだと思っています。 前述のように制作さんでもHTML+CSSのプレイグラウンドとして利用できるし、 デベロッパのJavascriptの書き方も人それぞれで幅広く、見ていて飽きません。 手続…

ActionScriptでSuffix Array

今回は画像処理ではなく文字列処理について。Suffix Arrayというデータ構造を扱います。 Suffix Array (接尾辞配列)は、もともと生物情報学の分野でゲノムデータベースの解析などに用いられてきたらしいのですが、そこからテキスト圧縮/検索などの自然言語文書を索引対象とした応用が広がり、全文検索エンジンの文字列索引(インデックス)としても利用されているデータ構造です。 Suffix(接尾辞)とは、索引対象となる文字列T内の任意の位置からTの末尾までの範囲の文字列のことで、Tの長さがN…