PThreadsと比べるとOpenMPは使うだけなら楽です。
ただ、マルチスレッドプログラミング一般の知識を持たずに使ってもあまり効果は出ないでしょう。
それどころか危険なコードに化けてしまう可能性の方が高いです。。
基礎は大事ですね。

Demo: HTML5 Image Processing (Symmetric Nearest Neighbor)
(Firefox3.5とSafari4で動作確認しています)

HTML5でConvolutionFilterに続いて、簡単な画像処理を試してみます。
以前、ActionScriptで書いたSymmetric Nearest NeighborをJavaScriptで。
半径を大きくするとそれなりに絵画っぽくなってくれますが、やはり重いです；

・クライアント
[javascript]
var context = document.getElementById(‘Canvas’).getContext(‘2d’);
var bmp = new Bitmap(’sample.jpg’, context);
var radius = 3;
bmp.applyFilter(new SNNFilter(radius));
[/javascript]

bitmap.js
(関係ある箇所だけ抜粋)
[javascript]
var Bitmap = function(source, context) {
this.initialize.apply(this, arguments);
};

var SNNFilter = function(radius) {
this.initialize.apply(this, arguments);
};

Bitmap.prototype = {
initialize : function(source, context) {
this.bitmapData = new Image();
this.bitmapData.src = source;
this.width = this.bitmapData.width;
this.height = this.bitmapData.height;
this.context = context;
this.bitmapData.addEventListener(‘error’, function() { alert("can’t load image"); }, false);
},
applyFilter : function(filter) {
try {
this.context.drawImage(this.bitmapData, 0, 0);
var src = this.context.getImageData(0, 0, this.width, this.height);
var dst = this.context.createImageData(this.width, this.height);
filter.apply(src, dst);
this.context.putImageData(dst, 0, 0);
}catch(e) {
alert(e);
}
}
};

SNNFilter.prototype = {
initialize : function(radius) {
this.radius = radius;
},
apply : function(src, dst) {
var w = src.width, h = src.height;
var srcData = src.data;
var dstData = dst.data;
var sunR, sumG, sumB;
var rc, gc, bc, r1, g1, b1, r2, g2, b2;
var cnt = 0;
var xyPos, uvPos;

for(var y=0;y<h;++y) {
for(var x=0;x<w;++x) {
xyPos = (w*y + x) << 2;
sumR = 0, sumG = 0, sumB = 0;
cnt = 0;
rc = srcData[xyPos];
gc = srcData[xyPos + 1];
bc = srcData[xyPos + 2];
for(var v=-this.radius;v<=this.radius;++v) {
for(var u=-this.radius;u<=this.radius;++u,++cnt) {
uvPos = (w*v + u) << 2;
try {
r1 = srcData[xyPos + uvPos];
g1 = srcData[xyPos + uvPos + 1];
b1 = srcData[xyPos + uvPos + 2];
r2 = srcData[xyPos - uvPos];
g2 = srcData[xyPos - uvPos + 1];
b2 = srcData[xyPos - uvPos + 2];
}catch(e) {
break;
}
if(this.delta.apply(this, [rc, gc, bc, r1, g1, b1]) < this.delta.apply(this, [rc, gc, bc, r2, g2, b2])) {
sumR += r1;
sumG += g1;
sumB += b2;
}else {
sumR += r2;
sumG += g2;
sumB += b2;
}
}
}
dstData[xyPos] = sumR/cnt;
dstData[xyPos + 1] = sumG/cnt;
dstData[xyPos + 2] = sumB/cnt;
dstData[xyPos + 3] = 255;
}
}
},
delta : function(rc, gc, bc, r1, g1, b1) {
return Math.sqrt((rc – r1)*(rc – r1) + (gc – g1)*(gc – g1) + (bc – b1)*(bc – b1));
}
};
[/javascript]

最近、HTML5とFlashの話題が盛んですね。
これまでは 主に canvas を利用したものしか試してないんですが、
業務で動画配信に携わっているので video に関することも調査中です。
技術の外側でH.264/Theoraを巡る政治的な争いを見守りつつ、
来年度からのスタートに出遅れないように今の内にしっかり勉強しておきたいです。

・関連記事
Symmetric Nearest Neighbor « Rest Term
HTML5の勉強 « Rest Term

たくさんはてブされてる記事なので読んだ人も多いかもしれませんがこれは熟読すべき！
河野氏は熱い人だなぁ。一文字へのこだわりがすごい。
Wikipediaの項目もなんだか熱い気がする。。(メイリオ – Wikipedia)

社内プレゼンで使うフォントはメイリオにしよう。
あと、Windows 7には Meiryo UI が入っているので要確認。

・関連記事
XPでも「メイリオ」が正式利用可能に

・ファイルが更新されたら内容を表示する
[csharp]
#include
#include
#include
#include
#include

#define BUF 256

void callback(int fd, short event, void* arg);

int main(int argc, char** argv) {
int fd;
struct event ev;
if((fd = open(argv[1], O_RDONLY)) == -1) {
perror(“open”);
return -1;
}
event_init();
event_set(&ev, fd, EV_READ | EV_PERSIST, callback, &ev);
event_add(&ev, NULL);
event_dispatch();
return 0;
}

void callback(int fd, short event, void* arg) {
char buf[BUF];
int len;
// event_add((struct event*)arg, NULL);
if((len = read(fd, buf, sizeof(buf) – 1)) == -1) {
perror(“read”);
return;
}
buf[len] = ‘\0′;
printf(“%s”, buf);
}
[/csharp]

event_set 関数で EV_PERSIST を指定すると、イベント通知を継続して受け取ります。
これを指定しない場合は、コールバック関数内で再度 event_add 関数を呼び出す必要があります。
また、登録したイベントを削除したい場合は event_del 関数を利用します。

・参考
libevent + 使い方 | NINXIT-BLOG

Webエンジニアとしても学びたいことはたくさん。
今年の目標としては、

KVS(Key-Value Store)について深く学ぶ

モダンPerlなコードを書く

システム運用(トラフィックの監視、負荷分散など)を学ぶ

一つめはKey-Value Store。
僕が一番最初に担当した案件からKVSを利用したメディア配信系のシステムだったりして、
全社的にNoSQLへの流れが強くなっています。
業界全体としても大規模なWebアプリケーションを開発するには必要不可欠な技術なので、
これは最優先で取り組むべき課題としたいです。

二つめはPerl。
弊社のサービスフロントエンドの多くはPHPで構築されるようになりましたが、
新規開発案件でPerlが採用されるケースも多いです(Rubyはまだ残念ながら、、)。
僕は会社に入るまでPerlをまともに触ったことがなかったので、一からの勉強に苦労しました。
Perlのモジュールを速く丁寧に書けるようになりたいと思い二つめの目標に。

三つ目はシステム運用。
インフラ寄りの部署に所属しているので、システム運用の業務も行います。
ある程度人のいる会社では開発と運用の分離をしていて、開発担当が運用業務を行うことはあまりないかもしれません。
ただ、こういった分野は大規模な設備で実務を通して学ばないとあまり身に付かないので、
この部署にいる内に一生懸命勉強しておきたいと思います。

あと、もちろんFlashも。
ASはともかくライブラリ/フレームワークには疎くなってしまったので、
そういった制作寄りの情報も追いかけつつ、Webサイト作りなどもやっていきたいと思います。

2010年もよろしくおねがいします。

——

大学院修了

無事に大学院を修了する。M1の時は正直まったく研究をしておらず、TAとかパン屋のバイトでお金を稼ぐ日々だったが、M2になってからは姿勢を改めて真面目に研究をしていた。学部生向けに画像処理の基礎をwikiにまとめたり、みんなが好きな環境で研究(開発)できるように環境整備したりと雑務もそれなりに忙しかったが、研究室の良い後輩達に恵まれて充実していたと思う。

就職

Web業界に身を投じる。”組織”と”Webビジネス”を学んでいる中で、コンテンツの”価値”と”権利”について深く考えさせられた。”技術”で解決できる問題ならどんなに楽だろう、とエンジニアは口を揃えてそう言う。同じような経験(勉強)ができる企業はそう多くはないと思うので、これからもしっかり勉強していきたい。もちろん技術的にも新人の間は勉強することばかりで、社内セミナーや同期に教えてもらった勉強会などに参加していろんな技術を勉強した。インフラ寄りの部署に配属され、そこで学ぶこと全てが新鮮で楽しかった。そう思うと同時に、今までやったきた事がいかに表面的で浅い内容だったのかを思い知らされて少しヘコんだ。

——
今年はインプットがメインだったので、来年は会社で学んだことを活かしてアウトプットに変えていきたいです。
2010年もよろしくおねがいします。

Demo: HTML5 Image Processing (Convolution Filter)　(Firefox3.5とSafari4で動作確認しています)

汎用的に作ろうとすると少し時間がかかりそうだったので、ひとまず畳み込みフィルタの部分だけ。
引数はAS3のものよりずっと少なく、matrix, divisor, bias の3つ。
matrixXやmatrixYも用意してないのでフィルタカーネルのサイズは3×3限定だし、
異常系の処理も不十分で修正が必要ですが；；
他のフィルタ類は時間を見つけて作ってみようと思います。

・クライアント例
[javascript]
var context = document.getElementById(‘Canvas’).getContext(‘2d’);
var bmp = new Bitmap(’sample.jpg’, context);
var matrix = [-1, -1, -1, -1, 8, -1, -1, -1, -1];　// フィルタカーネル
var divisor = 1;
var bias = 0;
bmp.applyFilter(new ConvolutionFilter(matrix, divisor, bias));
[/javascript]

bitmap.js

[javascript]
var Bitmap = function(source, context) {
this.initialize.apply(this, arguments);
};

var ConvolutionFilter = function(matrix, divisor, bias) {
this.initialize.apply(this, arguments);
};

Bitmap.prototype = {
initialize : function(source, context) {
this.bitmapData = new Image();
this.bitmapData.src = source;
this.width = this.bitmapData.width;
this.height = this.bitmapData.height;
this.context = context;
this.bitmapData.addEventListener(‘error’, function() { alert(“can’t load image”); }, false);
},
applyFilter : function(filter) {
try {
this.context.drawImage(this.bitmapData, 0, 0);
var src = this.context.getImageData(0, 0, this.width, this.height);
var dst = this.context.createImageData(this.width, this.height);
//var gray = context.createImageData(this.width, this.height);
filter.apply(src, dst);
this.context.putImageData(dst, 0, 0);
}catch(e) {
alert(e);
}
}
};

ConvolutionFilter.prototype = {
initialize : function(matrix, divisor, bias) {
this.matrix = matrix;
this.divisor = divisor;
this.bias = bias;
},
apply : function(src, dst) {
var w = src.width, h = src.height;
var srcData = src.data;
var dstData = dst.data;

//this.cvtColor.apply(this, [src, dst, 'gray']);

for(var y=1;y for(var x=1;x var idx = 0;
var r = 0, g = 0, b = 0;
//var d = 0;
var i = (y*w + x) << 2;
for(var ky=-1;ky<=1;++ky) {
for(var kx=-1;kx<=1;++kx) {
var pos = (ky*w << 2) + (kx << 2);
r += srcData[i + pos]*this.matrix[idx];
g += srcData[i + pos + 1]*this.matrix[idx];
b += srcData[i + pos + 2]*this.matrix[idx];
//d += srcData[i + pos]*this.matrix[idx++];
idx++;
}
}
dstData[i] = r/this.divisor + this.bias;
dstData[i + 1] = g/this.divisor + this.bias;
dstData[i + 2] = b/this.divisor + this.bias;
dstData[i + 3] = 255;
}
}
// for Firefox
dstData.forEach(function(n, i, arr) { arr[i] = n<0 ? 0 : n>255 ? 255 : n; });
},
cvtColor : function(src, dst, mode) {
var w = src.width, h = src.height;
var srcData = src.data;
var dstData = dst.data;
switch(mode) {
case “gray”:
for(var y=0;y for(var x=0;x var i = (y*w + x) << 2;
dstData[i] = (77*srcData[i] + 150*srcData[i + 1] + 29*srcData[i + 2]) >> 8;
dstData[i + 1] = dstData[i];
dstData[i + 2] = dstData[i];
dstData[i + 3] = 255;
}
}
break;
case “hsv”:
// TODO
break;
case “lab”:
// TODO
break;
default:
break;
}
}
};
[/javascript]

ポイントを絞って簡単に説明を。
(以下 context は getContext(‘2d’) で取得したオブジェクト)

* imagedata = context.createImageData(sw, sh)
幅sw, 高さshのImageDataオブジェクトを生成します。
ピクセルデータ(imageData.data)はすべて0(黒)になっています。

* imageData = context.getImageData(sx, sy, sw, sh)
(x, y)=(sx, sy) を基準に幅sw, 高さshの領域のピクセルデータを取得できます(imageData.data)。
これはAS3における BitmapData.getPixels() のようなもので、ARGB32bitのデータを扱い、
インデックスは 0～幅×高さ×4-1 まで。

* context.putImageData(imagedata, dx, dy)
指定されたImageDataオブジェクトを (x, y)=(dx, dy) を基準に描画します。

・参考記事
createImageData, getImageData, putImageData メソッド – Canvasリファレンス – HTML5.JP
・関連記事
HTML5の勉強

どのセッションも聞き応えがあり良い刺激になりました。

個人的にはNVIDIAさんの話を興味深く聞かせていただきました。
ランチをゆっくり食べ過ぎたせいで途中からしか聞けませんでしたが、内容としては

• Tegra用に最適化されたFlash Playerでは、H.264ビデオの再生などを行うときにTegraのアクセラレーション機能を利用でき、しかも省電力！
• OpenGL ES関連 (企業ブースではARのシューティングゲームを展示してた)

OpenCL(とCUDA)関連のことで聞きたいこともあったのですが、ブースはすごい人だかりだったので断念。。
ノベルティとしてもらった携帯液晶クリーナーの厚紙に載っているTegraモジュールの写真も必見です。
ただ、セッションの時間がたった30分しかなくて残念でした。
それにあのデモはもっと大きなどよめきが起こってもいいレベルだと思ったんですが；；

他に興味を持ったのは、Lee BrimelowさんのAIR2.0に関することについて。
ネイティブプロセスの制御や、ネットワーク関連API(DNS周り等)の強化には可能性を感じました。
僕はAIRをほとんど触ったことがないのですが、これを機に時間を作って勉強しようと思います。

セッション終了後のパーティーは、場所を汐留シティセンタービル42Fに移して行われ、
大変景色の良い場所で楽しく過ごすことができました。

他の方々と交流を取らないとご飯が食べられない仕様になっていたので、
Web業界はきびしいなーと友人と一緒に半泣き半笑いで途方にくれているところを
いろんな方々が声をかけてくださったおかげでたくさん食べることができました。
しかもその後のクイズにも正解して分厚いステーキもいただきました。Happy!

もちろん豪華なスピーカーの方々もパーティーに参加されていました。
そこでは(セッションでASの最適化話をされていた)Grant Skinnerさんに
プログラミングを楽しむコツを聞いてみたんですが、
「Workとしてじゃなく、Artとしてプログラミングするといいよ !」
と言われ気付かされました。
技術は芸術。精進します。

パーティーでの反省点としては、名刺とデジカメを持っていかなかったこと。
名刺はもらいっぱなしでほんと申し訳なかったです。学生？とか聞かれたし。。
42Fからの夜景やみなさんの楽しむ姿を写真にも収めたかった。
でも多くの方と交流を持てて大きな活力になりました。
またこのようなイベントがあったときは是非参加したいと思っています。

HTML5::canvas test

先日の社内コンペでHTML5を使ったすごいデモを出してきたチームがあったので、
僕もそれに刺激を受けていろいろ調べています。
以前Flashで作ったものをHTML5のcanvas要素を使って作り直したりしながら勉強。
簡単な画像処理なんかもできそうなので引き続き調べていきたいと思います。

会社近くの檜町公園やミッドタウンガーデンっていう所でサンドイッチとか食べてますｖ

今はミッドタウンでDESIGN TOUCHっていうイベントの期間中で、今日は熱気球が上がってました。
けっこう近くで見たんですが、ゴーっていう炎の音がすごいんですね。

あと、ガレリアB1Fではデザイン展が開かれていて、初期のApple Mouseとか展示してあって面白かったです。

11月からは忙しくなるので、今の内に元気を溜めておこう。

上記のシンプルな連立一次方程式を cv::Mat クラスの機能を使って解いてみます。

[csharp]
// 係数行列 A
float dataA[][3] = { {1.0, -2.0, 3.0}, {3.0, 1.0, -5.0}, {-2.0, 6.0, -9.0} };
// 行列 B
float dataB[] = {1.0, -4.0, -2.0};
Mat matA(3, 3, CV_32FC1, dataA);
Mat matB(3, 1, CV_32FC1, dataB);
Mat matX(3, 1, CV_32FC1);

// AX = B を解く. 両辺にAの逆行列を前掛けする
matX = matA.inv()*matB;

MatConstIterator_ iter = matX.begin();
while(iter != matX.end()) printf(“%.1f\n”, *iter++);
[/csharp]
• 出力結果

1.0　// x
3.0　// y
2.0　// z

CvMatでは cvmInvert -> cvmMul と関数を順番に呼び出さないといけないところを、
cv::Matなら matX = matA.inv()*matB のように直感的に行列演算を行うことができます。
また、今回のような線形な問題であれば solve(matA, matB, matX) で解くこともできます。

基本的な行列演算

以下のような細かい操作もできます。
[csharp]
matA*5.0;　// 行列の各要素に5を掛ける (スケーリング)

matA.row(0) = matA.row(2)*2.0;　// 3行目をスケーリングして1行目に (添字に注意)
[/csharp]

また、Matlabスタイルの行列初期化関数も用意されています。
[csharp]
Mat zero = Mat::zeros(3, 3, CV_32FC1);　// 零行列を生成
Mat eye = Mat::eye(3, 3, CV_32FC1);　// 単位行列を生成
Mat one = Mat::ones(3, 3, CV_32FC1);　// 全要素が 1 の行列を生成
[/csharp]

これ以外にもまだまだたくさんの機能があります。
今まで面倒だった行列演算がかなり楽になるのでうれしいですね。

関連記事：
OpenCV 2.0 – cv::Mat
OpenCV 2.0 – cv::Ptr
OpenCV 2.0を試してみた

OpenCV C++ matrix class

前回、OpenCV 2.0 – cv::Ptr ではスマートポインタである cv::Ptr について調べました。
今回はOpenCV 2.0のC++インタフェースの中でも重要な役割を持つ cv::Mat クラスについて。
このクラスは従来の IplImage 及び CvMat に取って代わるものになっていますが、
かなり大きいクラスなので何回かに分けて調べていきたいと思います。

cv::Mat はマルチチャンネルとROI(Region Of Interest)をサポートしている二次元行列です。
オブジェクトの生成方法は複数ありますが、ここでは基本的な方法から紹介します。

[csharp]
using namespace cv;
using namespace std;

// create() メソッド　(5行5列，各要素が8ビット符号なし整数型 3チャンネル)
// タイプ指定：CV_{U|S|F}C
Mat matA;
matA.create(5, 5, CV_8UC3);

// コンストラクタ　(3行3列，各要素が32ビット浮動小数点型 1チャンネル)
Mat matB(3, 3, CV_32FC1);

// コンストラクタの引数に cv::Size を指定
Mat matC(Size(640, 480), CV_8UC3);

// 二次元配列を使って初期化
double data[][3] = { {1,2,3}, {4,5,6}, {7,8,9} };
Mat matD(Size(3, 3), CV_64FC1, data);

// std::vector を使って初期化
// デフォルトでは浅いコピー、第二引数にtrueを指定すると深いコピーになる
// この場合、10行1列の行列が生成され、要素は全て0で初期化される
vector v(10);
Mat matE(v);　// or Mat matE(v, true);

// cv::Scalar を使って初期化
Mat matF(5, 5, CV_32FC2, Scalar(1.0, 3.0));

// コピーコンストラクタ (浅いコピー, refcount++)
Mat copy(matA);

// clone() メソッド　(深いコピー)
Mat clone = matA.clone();

// ROIを設定 (cv::Rect で位置と大きさを指定)
Mat roi(matC, Rect(10, 10, 100, 100));

// IplImage から cv::Mat に変換
IplImage* src_img = cvLoadImage(“lena.jpg”, CV_LOAD_IMAGE_COLOR);
Mat img(src_img);

// CvMat から cv::Mat に変換
CvMat* cv_mat = cvCreateMat(3, 3, CV_32FC1);
Mat mat(cv_mat);

[/csharp]

次はMatクラスの構造について。
gdbで上のコードのmatAを見てみると、

(gdb) p matA
$1 = {
  flags = 1124024336,
  rows = 5,
  cols = 5,
  step = 15,
  data = 0xb07ff0 "",
  refcount = 0xb0803c,
  datastart = 0xb07ff0 "",
  dataend = 0xb0803b ""
}

メンバは基本的にCvMatと同様のものを備えています。
flagsはMatクラスの各メソッドで内部的に利用されているものなので特に気にしなくて構いません。
また、サイズはIplImageと比べるとかなり小さく、sizeofしてみるとIplImageは112、Matは32となっています。

各要素のアドレスは以下のように計算します。
[csharp]
// M(i, j) の要素のアドレス

// elemSize() は1要素のバイト数を返す
M.data + M.step*i + j*M.elemSize()

// 要素の型が既知の場合は at(int y, int x) が利用可能
// 内部では、指定された型のポインタでキャストされた (data + step*y)[x] がreturnされている
&M.at(i, j)

—————————————
// 各行の先頭アドレスは ptr(int y) で取得可能　(内部では、return data + step*y)
// 型指定しない場合は uchar* が返される
M.ptr(y)
M.ptr(y)
[/csharp]

とりあえず今回はcv::Matクラスの構造を主に紹介しました。
次からは実際にこのクラスを利用していろいろな処理を行いたいと思います。

:: 追記
＊ IplImage, CvMat と cv::Mat の互換性について
とりあえず、ドキュメントに載っていたコードを使って確認を行いました。

[csharp]
/* IplImage -> cv::Mat -> CvMat の順で変換 */

IplImage* img = cvLoadImage(“lena.jpg”, CV_LOAD_IMAGE_COLOR);
Mat mtx(img);
CvMat oldmat = mtx;

// OpenCV Error: Assertion failed~ は発生しないことを確認
CV_Assert(oldmat.cols == img->width && oldmat.rows == img->height
&& oldmat.data.ptr == (uchar*)img->imageData && oldmat.step == img->widthStep);
[/csharp]

関連記事：
OpenCV 2.0 – cv::Ptr
OpenCV 2.0を試してみた

A template class for smart reference-counting pointers

OpenCV 2.0では cv::Ptr という参照カウント方式のスマートポインタが用意されています。
これは Boost C++ Library の shared_ptr と同様のもので大変便利です。
参考：参照カウント – Wikipedia

一時的にcv::Ptrクラスのrefcountというメンバをprotectedからpublicに変更して挙動を見てみます。
(cxcore.hppの660行目付近にあります)

[csharp]
class Test {
public:
Test() { std::cout<<"construct"< ~Test() { std::cout<<"destruct"< };

int main(void) {
using namespace std;
cv::Ptr p1(new Test()); // 参照カウント 1
cout<<"refcount: "<<*(p1.refcount)< {
cv::Ptr p2;
p2 = p1; // 参照カウントが+1されて2になる
cout<<"refcount: "<<*(p1.refcount)< } // 参照カウントが-1されて1になる、まだオブジェクトは解放されない
cout<<"refcount: "<<*(p1.refcount)< cout<<"main exit"< return 0;
} // Testオブジェクトが解放される

--------------
/** 結果
construct
refcount: 1
refcount: 2
refcount: 1
main exit
destruct
**/
[/csharp]

すばらしい。
また、IplImage に適用した場合はきちんとテンプレートの特殊化が施されているので安心です。

[csharp]
int main(void) {
cv::Ptr img = cvLoadImage(“test.jpg”);

if(img.empty()) {
std::cerr<<"can't load image."< return -1;
}

namedWindow("image", CV_WINDOW_AUTOSIZE);
imshow("image", Mat(img));
waitKey();

return 0;
}

--------------------------------------------------------------------
/* 参照カウント(refcount)が0になると Ptr::delete_obj() が呼ばれる
CvMatやIplImageは以下のように特殊化されている */
template<> inline void Ptr::delete_obj()
{ cvReleaseMat(&obj); }

template<> inline void Ptr::delete_obj()
{ cvReleaseImage(&obj); }
[/csharp]

OpenCV 1.0ではメモリのアロケートに cvAlloc() という malloc() のラッパーが使われていましたが、
OpenCV 2.0ではその代わりに fastMalloc() という関数が用意され、cv::Ptr内でもコールされています。
少し中を覗いてみると、どうやらシステムコールの mmap() でアロケートしているようです。
(Windowsでは普通のmalloc()が呼ばれる模様)
詳しくはまだ読めていませんが、fastというくらいだからきっと速くなっているんでしょう。

メモリ管理を cv::Ptr に任せておくと開発が楽になるのは間違いなさそうです。

関連記事：
OpenCV 2.0を試してみた

IplImage や CvMat は 新しいC++インタフェースでは cv::Mat に取って代わります。
(1.1preで追加されたWImageクラスの立場は? 関連：cv::WImage – OpenCV 1.1)
また、メモリ管理が賢くなっているので、後始末は各クラスのデストラクタに任せておきましょう。
boostのshared_ptrと同様のスマートポインタ(cv::Ptr)も用意されていて、いろいろ便利になっているようです。

C++インタフェースを中心にこれから少しずつ調べていこうと思います。

[csharp]
// カメラから画像をキャプチャ

#include
#include

int main(int argc, char **argv) {
using namespace cv;
VideoCapture cap(0); // VideoCapture(int device)
if(!cap.isOpened()) return -1;
Mat edges;
char code;
namedWindow(“OpenCV 2.0 Capture Test”, CV_WINDOW_AUTOSIZE);
for(;;) {
Mat frame;
cap >> frame; // virtual VideoCapture& operator >> (Mat& image)
cvtColor(frame ,edges, CV_BGR2GRAY);
GaussianBlur(edges, edges, Size(7, 7), 1.5, 1.5);
Canny(edges, edges, 0, 30, 3);
imshow(“OpenCV 2.0 Capture Test”, edges);
code = waitKey(30);
if(code == ‘q’) break;
if(code == ’s’) imwrite(“test.jpg”, edges);
}
return 0;
}
[/csharp]

以前、FlexでXML-RPCを利用していた時は、確かbase64にエンコードして返していたと思うので、
Thriftでも同様にバイナリデータはbase64にエンコードして返すようにします。
Thriftのソースを漁っていると TBase64Utils とかいうのを見つけたのですが、
どうせboost必須なフレームワークなのでboostを使ってエンコードしてみます。

インタフェースとして、
・サービス名を Test
・プロシージャ名を returnImage
・引数は画像ファイル名、戻り値はbase64エンコード文字列
を定義します。

#!/usr/bin/thrift

service Test {
  string returnImage(1: string name)
}

画像ファイルを読み込んで、base64にエンコードするだけの処理です。
boostでbase64にエンコードする方法は以下のサイトを参考にさせていただきました。
B Lifeで行こう: boostでbase64のエンコード

ここではハンドラの部分のみ、自動生成部分は省略します。

[csharp]
class TestHandler : virtual public TestIf {

public:
TestHandler() {
}

void returnImage(std::string& _return, const std::string& name) {
std::ifstream ifs;
std::ostringstream oss;
std::string str;

ifs.open(name.c_str(), std::ios::in | std::ios::binary);
if(!ifs.is_open()) {
_return = “”;
}else {
oss< str = oss.str();
_return = encode_base64(str);
}
}

std::string encode_base64(const std::string& src_data) {
using namespace boost::archive::iterators;
const int Base64_Column_Width = 76;
typedef insert_linebreaks const char *, 6, 8> >, Base64_Column_Width> base64_encoder;

// エンコードしたデータを格納
std::stringstream ost_base64;
// エンコード処理
std::copy(
base64_encoder(src_data.c_str()),
base64_encoder(src_data.c_str() + src_data.length()),
std::ostream_iterator(ost_base64)
);
std::string base64 = ost_base64.str();
// 末尾の長さ調整
while(((base64.length() % (Base64_Column_Width + 1)) % 4) > 0) {
base64 += “=”;
}
return base64;
}
};
[/csharp]

次にクライアントを今回はPHPで書きます。
RPCで受け取ったbase64エンコード文字列をimgタグに埋め込んで画面に表示します。

[php]
$GLOBALS['THRIFT_ROOT'] = 'src';
$GEN_DIR = 'gen-php';

/** Include the Thrift base */
require_once $GLOBALS['THRIFT_ROOT'].'/Thrift.php';

/** Include the binary protocol */
require_once $GLOBALS['THRIFT_ROOT'].'/protocol/TBinaryProtocol.php';

/** Include the socket layer */
require_once $GLOBALS['THRIFT_ROOT'].'/transport/TSocketPool.php';

/** Include the socket layer */
require_once $GLOBALS['THRIFT_ROOT'].'/transport/TBufferedTransport.php';

/** Include the generated code */
require_once $GEN_DIR.'/test/Test.php';
require_once $GEN_DIR.'/test/test_types.php';

$transport = new TSocket('localhost', 9090);
$client = new TestClient(new TBinaryProtocol($transport));

try {
$transport->open();
$img = $client->returnImage(“lenna.jpg”); /* $img に base64エンコード文字列が入る */
$transport->close();
}catch(Exception $e) {
echo $e->getMessage();
}
?>

Thrift + OpenCV
Thrift::例外処理
Thriftインストール

Slab Allocatorの部分に興味を持ったので、それについてわかったことのメモ。
以下のサイトで事前知識を付けてからコードを読みました。
memcachedを知り尽くす：第2回　memcachedのメモリストレージを理解する

Slab Allocator : メモリの確保・管理を行うメカニズム

　・メモリアロケーションでオーバーヘッドの大きいmalloc()を極力呼ばない
　・一度アロケートしたメモリ領域を再利用してメモリフラグメンテーションを抑える

これらを実現するために以下のルールでメモリアロケーションを行っています。
　・memcachedの初期化時にmalloc()で大きな領域(slabと呼ばれる, デフォルトで1MB)を確保
　・あるslab classに属するslabは全て同一サイズのchunkで構成される
　・chunkサイズはslab classにより異なる
　・各slabはどのchunkが使われていないかを指すポインタを持っている
　・chunkは不要になったらfree()されるのではなく、再利用するためにchunkリストに戻される
　・もし利用可能なchunkがなくなった場合は、malloc()して新しいslabを作成する

Slab Allocatorの実装は slabs.h, slabs.c
　・ slabclass_t 構造体
chunkサイズやslabのリストを持っています。
これを見ると、chunkのことをコード上ではitemと呼んでいる模様。

[csharp]
typedef struct {
unsigned int size; /* sizes of items */
unsigned int perslab; /* how many items per slab */

void **slots; /* list of item ptrs */
unsigned int sl_total; /* size of previous array */
unsigned int sl_curr; /* first free slot */

void *end_page_ptr; /* pointer to next free item at end of page, or 0 */
unsigned int end_page_free; /* number of items remaining at end of last alloced page */

unsigned int slabs; /* how many slabs were allocated for this class */

void **slab_list; /* array of slab pointers */
unsigned int list_size; /* size of prev array */

unsigned int killing; /* index+1 of dying slab, or zero if none */
size_t requested; /* The number of requested bytes */
} slabclass_t;

static slabclass_t slabclass[MAX_NUMBER_OF_SLAB_CLASSES];

[/csharp]

　・Slab Allocatorは固定数のslabclass_t配列を持ち、chunkサイズでソートされている
　・slabclass_t配列のインデックス番号はclsidと呼ばれ、これはslab classを識別するためのidになっている

Slab Allocatorのメインインタフェース

[csharp]
unsigned int slabs_clsid(const size_t size);
void *slabs_alloc(size_t size, unsigned int id);
void slabs_free(void *ptr, size_t size, unsigned int id);
[/csharp]
malloc()が実際にメモリ割り当てを行っているのに対して、
slab_alloc()はあらかじめ確保した領域から、最適なサイズのchunkを返しているだけです。
同様に、free()が実際にメモリ解放を行っているのに対して、
slab_free()はchunkをリスト(slabclass_tのslots)に戻しているだけです。

[csharp]
unsigned int clsid;
item *it;
clsid = slabs_clsid(item_size); // item_sizeに応じてclsidを決める
it = slabs_alloc(item_size, clsid); // item_sizeとclsidをもとにchunkの割り当てを行う
slabs_free(it, item_size, clsid); // chunkをリストに戻す
[/csharp]

このSlab Allocatorの仕組みは、Linuxカーネルでも使われているとのことです。
時間があれば続きを読んでいきたいと思います。

・参考
MemcachedSlabAllocator – memcached -

ここでは、画像の各チャンネルの平均値と標準偏差を求めてみます。
サーバ側でOpenCVの cvAvgSvd() を利用すればOK。

まず、最初にRPCのインタフェースをThrift IDLに書きます。
ここでは、平均と標準偏差を求める関数を2つ作ることにしました。
各チャンネルの値が欲しいので戻り値は list<double> に、
引数は画像ファイル名を指定したいので string にしておきます。

• cv.thrift (サービス名は CV)

service CV {
  list<double> calcAvg(1: string img)
  list<double> calcSdv(1: string img)
}

• thriftコマンドでコード生成

$ thrift --gen cpp --gen perl --gen php --gen rb cv.thrift

サーバ側の実装ではC++で普通にOpenCVを使って書けばOKです。
(今回の場合は gen-cpp/CV_server.skeleton.cpp というファイルを編集する)
メソッドの引数にだけ注意しておきます。
ここではコードを一部省略しますが、実際はドメインロジック以外自動生成されます。
ソケットを作って接続を待ったり、データ構造をシリアライズしたりといった面倒な部分は、
全てThriftが引き受けてくれるので安心です。

• サーバ側 CV_server.skeleton.cpp (C++)
[csharp]
#include “CV.h”
#include #include
#include
#include

#include
#include
#include

/* 中略 */

class CVHandler : virtual public CVIf {
IplImage *srcImg;
CvScalar mean;
CvScalar std_dev;
public:
CVHandler() {
srcImg = 0;
mean = cvScalarAll(0);
std_dev = cvScalarAll(0);
}

void calcAvg(std::vector & _return, const std::string& img) {
if((srcImg = cvLoadImage(img.c_str(), CV_LOAD_IMAGE_ANYDEPTH | CV_LOAD_IMAGE_ANYCOLOR)) == 0) {
std::cout<<"load error."< exit(0);
}
cvAvgSdv(srcImg , &mean, NULL);
for(int i=0;i<3;++i) _return.push_back(mean.val[i]);
cvReleaseImage(&srcImg);
}

void calcSdv(std::vector & _return, const std::string& img) {
/* 以下略 (calcAvgと同様に書けばよい)*/
　
[/csharp]

• コンパイル

$ g++ -g CV.cpp CV_server.skeleton.cpp -o CV_server `pkg-config --cflags --libs opencv thrift`

次はクライアント側を実装します。
• クライアント側 cv.pl (Perl)
[php]
#!/usr/bin/perl

use strict;
use warnings;
use lib ‘./gen-perl’;

use Thrift;
use Thrift::BinaryProtocol;
use Thrift::Socket;

use CV;

my $transport = Thrift::Socket->new(‘localhost’, 9090);
my $client = CVClient->new(Thrift::BinaryProtocol->new($transport));

eval {
$transport->open();
print “Calculate the Mean\n( Blue Green Red ) = ( “;
printf “%f “, $_ for @{$client->calcAvg(“lena.jpg”)};　# 戻り値はリストリファレンス
print “)\n\n”;
print “Calculate the Standard-Deviation\n( Blue Green Red ) = ( “;
printf “%f “, $_ for @{$client->calcSdv(“baboon.jpg”)};
print “)”;
$transport->close();
};

if($@) {
warn $@->{message};
}
[/php]

• サーバの起動およびクライアントの実行

$ mv ./gen-cpp/CV_server .
$ ./CV_server

$ chmod +x cv.pl
$ ./cv.pl
Calculate the Mean
( Blue Green Red ) = ( 105.398991 99.562698 179.730305 )

Calculate the Standard-Deviation
( Blue Green Red ) = ( 60.611124 47.493925 55.499225 )

上手くいきました。
次はPHPから。抽象化レイヤのおかげでPHPでも簡単に使えます。
• クライアント側 cv.php (PHP)

[php]
$GLOBALS['THRIFT_ROOT'] = 'src';
$GEN_DIR = 'gen-php';

/** Include the Thrift base */
require_once $GLOBALS['THRIFT_ROOT'].'/Thrift.php';

/** Include the binary protocol */
require_once $GLOBALS['THRIFT_ROOT'].'/protocol/TBinaryProtocol.php';

/** Include the socket layer */
require_once $GLOBALS['THRIFT_ROOT'].'/transport/TSocketPool.php';

/** Include the socket layer */
require_once $GLOBALS['THRIFT_ROOT'].'/transport/TBufferedTransport.php';

/** Include the generated code */
require_once $GEN_DIR.'/CV.php';
require_once $GEN_DIR.'/cv_types.php';

$transport = new TSocket('localhost', 9090);
$client = new CVClient(new TBinaryProtocol($transport));

try {
$transport->open();
print_r($client->calcAvg(“lena.jpg”));　/* Perl版と同じように呼べる */
print_r($client->calcSdv(“baboon.jpg”));
$transport->close();
}catch(Exception $e) {
echo $e->getMessage();
}

?>
[/php]

• 出力結果

Array
(
    [0] => 105.3989906311
    [1] => 99.562698364258
    [2] => 179.73030471802
)
Array
(
    [0] => 60.611123950567
    [1] => 47.493925313866
    [2] => 55.499224912776
)

詳細は省きますが、Rubyでもシンタックスを変えるだけで利用できます。
[php]
# Rubyでも簡単
client.calcAvg(“lena.jpg”)
client.calcSdv(“baboon.jpg”)
[/php]

今回はThriftを使って各言語から簡単にOpenCVを利用できることを確認しました。

それはともかくOpenCV 2.0 のリリースが Sept. 31, 2009 って書いてありましたが、
また便利な機能が追加されてるんですかね。楽しみです。

macbookへのインストールについてはThriftインストールを参照。
hello, world 的な話はたくさん情報が公開されているのでそちらを参考するといいかと。
ここでは例外処理についてメモしておきます。

TException
ThriftはRPCフレームワークです。
このRPCにおいてなんらかの理由でサーバと通信ができなかった時などの異常系処理。
ThriftではTExceptionという例外オブジェクトを送出します。
PerlとPHPの例を載せますが、以下のように普通にハンドリングすればOKです。

• Perlの場合
[php]
my $transport = Thrift::Socket->new(‘localhost’, 9090);
my $client = HelloClient->new(Thrift::BinaryProtocol->new($transport));

eval {
$transport->open();
printf “%s¥n”, $client->hello(“aru”);
$transport->close();
};
if($@) {
print $@->{message};
}
[/php]

• PHPの場合
[php]
$transport = new TSocket(‘localhost’, 9090);
$client = new HelloClient(new TBinaryProtocol($transport));

try {
$transport->open();
echo $client->hello(“aru”);
$transport->close();
}catch(Exception $e) {
echo $e->getMessage();
}
[/php]
普通ですね。
エラーメッセージは message というプロパティに入っています。

• エラーメッセージ例

TSocket: Could not connect to localhost:9090

RPCにおける異常系処理にも特に頭を悩ませることがないのはうれしいです。

今日は六本木ヒルズの森美術館とスカイアクアリウムに行ってきました。
美術館はフラッシュ無しなら撮影可だったんですが、なんとデジカメを忘れるという。。
まぁここに写真を貼るよりああいうのは実物をみないとあんまり意味ないですし。

一応ケータイで東京の街並みを撮りましたが、ひどい画質。。

あとは、マグカップとかエンピツを買ってきました。

職場から歩いて5,6分くらいなんですが、あまり行かないので今日はイイ気分転換になりました。

一応メモ。
今回はMacbookにインストールしました。
Thriftはboostが必須なので注意。公式サイトにはSo please download the bzip2 of boost and unpack〜〜とか書いてありますが、portでインストールしてしまいます。

$ sudo port install boost

インストールに失敗する場合は一度cleanしてみる。

$ sudo port clean --work boost

環境変数の設定も忘れずに(.bashrc, .zshrc …)。

export PATH=/opt/local/bin:/opt/local/sbin/:$PATH
export MANPATH=/opt/local/man:$MANPATH
export LIBRARY_PATH=/opt/local/lib:$LIBRARY_PATH
export LD_LIBRARY_PATH=/opt/local/lib:$LD_LIBRARY_PATH
export C_INCLUDE_PATH=/opt/local/include:$C_INCLUDE_PATH
export CPLUS_INCLUDE_PATH=/opt/local/include:$CPLUS_INCLUDE_PATH
export DYLD_FALLBACK_LIBRARY_PATH=/opt/local/lib
export BOOST_ROOT=/opt/local/include/boost:$BOOST_ROOT

あとはThrift本体をインストールするだけです。

$ wget -O thrift.tgz "http://gitweb.thrift-rpc.org/?p=thrift.git;a=snapshot;h=HEAD;sf=tgz"
$ tar -xzf thrift.tgz
$ cd thrift
$ ./bootstrap.sh
$ ./configure
$ make
$ sudo make install

ただ、僕の場合 ./configure で以下のようなエラーがでました。

./configure: line 21183: syntax error near unexpected token `MONO,'
./configure: line 21183: `  PKG_CHECK_MODULES(MONO, mono >= 1.2.6, have_mono=yes, have_mono=no)'

意味がわからなくて途方に暮れていたんですが、公式のFAQに解決策が書いてありました。。
FAQ – Thrift Wiki
If you’re on OS X: find pkg.m4, copy it to thrift/aclocal, and rerun bootstrap.sh.
とあるので、とりあえず /opt/local/share/aclocal に pkg.m4 があるか確認してからcopy。
(pkgconfigパッケージがインストールされている必要がある)

$ cp /opt/local/share/aclocal/pkg.m4 ./aclocal
$ ./bootstrap.sh
.... 略

make install まで上手くいきました。
公式にドキュメントがある場合はFAQも含めてよく読もう。

＜追記＞
各言語のライブラリのインストールも忘れないように。
ここでは、perl, ruby, pythonの各ライブラリをインストールしておきます。

$ cd lib/perl
$ perl Makefile.PL
$ sudo make install
$ cd ../rb
$ sudo ruby setup.rb
$ cd ../py
$ sudo python setup.py install