Web関連技術の話など
業務で libmemcached を利用した小さなモジュールを作ることになった。このライブラリにはC++インタフェースも用意されているのでCとC++の両方で試してみる。 環境は CentOS 5.6 (x86_64) , gcc4.4, libmemcached-devel * インストール remiレポジトリから新しいバージョンを入れる $ sudo yum install libmemcached-devel.x86_64 –enablerepo=remi * 各基本操作(set, get…
前回のエントリー「Redis AS3クライアント」に関連して、キーの分散処理を行うために Consistent Hashing をAS3で書いてみました。イマドキのNoSQLデータベース(MongoDBなどshardingで分散するもの以外)クライアントならだいたい実装されているアルゴリズムですね。 理論の説明は以下のサイトなどを参考に。 Consistent Hashing スマートな分散で快適キャッシュライフ * Consistent Hashing implementation in AS…
前回のインメモリKVSのRedisについての続き。 今回はActionScript3.0用のRedisクライアントについて調べてみました (参照: as3redis)。 結論から書くと、「使うのは控えた方が良い」 ということになるかと思います。以下理由。 (太字になっている部分が特に重要) 古いプロトコルにしか対応していない 分散できない パイプライニング対応部分の設計が良くない 上2つは機能が足りないという点で良くありません。対応プロトコルが古いというのは公開時期を考えると仕方ないことですが、…
* wiki(Tech Note)のページ追加 このエントリーの内容を整理してwikiにもRedis関連のページを追加しました。 Redis – Tech Note Redis is an open source, advanced key-value store. It is often referred to as a data structure server since keys can contain strings, hashes, lists, sets and sor…
Apacheモジュールの mod_dbd を試してみます。 mod_dbd はデータベースへのコネクション管理機能を提供するモジュール。 内部で apr_dbd を用いてコネクションプール機能を提供するラッパーモジュールとなっていて、 データベースへの各問い合わせは apr_dbd のAPIを利用します。 Apache Portable Runtime: DBD routines 今回は以下のようなテーブル(dbd_test.user)を対象に dbdtest_module を作ります。 (環境…
MySQL関連のメモ。 実際に業務で見ている主にメモリ周りのパラメータについて。特別なノウハウ等は入っていない基礎知識程度です。 ——————– MySQLのバッファには以下の2種類のタイプがある。パラメータチューニングの際にはこの2つのタイプの違いを意識しないといけない。 * グローバルバッファ (mysqld内部で1つだけ確保される) * スレッドバッファ (スレッド毎に確保される) スレッドバッファに多くの…
引き続きCassandraについて調査中で、今回はCassandraの内部構造のひとつ、Memtableについて。 Cassandraでの書き込み操作はまずディスク上のCommitLog(書き込み操作のログ)に対して行われ、それからメモリ上のMemtableと呼ばれる構造体に対して書き込まれます。Memtableの構造は以下のようになっていて、ColumnFamily毎に保持されています。Key の列の Token は書き込み要求時にデータを保持するノードを決める際に計算されるものです。 Mem…
前回 Cassandra Thrift APIのConsistencyLevel と内容的に前後してしまいますが、Cassandra APIのテストコードを一応載せておきます。データ操作(取得/登録/削除)に関するAPIはひととおり使用してあるので、コードを見ればだいたいの使い方は理解できると思います。また、各APIのシグネチャはCassandraのホームディレクトリにjavadocディレクトリがあるのでそこで確認できます。 (org.apache.cassandra.thrift.Cassan…