MongoDB

Rest Term::Tech Note

このページではドキュメント指向データベースのMongoDBに関するメモを書いています。また、ここに記載するサンプルコードはPythonで書かれており(一部はC++)、MongoDBドライバのPyMongo(バージョン2.0未満だとサポートされていない機能も多いので2.0以上を推奨)を利用しています。
C++ドライバについてはブログでも紹介しています(MongoDB C++クライアント)。

---

• 環境
  CentOS 5.8 (x86_64)
  MongoDB 2.0.7
  C++ Driver v2.0-latest
  PyMongo 2.2

概要

スキーマレス

ドキュメント指向データベースはRDBMSと違ってスキーマを定義する必要がない。データは''BSON''(Binary jSON)と呼ばれるフォーマットで保存される。ドキュメントの集まりは''コレクション''と呼ばれるが、これはRDBに置き換えるとドキュメントはレコード、コレクションはテーブルと考えれば良い。

• ドキュメントの例
  ''_id'' (ObjectId)フィールドはRDBでいうところの主キーに当たり、クライアントが値を指定しなければ自動的に挿入される。

  ## users コレクション
  {
    "_id" : ObjectId("4f26994d50f6ab7958514e94"),
    "name" : "ryo",
    "age" : 26 
  }

  このusersコレクションは以後、サンプルコード内でも利用していく。

実績

MongoDB公式サイトの Production Deployments を参照。SourceForge, FoursquareなどのIT系だけでなく、DisneyやCERNなどさまざまな業界の企業で採用実績があるらしい。

基本操作における特徴, 注意点など

insert

同期/非同期

インサートは''デフォルトではデータベースからの応答を待たない(非同期)。''クエリが成功したかどうか応答を確認する(同期)には insert の safe オプションをセットする。これによりエラー発生時に pymongo.errors.OperationFailure 例外が送出されるようになる。

try: con = pymongo.Connection("localhost", 27017) db = con.test ## safeオプションをTrueにセット db.users.insert(docs, safe=True) con.disconnect() except pymongo.errors.OperationFailure as e: print e

insert だけでなく他の操作も基本的にデフォルトで非同期操作となっている。

ObjectIDの生成場所

"_id" フィールドを指定しない場合は自動的に生成されドキュメントに挿入される。このObjectIDはクライアント側で生成するかサーバ側で生成するかを選ぶことができる。pymongoでは manipulate オプションで指定できる。

## manipulateオプションをTrueにセットするとクライアント側で生成 (デフォルト) objectid = db.users.insert({"name":"ryo", "age":26}, manipulate=True) print objectid ## => 例) 4f2d554562062835d9000000 ## manipulateオプションをFalseにセットするとサーバ側で生成 objectid = db.users.insert({"name":"ryo", "age":26}, manipulate=False) print objectid ## => None

ObjectIDをクライアント側で生成した場合は即座にObjectIDの値を取得できる。manipulate オプションをFalseにした場合はサーバ側でObjectIDが生成されるが、insert は非同期なのでドライバはサーバ側で生成したObjectIDを戻り値として返すことができない。

バルクインサート

複数のドキュメントを一括でインサートする機能も備えている。使うには複数のドキュメントを詰めた配列を insert に指定する。

users = ["Smith", "Johnson", "Williams", "Brown", "Jones"] docs = [{"name":user, "age":randint(1, 100)} for user in users] db.users.insert(docs)

update

upsert

アップデートの条件にヒットするドキュメントが存在せず、upsert オプションをセットしてある場合は新規にドキュメントを挿入する。デフォルトではFalseになっている。

## usersコレクションには "address" フィールドを持つドキュメントはまだ存在しないため、 ## "_id"と"address"フィールドを持つドキュメントが新規に挿入される。 db.users.update({"address":"tokyo"}, {"$set": {"address":"osaka"} }, upsert=True)

クエリ内の$マーク付きのフィールドについては後述する。

マルチアップデート

アップデートは''デフォルトでは最初にヒットしたドキュメント1つのみを更新する。''ヒットした全てのドキュメントを更新対象としたい場合は update の multi オプションで指定する。

　## multiオプションをTrueにセット 　db.users.update({"age":26}, {"$set": {"address":"tokyo"} }, multi=True, safe=True)

insert と同様に safe オプションをセットするとデータベースからの応答を待つ。

※ 公式リファレンスによると multi オプションのデフォルト値はいずれTrueになると書かれている。
collection – Collection level operations

アトミックな操作

クエリ内での$マーク付きのフィールドは modifier と呼ばれ、アトミックな操作を行う際に指定する。

• ''$inc'' - 値に対して指定した数値でインクリメント
• ''$set'' - 特定の値をセット、全ての型がサポートされている
• ''$unset'' - フィールドを削除
• ''$push'' - 配列に要素を追加
• ''$pushAll'' - 配列に複数の要素を追加
• ''$addToSet'' - 配列に要素を追加、重複は許可しない
• ''$pull'' - 配列から要素を削除
• ''$pullAll'' - 配列から複数の要素を削除
• ''$pop'' - 配列の末尾/先頭の要素を削除
• ''$rename'' - フィールドの名前を変更 ## $inc ## "age"フィールドの値を1加算 db.users.update({"name":"Smith"}, {"$inc": {"age":1} }) ## $decrなどは無いので、減算する場合は負の値を指定する db.users.update({"name":"Smith"}, {"$inc": {"age":-1} }) ## $set ## "address"フィールドに値をセット、存在しない場合は新規にフィールド追加 db.users.update({"name":"Smith"}, {"$set": {"address":"Georgia"} }) ## $unset ## "address"フィールドを削除 db.users.update({"name":"Smith"}, {"$unset": {"address":1} }) ## $push ## "family"フィールド(配列)に要素を追加、存在しない場合は新規にフィールド追加 db.users.update({"name":"Smith"}, {"$push": {"family":"father"} }) db.users.update({"name":"Smith"}, {"$push": {"family":"mother"} }) ## フィールドが配列でない場合はエラーが返る(safeオプションがTrueの場合) db.users.update({"name":"Smith"}, {"$push": {"age":"father"} }, safe=True) ## => OperationFailure ## $pushAll ## "family"フィールド(配列)に複数の要素を追加 db.users.update({"name":"Smith"}, {"$push": {"family":["brother", "sister"]} }) ## $addToSet ## "family"フィールド(配列)に要素を追加、$pushと違い重複は許可しない db.users.update({"name":"Smith"}, {"$addToSet": {"family":"father"} }) ## $pull ## "family"フィールド(配列)から要素を削除 ## 配列内に同じ値が存在する場合は全ての値が配列から削除される db.users.update({"name":"Smith"}, {"$pull": {"family":"father"} }) ## $pullAll ## "family"フィールド(配列)に複数の要素を削除 db.users.update({"name":"Smith"}, {"$pullAll": {"family":["brother", "sister"]} }) ## $pop ## "family"フィールド(配列)の末尾要素を削除 db.users.update({"name":"Smith"}, {"$pop": {"family":1} }) ## -1を指定すると先頭要素を削除 db.users.update({"name":"Smith"}, {"$pop": {"family":-1} }) ## $rename ## "name"フィールドの名前を変更 db.users.update({"name":"Smith"}, {"$rename": {"name":"username"} })

remove

クエリを書くときの注意点

削除したいドキュメントそのものをクエリに指定したい場合があるかもしれないが、これは非効率なのできちんと"_id"などを指定した方が良い。また、''削除対象のドキュメントを指定しない場合は全てのドキュメントが削除されるので注意。''その場合、''インデックスは削除されずに残る''点も忘れないようにしたい。

## 以下の書き方は読みやすいし動作もするが、効率は悪くなる場合がある for user in db.users.find(): do_something() db.users.remove(user, safe=True) ## ドキュメントを指定 ## 代わりにこう書く、確実にインデックスを利用するように意識する ## (bson.objectid.ObjectId インスタンスを指定) for user in db.users.find(): do_something() db.users.remove(user["_id"], safe=True) ## フィールドを指定 ## なにも指定しない場合は全てのドキュメントが削除されるので注意。 ## ただし、インデックスは削除されずに残る。 db.users.remove()

insert, update と同様に safe オプションが指定可能。

find

フィールドの指定

find はデフォルトではドキュメント全体が返されるが一部のフィールドだけ返す指定もできる。ただし、取得したいフィールドを指定しても''"_id"フィールドは必ず含まれている''ので注意。

## "age"が30以下の"name"フィールドを取得 for user in db.users.find({"age": {"$lt":30} }, {"name":1}): ## {u'_id': ObjectId(省略), u'name': u'Anderson'} のように"_id"を含んだdictが返る do_something()

スナップショット

MongoDBは''データサイズが大きく増えた場合''、データをディスク上で移動させる。この瞬間に find すると同じドキュメントが2つ取れたりする可能性がある。これは find で取り出した複数のドキュメントを update するようなケースでは問題になるので、重複を排除して結果を返す snapshot 機能を使う。

## snapshotオプションをセットする db.users.find({"name":"Smith"}, snapshot=True)

データサイズの変化が小さい場合(数値のインクリメント/デクリメント、日時データの更新など)はディスク上でのデータ移動は起こらない。これは insert 時にある程度paddingを付けてディスクに書き込んでいるため。

スキップ/リミット

find クエリではスキップおよびリミット指定を行うことができる。ページング機能を実装するとき等に有用。

## 最初の20件をスキップし、そこから10件取得 db.users.find(skip=20, limit=10): do_something()

インデックス

B-Tree Index、Sparse Index、Unique Index の3つのインデックスがサポートされている。

• ''B-Tree Index''
  B-Treeによるインデックス、MySQLなどのRDBMSでおなじみ。
• ''Sparse Index''
  インデックスに設定されたフィールドを持っていないドキュメントは無視される。つまり、コレクション全体でSparse Indexに設定されたフィールドに値を持っているドキュメントが少ない場合に高いパフォーマンスが期待できる。
• ''Unique Index''
  Unique Indexに設定されたフィールドを持つドキュメントはユニークとなり、同じドキュメントを複数登録しようとすると重複エラーとなる。インデックスを貼ったキーが存在しないドキュメントを登録すると null が挿入される。

インデックスを扱う際の勘所はMySQLと同じで、インデックスのデメリットはコレクションへのデータの書き込み時にインデックス更新の必要もあるためオーバーヘッドが生じるしサイズも大きくなる。なので、書き込みが多いコレクションに対してインデックスは逆効果になることも多い。逆に頻繁に読み込みが行われるコレクションに対しては必ずインデックスを使うようにしたい。

レプリケーション

Master/Slave方式の他に Replica Sets と呼ばれるレプリケーション方式を備えている。

• ''Master/Slave''
  1つのサーバだけが書き込みに対してアクティブ(master)になる。
• ''Replica Sets''
  複数台以上のサーバでのフェイルオーバーをサポート。

詳細は調査中。

シャーディング

レンジパーティショニング

MongoDBのデータ分散戦略は他のNoSQLデータベースでよく採用されている Consistent Hashing ではなく、RDBMSではおなじみのレンジパーティションを採っている。MongoDBが範囲検索に強いと言われているのはこの分散戦略のため。

以下のようなドキュメントを持つコレクションがあるとする。シャーディングのキー(Shard Keyと呼ばれる)は age フィールドとし、データ量が十分に大きいと仮定した場合の分散戦略を示す。

// _id フィールドは省略
{"username" : "paul", "age" : 23}
{"username" : "simon", "age" : 17}
{"username" : "widdly", "age" : 16}
{"username" : "scuds", "age" : 95}
{"username" : "grill", "age" : 18}
{"username" : "flavored", "age" : 55}
{"username" : "bertango", "age" : 73}
{"username" : "wooster", "age" : 33}

MongoDBは初期チャンク(-∞, +∞)を、既存のデータ範囲の中間点あたりで2つのチャンクに分割する。例えば age フィールドの値が約半数のドキュメントで 25 より小さく、残りの半数が 25 より大きければMongoDBは 25 を選択する。つまり (-∞, 25), [25, +∞) という2つのチャンクができることになる。[25, +∞) のチャンクにデータを追加し続けたとしたら、そのチャンクはさらに2つに分割される。例えば [25, 36), [36, +∞) のように分かれる。これでコレクションを構成するチャンクは (-∞, 25), [25, 36), [36, +∞) の3つになる。その後もデータを追加し続ければ、MongoDBは既存のチャンクを分割して新たなチャンクを作るという処理を繰り返す。その際、範囲内にデータが1つしかないチャンクができることもありうるが、どのチャンクの範囲も他のチャンクとは決して同じになることはなく、一部が重複するということもない。

オートバランシング

Sharding Administrationによると、データは各シャード間のチャンク差が ''8'' を超えるまでは primary shard(shard0000) にのみ保持され分散は行われない。実運用ではこのバランシング機能によってチャンク移動が起こることは極力避けたいため(シャード間のデータ転送は高コスト)、最適なチャンクサイズをあらかじめ設定しておくか、あるいはバランシング機能自体をオフにする必要がある。

chunk migration

mongosのオートバランシング機能により、シャード間のchunk migration(シャード間でチャンク移動)が行われる。migration中は移動元、移動先に同じチャンクが存在する時間があるので、ユニークなはずのキーが重複して存在したり、countクエリが正しい値を返さない場合がある(実際は正しい値よりも大きな値が返ってくる)。完全に転送が完了してconfigサーバが更新されると正しい値を返すようになる。

Shard Keyの選定

シャーディングに利用するキー(Shard Key)の選定は慎重に行う必要がある。

• Foursquareでの障害事例
  以前発生したFoursquareの大規模障害は、Shard KeyにユーザーIDを利用していたことが原因。ある一定のユーザーが他のユーザーよりも活発にサービスを利用している場合、その活発なユーザーのデータ更新が全て同じシャードへ向かい負荷が偏ってしまう。

チャンクサイズの設定

チャンクサイズはmongosの起動時(--chunkSize N)、あるいは設定ファイル内で設定できる。しかしデータ分散機能の確認のために、テストで1に設定する以外のケースでは無闇に値を弄らない方が良い。

MongoDBは最初の10チャンクほどに関しては、自動的にチャンクサイズをデフォルトの200MBから64MBに小さくする。チャンク数が一定数以上に増えればチャンクサイズは自動的に200MBに戻される。

GridFS

MongoDBに巨大なファイルを格納するための仕様、動画ファイルなどの巨大なファイルを扱うのに適している。(MongoDBのBSONオブジェクトは1ドキュメント16MBの制限がある)

mongofiles

MongoDBのパッケージにはGridFSを操作するための ''mongofiles'' というコマンドラインツールが付属している。大きめの動画像ファイルを準備してテスト。

## 動画像ファイルを準備しておく $ ls -lh files 合計 854M -rw-r--r-- 1 ryo ryo 97M 5月 8 2010 test1.wmv -rw-r--r-- 1 ryo ryo 158M 2月 12 18:41 test2.mp4 -rw-r--r-- 1 ryo ryo 599M 2月 18 22:59 test3.f4v ## ファイルタイプの確認 $ file files/* files/test1.wmv: Microsoft ASF files/test2.mp4: ISO Media, MPEG v4 system, version 2 files/test3.f4v: ISO Media ## MongoDBにファイルを保存 ## -d オプションでデータベース名を指定、-v オプションで詳細出力 $ mongofiles -v -d video put files/test1.wmv Sun Mar 25 13:31:16 creating new connection to:127.0.0.1 Sun Mar 25 13:31:16 BackgroundJob starting: ConnectBG Sun Mar 25 13:31:16 connected connection! connected to: 127.0.0.1 added file: { _id: ObjectId('4f6e9f9413c7c7e974f4da4b'), filename: "files/test1.wmv", chunkSize: 262144, uploadDate: new Date(1332649881021), md5: "126b430551e2486b84312c8a16c3eba7", length: 101616791 } done! ## MongoDBからファイルを取得 $ mongofiles -v -d video get files/test1.wmv Sun Mar 25 13:34:16 creating new connection to:127.0.0.1 Sun Mar 25 13:34:16 BackgroundJob starting: ConnectBG Sun Mar 25 13:34:16 connected connection! connected to: 127.0.0.1 done write to: files/test1.wmv ## MongoDBからファイルを削除 $ mongofiles -v -d video delete files/test1.wmv Sun Mar 25 13:36:16 creating new connection to:127.0.0.1 Sun Mar 25 13:36:16 BackgroundJob starting: ConnectBG Sun Mar 25 13:36:16 connected connection! connected to: 127.0.0.1 done!

MongoDBのログには以下のように出力された。ディスクがプリアロケーション済みの場合、600MB程度のファイルだと20秒ほど時間がかかっている。複数回試してみたが誤差は100ms前後だった。

## test1.wmv 97MB
[conn23777] command video.$cmd command: { filemd5: ObjectId('4f6ea577c5f3400dcd625147'), root: "fs" } ntoreturn:1 reslen:94 372ms

## test2.mp4 158MB
[conn23890] command video.$cmd command: { filemd5: ObjectId('4f6ed4524cb55e30ffb99535'), root: "fs" } ntoreturn:1 reslen:94 898ms

## test3.f4v 599MB
[conn23899] command video.$cmd command: { filemd5: ObjectId('4f6ed179b4d62c9b14827ce2'), root: "fs" } ntoreturn:1 reslen:94 19819ms

コレクションの中身は以下のようになっている。

$ mongo video MongoDB shell version: 2.0.1 connecting to: video > show collections fs.chunks fs.files system.indexes ## fs.files にファイルのメタデータが保存されている。 > db.fs.files.find() { "_id" : ObjectId("4f6ed179b4d62c9b14827ce2"), "filename" : "files/test3.f4v", "chunkSize" : 262144, "uploadDate" : ISODate("2012-03-25T08:05:14.504Z"), "md5" : "9cdf035bd66f62b3aafb7cf712fdc22a", "length" : 627365883 } { "_id" : ObjectId("4f6ed4524cb55e30ffb99535"), "filename" : "files/test2.mp4", "chunkSize" : 262144, "uploadDate" : ISODate("2012-03-25T08:16:33.741Z"), "md5" : "617dd8559fc756d0c932756b96605beb", "length" : 165002988 } { "_id" : ObjectId("4f6f09600a65bb0511338b84"), "filename" : "files/test1.wmv", "chunkSize" : 262144, "uploadDate" : ISODate("2012-03-25T12:02:47.450Z"), "md5" : "126b430551e2486b84312c8a16c3eba7", "length" : 101616791 } ## _id の他に filename フィールドにも自動的にインデックスが貼られる。 > db.fs.files.getIndexes() [ { "v" : 1, "key" : { "_id" : 1 }, "ns" : "video.fs.files", "name" : "_id_" }, { "v" : 1, "key" : { "filename" : 1 }, "ns" : "video.fs.files", "name" : "filename_1" } ]

アプリケーションからの利用

C++およびPythonからGridFSを利用する。

C++ドライバ

C++ドライバのインストール手順については後述。

#include <iostream> #include <mongo/client/dbclient.h> #include <mongo/client/gridfs.h> void metaprint(mongo::GridFile& file); int main(void) { using namespace std; try { mongo::DBClientConnection client; client.connect("localhost:27017"); const string dbname = "video"; const string filename = "files/test2.mp4"; mongo::GridFS fs(client, dbname); // ファイルの取得 mongo::GridFile file = fs.findFile(filename); metaprint(file); // ファイルの削除 fs.removeFile(filename); // ファイルの保存 cout << "---------- Put File" << endl; mongo::BSONObj retval = fs.storeFile(filename); cout << retval.toString() << endl; // ファイルのリスト(全てのドキュメント)を取得 cout << "---------- File List" << endl; auto_ptr<mongo::DBClientCursor> cursor = fs.list(); while(cursor->more()) { mongo::BSONObj doc = cursor->next(); cout << doc.toString() << endl; } } catch(const mongo::ConnectException& e) { cerr << "connect error" << endl; cerr << e.getCode() << endl; cerr << e.what() << endl; } catch(const mongo::DBException& e) { cerr << e.getCode() << endl; cerr << e.what() << endl; } return 0; } void metaprint(mongo::GridFile& file) { // メタデータ // (mongo::GridFile#get~ メソッドはconst指定されてないのでconst参照で渡せない) using namespace std; cout << "---------- Meta Data" << endl; mongo::BSONElement elm = file.getFileField("_id"); cout << "ObjectId: " << elm.OID() << endl; cout << "File Name: " << file.getFilename() << endl; cout << "Content Length: " << file.getContentLength() << endl; cout << "MD5: " << file.getMD5() << endl; cout << "Upload Date: " << file.getUploadDate().toString() << endl; cout << "Chunk Size: " << file.getChunkSize() << endl; cout << "Num Chunks: " << file.getNumChunks() << endl; }

• 出力例

  ---------- Meta Data
  ObjectId: 4f85970d877c7e26f1f36edb
  File Name: files/test2.mp4
  Content Length: 165002988
  MD5: 617dd8559fc756d0c932756b96605beb
  Upload Date: Wed Apr 11 23:37:04 2012
  Chunk Size: 262144
  Num Chunks: 630
  ---------- Put File
  { _id: ObjectId('4f859772c816199f63d12b38'), filename: "files/test2.mp4", chunkSize: 262144, uploadDate: new Date(1334155126050), md5: "617dd8559fc756d0c932756b96605beb", length: 165002988 }
  ---------- File List
  { _id: ObjectId('4f6ed179b4d62c9b14827ce2'), filename: "files/test3.f4v", chunkSize: 262144, uploadDate: new Date(1332662714504), md5: "9cdf035bd66f62b3aafb7cf712fdc22a", length: 627365883 }
  { _id: ObjectId('4f85896c0fb072ce90ab4e89'), filename: "files/test1.wmv", chunkSize: 262144, uploadDate: new Date(1334151540196), md5: "126b430551e2486b84312c8a16c3eba7", length: 101616791 }
  { _id: ObjectId('4f859772c816199f63d12b38'), filename: "files/test2.mp4", chunkSize: 262144, uploadDate: new Date(1334155126050), md5: "617dd8559fc756d0c932756b96605beb", length: 165002988 }

Pythonドライバ (PyMongo)

#!/bin/env python # -*- coding: utf-8 -*- import pymongo import gridfs import gridfs.errors def gridfs_test(): try: con = pymongo.Connection('localhost', 27017) db = con.video fs = gridfs.GridFS(db) filename = 'files/test2.mp4' ## ファイルのリストを取得 print fs.list() ## ファイルの存在確認 if fs.exists(filename=filename): print filename,'exists' item = db.fs.files.find_one({'filename':filename}) ## ファイルの取得 (gridfs.grid_file.GridOut) # _id で検索 content = fs.get(item['_id']) # その他メタデータで検索 (Versioning) # filename で検索, 最初に保存したファイルを取得 content = fs.get_version(filename, 0) metaprint(content) ## ファイルの削除 fs.delete(item['_id']) f = open('files/test1.wmv', 'r') ## ファイルの保存 # 任意のメタデータ(copyright)を付与 fs.put(f, filename='files/test1.wmv', copyright='rest-term.com') f.close() except gridfs.errors.NoFile as e: ## ファイルが存在しない場合 print e except gridfs.errors.GridFSError as e: ## その他のエラー print e def metaprint(c): ## 初期メタデータ print '_id:',c._id print 'chunk_size:',c.chunk_size print 'length:',c.length print 'md5:',c.md5 print 'name:',c.name print 'upload_date:',c.upload_date if __name__ == '__main__': gridfs_test()

• 出力例

  [u'files/test1.wmv', u'files/test2.mp4', u'files/test3.f4v']
  files/test2.mp4 exists
  _id: 4f6ed4524cb55e30ffb99535
  chunk_size: 262144
  length: 165002988
  md5: 617dd8559fc756d0c932756b96605beb
  name: files/test2.mp4
  upload_date: 2012-03-25 08:16:33.741000

ファイルはバージョニングされており、get_version で任意のバージョンのファイルを取得できる。また、ファイルを保存する時は任意のメタデータを付与して保存することができる。

チューニング

explain

MySQLと同様に高度なオプティマイザを備えている。クエリの実行計画(explain)も見ることができるのでチューニングにはこれを利用すると良い。

## インデックスを利用しない場合 > db.users.find().explain() { "cursor" : "BasicCursor", "isMultiKey" : false, "n" : 300, "nscannedObjects" : 300, "nscanned" : 300, "nscannedObjectsAllPlans" : 300, "nscannedAllPlans" : 300, "scanAndOrder" : false, "indexOnly" : false, "nYields" : 0, "nChunkSkips" : 0, "millis" : 0, "indexBounds" : { }, } ## インデックス(B-Tree Index)を利用した場合 > db.users.find({_id:ObjectId("5134255cf2374ea80fbe6ff6")}).explain() { "cursor" : "BtreeCursor _id_", "isMultiKey" : false, "n" : 1, "nscannedObjects" : 1, "nscanned" : 1, "nscannedObjectsAllPlans" : 1, "nscannedAllPlans" : 1, "scanAndOrder" : false, "indexOnly" : false, "nYields" : 0, "nChunkSkips" : 0, "millis" : 0, "indexBounds" : { "start" : { "_id" : ObjectId("5134255cf2374ea80fbe6ff6") }, "end" : { "_id" : ObjectId("5134255cf2374ea80fbe6ff6") } }, }

explain は以下の情報を返す。

• ''cursor''
  カーソルタイプ。BasicCursor/BtreeCursor/GeoSearchCursor 。
• ''isMultiKey''
  クエリがマルチキーインデックスを使っているか。
• ''n''
  ヒットしたドキュメント数
• ''nscannedObjects''
  走査されるドキュメント数。
• ''nscanned''
  走査されるドキュメント/インデックスエントリー数。インデックスが使われた場合は nscannedObjects より多くなる。
• ''nscannedObjectsAllPlans''
  全てのクエリで走査されるドキュメント数。
• ''nscannedAllPlans''
  全てのクエリで走査されるドキュメント/インデックスエントリー数。
• ''scanAndOrder''
  インデックスを使わずに結果をソートして返すか。
• ''indexOnly''
  クエリがインデックスフィールドのみを使っているか。
• ''nYields''
  待っている書き込み処理を実行させるためにリードロックを解放した回数。
• ''nChunkSkips''
  シャーディング環境においてアクティブなチャンクのマイグレーションのためにスキップされたドキュメント数。
• ''millis''
  クエリを実行するのにかかった時間(ms)
• ''indexBounds''
  インデックスを使って走査された要素の値の範囲(範囲検索なら上限と下限)

いろいろ項目はあるけど、n と nscanned をとりあえず見ながらチューニングしていくと良さそうだ。また、_id フィールドには自動でB-Tree Indexが貼られる。このインデックスだけは特別扱いで dropIndex() でも削除することはできない。

その他注意点

MongoDBが使用するディスク容量

データベースファイルは {データベース名}.{0-x} となり、0から順に 64, 128, 256, 512, 1024, 2048MB の大きさで作られる。ファイル生成時は以下のようにログ出力され、アロケーションにはかなり時間がかかっていることがわかる。

[FileAllocator] done allocating datafile /var/lib/mongo/video.3, size: 512MB,  took 28.97 secs

[FileAllocator] done allocating datafile /var/lib/mongo/video.5, size: 2047MB,  took 87.078 secs

MongoDBはオブジェクトやコレクションが削除されても、ディスク領域は再利用のためにOSには返されない。mongoシェルから、''db.repairDatabase()'' を実行するとディスク領域がOSに返される。ただしこのコマンド実行時には同じ容量のディスク領域が必要とされるため、残りディスク容量が少ないと以下のようなエラーが発生して失敗する。

> db.repairDatabase() { "errmsg" : "Cannot repair database test having size: 4243587072 (bytes) because free disk space is: 3600969728 (bytes)", "ok" : 0 }

ディスクがどうしても足りない場合は ''db.dropDatabase()'' を実行すればデータベースごと削除されてディスク領域もOSに戻される。

環境構築

MongoDB本体

CentOS 5.6 (x86_64) 上に構築します。
''10gen''レポジトリを追加してyumでインストールするだけ。

$ yum install mongo-10gen.x86_64 mongo-10gen-server.x86_64 --enablerepo=10gen

C++ドライバ

構築、使い方についてはブログにて。MongoDB C++クライアント
簡単なCRUD操作のサンプルコードは以下の通り。

/* mongo_test.cpp */ #include <iostream> #include <mongo/client/dbclient.h> int main(void) { using namespace std; try { /* connect */ mongo::DBClientConnection client; client.connect("localhost:27017"); /* database: test, collection: users */ const string ns = "test.users"; /* insert */ /* { "name": "Ryo", "age": 26 } */ /* { "name": "Ryo", "age": 26, "address": "tokyo" } */ cout << "--- insert ---" << endl; mongo::BSONObjBuilder builder; builder.append("name", "Ryo").append("age", 26); // method chain mongo::BSONObj doc = builder.asTempObj(); cout << doc.toString() << endl; client.insert(ns, doc); builder.append("address", "tokyo"); mongo::BSONObj doc2 = builder.obj(); cout << doc2.toString() << endl; client.insert(ns, doc2); /* find */ /* { } , fetch all documents */ cout << "--- find ---" << endl; auto_ptr<mongo::DBClientCursor> cursor = client.query(ns, mongo::BSONObj()); // represent { } while(cursor->more()) { mongo::BSONObj p = cursor->next(); mongo::OID oid = p["_id"].OID(); // retrieve ObjectId string name = p["name"].str(); // retrieve string value int age = p["age"].numberInt(); // retrieve integer value string address = p["address"].str(); cout << "ObjectId: " << oid << endl; cout << "name: " << name << endl; cout << "age: " << age << endl; cout << "address: " << address << endl; } /* update (using BSON macro) */ /* { "$set": { "name": "Joe" } } */ cout << "--- update ---" << endl; mongo::Query query(BSON("name" << "Ryo")); mongo::BSONObj modifier = BSON("$set" << BSON("name" << "Joe")); cout << modifier.toString() << endl; client.update(ns, query, modifier, /* upsert */ false, /* multi */ true); cursor = client.query(ns, mongo::BSONObj()); while(cursor->more()) { mongo::BSONObj p = cursor->next(); cout << p.toString() << endl; // JSON string output } /* remove */ /* { "name": "Joe" } */ cout << "--- remove ---" << endl; client.remove(ns, mongo::Query(BSON("name" << "Joe"))); } catch(const mongo::ConnectException& e) { cerr << "connect error" << endl; cerr << e.getCode() << endl; cerr << e.what() << endl; } catch(const mongo::DBException& e) { cerr << e.getCode() << endl; cerr << e.what() << endl; } return 0; }

• コンパイル/実行

  $ g++ -g -Wall -I/usr/local/include -L/usr/local/lib -lmongoclient  mongo_test.cpp -o mongo_test
  $ ./mongo_test
  --- insert ---
  { name: "Ryo", age: 26 }
  { name: "Ryo", age: 26, address: "tokyo" }
  --- find ---
  ObjectId: 4ebfc78bb7e28e3bc501cd08
  name: Ryo
  age: 26
  address:
  ObjectId: 4ebfc78bb7e28e3bc501cd09
  name: Ryo
  age: 26
  address: tokyo
  --- update ---
  { $set: { name: "Joe" } }
  { _id: ObjectId('4ebfc78bb7e28e3bc501cd08'), name: "Joe", age: 26 }
  { _id: ObjectId('4ebfc78bb7e28e3bc501cd09'), name: "Joe", age: 26, address: "tokyo" }
  --- remove ---

Pythonドライバ(PyMongo)

pipでインストールするだけ

$ pip install pymongo

ログメッセージ

気になったログメッセージに関するメモ。

info DFM::findAll(): extent 0:57700 was empty, skipping ahead

上のようなログが大量に出力されていた。どうやらドキュメントの削除によって空領域ができているよというメッセージ。無視して良いらしい。
参照: DFM::findAll()