Redis

Rest Term::Tech Note

このページではインメモリKVS(Key-Value Store)のRedisに関するメモを書いています。
ブログでもまとめてあるので参考までに。
Redisの監視/分析系ツールまとめ
インメモリKVSのRedisについて
Redis AS3クライアント

---

---

• 環境
  CentOS 5.8 (x86_64)
  Redis 2.2.8, 2.6.10
  Rubyクライアント redis-rb
  Pythonクライアント redis-py
  PHPクライアント predis

Redis data types (型について)

Redisは基本の文字列型の他にリストやセット、ハッシュなどの様々な型があるが、それぞれの型に対するコマンドがatomicに動作するという特徴を持つ (参照: Command reference – Redis)。

String (文字列)

基本となる文字列型。整数文字列をセットしてインクリメント/デクリメント操作をすると内部で整数値(符号付き64bit値)として扱われる。また、バイナリセーフなのでJPEGイメージなどどんな種類のデータでも保存可能。v2.2以降ではLRU (Least Recently Used)をサポートしているのでmemcachedのようにキャッシュ用途としても利用可能。

$ redis-cli ## Redisシェルを起動 redis> set foo bar OK redis> get foo "bar" redis> type counter ## キーの型を調べる string redis> set counter 0 ## 数値文字列をセット OK redis> incr counter ## 値をインクリメント (integer) 1 redis> incr counter (integer) 2 redis> get counter "2" redis> decr counter ## 値をデクリメント (integer) 1 redis> get counter "1" redis> setex mykey 10 foobar ## expires付きで値をセット (10 sec) OK redis> get mykey ## 指定した秒数の間は値を取得できる "foobar" redis> get mykey ## 指定した秒数を超えると値は削除される (nil)

List (リスト)

リスト型。複数のプロセスから1つのリストにどんどん値をpushしていっても安心で、rpush/lpushなどのList型のコマンドはatomicな操作になっている。

redis> rpush messages "Hello how are you?" ## リストの末尾(right)に値をpush (integer) 1 redis> rpush messages "Fine thanks. I'm having fun with Redis" (integer) 2 redis> rpush messages "I should look into this NOSQL thing ASAP" (integer) 3 redis> lrange messages 0 -1 ## リストの先頭から末尾までの値を取得 1) "Hello how are you?" 2) "Fine thanks. I'm having fun with Redis" 3) "I should look into this NOSQL thing ASAP" redis> lpush messages "Long time no see" ## リストの先頭(left)に値をpush (integer) 4 redis> lrange messages 0 -1 1) "Long time no see" 2) "Hello how are you?" 3) "Fine thanks. I'm having fun with Redis" 4) "I should look into this NOSQL thing ASAP" redis> rpop messages ## リストの末尾から値をpop "I should look into this NOSQL thing ASAP" redis> lpop messages ## リストの先頭から値をpop "Long time no see" redis> llen messages ## リストの要素数を返す (integer) 2

• RPOPLPUSH(srckey, dstkey)
  List型のコマンドを別途紹介。このコマンドは srckey に対応するリストの末尾要素を削除して、その要素を dstkey に対応するリストの先頭にpushする。ひとつのリストをバックアップとして使ってメッセージキューを安全に実装するときなどに使える。また、srckey と dstkey が同じ場合はデータがローテーションする。 redis> lrange src 0 -1 ## リスト src は ["a", "b", "c"] 1) "a" 2) "b" 3) "c" redis> lrange dst 0 -1 ## リスト dst は ["d", "e", "f"] 1) "d" 2) "e" 3) "f" redis> rpoplpush src dst ## srcからpopしてdstにpush "c" ## popした要素が返る redis> lrange src 0 -1 1) "a" 2) "b" redis> lrange dst 0 -1 1) "c" 2) "d" 3) "e" 4) "f" redis> rpoplpush dst dst ## リストローテーション "f" redis> lrange dst 0 -1 1) "f" 2) "c" 3) "d" 4) "e"

Set/Sorted Set (集合/ソート済み集合)

Setは順不同の集合型。和集合や積集合などの各種集合演算が利用可能で、メンバの重複を許可しない。また、Sorted Setでは任意のスコアで値がソートされる。

redis> sadd A a ## セットに値を追加 (integer) 1 redis> sadd A b (integer) 1 redis> sadd A c (integer) 1 redis> sadd A d (integer) 1 redis> smembers A ## セット内のメンバを取得 1) "c" 2) "d" 3) "a" 4) "b" redis> sadd B a ## もうひとつセットを作る (integer) 1 redis> sadd B b (integer) 1 redis> sadd B d (integer) 1 redis> sadd B e redis> scard B ## セット内のメンバ数を返す (integer) 4 redis> sinter A B ## 積集合 A ∩ B 1) "d" 2) "a" 3) "b" redis> sunion A B ## 和集合 A ∪ B 1) "b" 2) "c" 3) "d" 4) "e" 5) "a" redis> sdiff A B ## 差集合 A \ B 1) "c" redis> sunionstore P A B ## 和集合を新たなセットとして作る (integer) 5 redis> sinterstore Q A B ## 積集合を新たなセットとして作る (integer) 3 redis> sdiff P Q ## 対象差 A Δ B 1) "c" 2) "e" ## Sorted Set redis> zadd hackers 1940 "Alan Kay" (integer) 1 redis> zadd hackers 1953 "Richard Stallman" (integer) 1 redis> zadd hackers 1965 "Yukihiro Matsumoto" (integer) 1 redis> zadd hackers 1916 "Claude Shannon" (integer) 1 redis> zadd hackers 1969 "Linus Torvalds" (integer) 1 redis> zadd hackers 1912 "Alan Turing" (integer) 1 redis> zrange hackers 0 -1 ## 指定した範囲のメンバをスコアの昇順で返す 1) "Alan Turing" 2) "Claude Shannon" 3) "Alan Kay" 4) "Richard Stallman" 5) "Yukihiro Matsumoto" 6) "Linus Torvalds" redis> zrevrange hackers 0 -1 ## 降順 1) "Linus Torvalds" 2) "Yukihiro Matsumoto" 3) "Richard Stallman" 4) "Alan Kay" 5) "Claude Shannon" 6) "Alan Turing"

Hash (ハッシュ)

Hash型。ハッシュ形式のデータを保存できる。

redis> hset user:ryo job engineer ## ハッシュのフィールドに値をセット (integer) 1 redis> hset user:ryo age 26 (integer) 1 redis> hget user:ryo job ## ハッシュのフィールドの値を返す "engineer" redis> hkeys user:ryo ## ハッシュ内に存在する全てのフィールドを返す 1) "job" 2) "age" redis> hvals user:ryo ## ハッシュ内に存在する全ての値を返す 1) "engineer" 2) "27"

Hash型では効率的にメモリを使用するために設定ファイルでパラメータを指定できるようになっている。要調査。

# Hashes are encoded in a special way (much more memory efficient) when they
# have at max a given numer of elements, and the biggest element does not
# exceed a given threshold. You can configure this limits with the following
# configuration directives.
hash-max-zipmap-entries 512
hash-max-zipmap-value 64

Persistence (永続性)

Redisはインメモリで動作するが、非同期でディスクにもデータを書き出すため永続性を備えている(データファイルはRDBと呼ばれている)。ディスクに書き出すタイミングは設定ファイル(redis.conf)で指定可能。デフォルトでは以下のように設定されている。

## 以下をコメントアウトするとディスクには一切書き出されない
## その場合はmemcachedと同様にインメモリKVSとして振る舞う
save 900 1    ## 1回更新があったら900秒(15分)後
save 300 10    ## 10回更新があったら300秒間(5分)後
save 60 10000    ## 10000回更新があったら60秒間(1分)後

rdbcompression yes  ## ダンプファイルをLZFで圧縮するかどうか
dbfilename dump.rdb    ## ダンプファイル名
dir ./    ## ファイルが書き出される場所

このようにRedisの永続化機能はスナップショットを書き出す方式なので、もしRedisサーバが落ちたときは最新のデータが失われる可能性がある。これを防ぐために append only file と呼ばれるファイルに更新コマンドを書き出すこともできる。

append only file

デフォルトでは無効になっているので利用するために設定ファイルを編集する。

appendonly yes

これだけ。デフォルトのファイル名は appendonly.aof になっている。ここで、set mykey foo を実行したときのappend only fileの内容は以下のようになっている。このようにプロトコルがシンプルなので簡単に読める($の後ろの数字はバイト数)。

*2
$6
SELECT
$1
0
*3
$3
set
$5
mykey
$3
foo

同期には fsync() を使っている。どのタイミングで同期するのかもredis.confで指定可能。

# appendfsync always  ## すべての更新コマンド実行時に同期、遅いが安全
appendfsync everysec  ## 毎秒同期、最悪で1秒間でデータが失われる可能性がある、デフォルト
# appendfsync no  ##データの同期はOSに任せる、安全ではないが高速

Replication (レプリケーション)

Redisはマスター/スレーブのレプリケーションをサポートしている。利用するのは簡単で、スレーブサーバのRedisの設定ファイルに以下の項目を追加するだけ。

slaveof 127.0.0.1 6379  ## slaveof という項目にマスターのIPアドレスとポート番号を指定

マスターの設定ファイル内で bind の項目が 127.0.0.1(localhost)に設定されている場合はlocalhostからしか接続できなくなるので、この設定を修正する。

bind 0.0.0.0  ## あるいは bind の項目自体を削除する

$ redis-server /etc/redis.conf ## localhost:6379 $ redis-server /etc/redis_slave.conf ## localhost:6380 $ redis-cli -p 6379 -h localhost ## マスターに接続 redis> set mykey foo ## 値をセット OK redis> get mykey "foo" $ redis-cli -p 6380 -h localhost ## スレーブに接続 redis> get mykey ## 確認 "foo"

ログでは以下のように書き出されている。

## マスター側ログ
[15876] 12 Jun 15:52:33 * Slave ask for synchronization
[15876] 12 Jun 15:52:33 * Starting BGSAVE for SYNC
[15876] 12 Jun 15:52:33 * Background saving started by pid 23083
[23083] 12 Jun 15:52:33 * DB saved on disk
[15876] 12 Jun 15:52:33 * Background saving terminated with success
[15876] 12 Jun 15:52:33 * Synchronization with slave succeeded

## スレーブ側ログ
[23082] 12 Jun 15:52:33 * Connecting to MASTER...
[23082] 12 Jun 15:52:33 * MASTER <-> SLAVE sync started: SYNC sent
[23082] 12 Jun 15:52:33 * MASTER <-> SLAVE sync: receiving 34 bytes from master
[23082] 12 Jun 15:52:33 * MASTER <-> SLAVE sync: Loading DB in memory
[23082] 12 Jun 15:52:33 * MASTER <-> SLAVE sync: Finished with success

Hashing (データ分散)

Redisクライアントでは Consistent Hashing によって複数サーバにデータを振り分けている(対応していないクライアントライブラリもある)。ここではRubyクライアントライブラリ(redis-rb)を使って確認。(MRI 1.9.2p0 (2010-08-18 revision 29036))

#!/bin/env ruby require 'rubygems' require 'redis' require 'redis/distributed' ## Redisサーバは4台 ## Redisクラスではなく、Redis::Distributedクラスを使う r = Redis::Distributed.new %w(redis://localhost:6379 redis://localhost:6380 redis://localhost:6381 redis://localhost:6382) r.flushdb (1..20).each do |n| r.set("key#{n}", "value#{n}") end ## Redis::Distributed@ring はHashRingクラスのインスタンス r.ring.nodes.each do |node| puts "#{node.client.host}:#{node.client.port} => #{node.keys("*").join(', ')}" end r.flushdb

• 出力結果

  localhost:6379 => key12, key10, key11, key13, key6
  localhost:6380 => key20, key7
  localhost:6381 => key19, key5, key14, key15, key16, key17, key18
  localhost:6382 => key2, key3, key4, key8, key1, key9

Pipelining (パイプライニング)

Redisではパイプライニングにも対応している。複数のコマンドをサーバーの応答を待たずに一括で送信できる。

$ (echo -en "PING\r\nPING\r\nPING\r\n"; sleep 1) | nc localhost 6379 +PONG +PONG +PONG

ベンチマークをとってみる。

#!/bin/env ruby require 'rubygems' require 'redis' def bench(descr) start = Time.now yield puts "#{descr} #{Time.now-start} seconds" end def without_pipelining r = Redis.new 10000.times { r.ping } end def with_pipelining r = Redis.new r.pipelined { 10000.times { r.ping } } end bench("without pipelining") { without_pipelining } bench("with pipelining") { with_pipelining }

• 結果

  without pipelining 2.295884 seconds  ## パイプライニング無し
  with pipelining 0.443958 seconds  ## パイプライニング有り

  パイプラインを使用したほうが5倍ほど速い。

Pub/Sub

RedisではPublish-Subscribeモデルのメッセージング機能をサポートしている(Publish–subscribe pattern)。

• subscriber.rb #!/bin/env ruby require 'rubygems' require 'redis' begin r = Redis.new:host => 'localhost', :port => 6379 puts 'starting subscribe ...' r.subscribe 'pubsub-test' do |sub| sub.message do |ch, msg| puts "channel: #{ch}" puts "message: #{msg}" end end rescue SocketError, Errno::ECONNREFUSED => e puts e.message rescue RuntimeError => e puts e.message rescue Interrupt puts 'stopping subscribe ...' end
• 動作確認 ## subscriberを起動 $ ruby subscriber.rb starting subscribe ... ## メッセージをpublish $ redis-cli publish 'pubsub-test' 'my message' (integer) 1 ## subscriberがメッセージを受信 starting subscribe ... channel: pubsub-test message: my message ## Ctrl-C で止める stopping subscribe ...

Lua Scripting

Redis v2.6からLuaインタプリタが組み込まれ、サーバサイドでLuaスクリプトを実行することができるようになった。

EVAL

EVAL script numkeys key [key ...] arg [arg ...]

EVALコマンドは引数に渡した文字列をLuaスクリプトとして実行(評価)する。numkeys には操作するkeyの数を指定する。keyの操作が必要ないスクリプトの場合は0を指定。

> eval "return 'hello, world'" 0 "hello, world"

redis-cli コマンドの ''--eval オプション''を使えば外部スクリプトファイルを読み込んで実行できる。

-- hello.lua local message = 'hello, world' return message ## keyの数は指定しなくてよい $ redis-cli --eval hello.lua "hello, world"

または、以下のようにシェルでファイルの中身を展開して渡す方法もある。

$ redis-cli eval "$(cat hello.lua)" 0 "hello, world"

Luaスクリプト内でRedisの各コマンドを呼ぶことができる。Luaから使えるAPIは以下の2つ。

• ''redis.call()''
• ''redis.pcall()''

この2つの違いはエラー時の挙動。エラー発生時、redis.call() はスクリプトを終了し、redis.pcall() はエラーを補足してスクリプトを継続させる。

> eval "return redis.call('INCR', KEYS[1])" 1 foo (integer) 1

KEYS配列は操作対象となるkeyが格納されている配列。上記例では'foo'というkeyに対してINCRコマンドを呼んで値をインクリメントしている。また、更新する値を指定する場合はKEYSと併せてARGV配列も使う。このARGV配列には操作するkeyに対する値(value)が格納される。

> eval "return redis.call('SET', KEYS[1], ARGV[1])" 1 foo 100 OK > get foo "100" > eval "return {KEYS[1],KEYS[2],ARGV[1],ARGV[2]}" 2 key1 key2 first second 1) "key1" 2) "key2" 3) "first" 4) "second"

using modules

Redis v2.6.10に組み込まれているLua処理系では以下のモジュールが利用できる。

• base
• table
• string
• math
• debug
• cjson (3rd party)
• cmsgpack (3rd party)

ここではいくつかのモジュールを紹介。

• tableモジュール
  テーブル操作の為のユーティリティモジュール。 local t = {3,5,1,4,2} -- テーブル内要素を降順ソート(in-place) table.sort(t, function(a, b) return a > b end) -- テーブル内要素を ' > ' で繋げた文字列を返す return table.concat(t, ' > ') 返される文字列は "5 > 4 > 3 > 2 > 1" となる。
• cjsonモジュール
  JSONデータを扱うためのモジュール。 -- cjsontest.lua local key = 'cjsontest' if redis.call('EXISTS', key) == 1 then local encoded = redis.call('GET', key) local decoded = cjson.decode(encoded) local str = 'table: ' for k,v in pairs(decoded) do str = str..k..'='..v..' ' end return str else local data = {foo=1, bar=2, baz=3} local encoded = cjson.encode(data) redis.call('SET', key, encoded) return 'set ok' end $ redis-cli --eval cjsontest.lua "set ok" $ redis-cli --eval cjsontest.lua "table: foo=1 bar=2 baz=3 "
• cmsgpackモジュール
  MessagePackデータを扱うためのモジュール。 -- cmsgpacktest.lua local key = 'cmsgpacktest' if redis.call('EXISTS', key) == 1 then local packed = redis.call('GET', key) local unpacked = cmsgpack.unpack(packed) local str = 'table: ' for k,v in pairs(unpacked) do str = str..k..'='..v..' ' end return str else local data = {foo=1, bar=2, baz=3} local packed = cmsgpack.pack(data) redis.call('SET', key, packed) return 'set ok' end $ redis-cli --eval cmsgpacktest.lua "set ok" $ redis-cli --eval cmsgpacktest.lua "table: foo=1 bar=2 baz=3 "

EVALSHA

作成したLuaスクリプトをRedisサーバに登録する。あらかじめサーバ側に登録しておけばスクリプトの転送コストを削減することができる。

## Luaスクリプトのサーバへの登録、スクリプトのSHA1ハッシュダイジェストが返される
SCRIPT LOAD script
 
## 登録されているLuaスクリプトを実行、第一引数にはスクリプト本体ではなくSHA1ハッシュ文字列を指定
EVALSHA sha1 numkeys key [key ...] arg [arg ...]

## SCRIPT LOADコマンドでLuaスクリプトの登録 > script load "return ARGV[1] + ARGV[2]" "53c370cb7894e73f9aaf94627c0506c428b5cc97" ## EVALSHAコマンドで登録されているスクリプトを実行 > evalsha 53c370cb7894e73f9aaf94627c0506c428b5cc97 0 100 200 (integer) 300 ## 未登録のSHA1ダイジェストを指定するとエラーを返す > evalsha foobarbaz 0 100 200 (error) NOSCRIPT No matching script. Please use EVAL.

HyperLogLog

HyperLogLogとはデータのcardinality(異なり数、種類の数)を高速に推定するアルゴリズムで、高速かつ省メモリで実行できる。

Redis 2.8.9における HyperLogLog 関連のコマンドは以下の3つ。プレフィックスの'PF'は HyperLogLog アルゴリズムの考案者である Philippe Flajolet 氏に敬意を表して付けたとのこと。

• PFADD ## キーに値を追加 ## O(1) to add every element. PFADD key element [element ...]
• PFCOUNT ## 異なり数を算出 ## O(1) with every small average constant times when called with a single key. O(N) with N being the number of keys, and much bigger constant times, when called with multiple keys. PFCOUNT key [key ...]
• PFMERGE ## キーを結合 ## O(N) to merge N HyperLogLogs, but with high constant times. PFMERGE destkey sourcekey [sourcekey ...]

## キーに初期値を追加、新規追加に成功すると1が返る redis> PFADD hll foo bar zap (integer) 1 ## 値"zap"はキー内に既に存在しているので新規追加しない、0が返る redis> PFADD hll zap zap zap (integer) 0 ## 同上 redis> PFADD hll foo bar (integer) 0 ## 異なり数を算出、foo, bar, zapの合計3 redis> PFCOUNT hll (integer) 3 ## 別のキーに値を新規追加 redis> PFADD some-other-hll 1 2 3 (integer) 1 ## 2つのキーそれぞれの異なり数を算出、foo, bar, zap, 1, 2, 3の合計6 redis> PFCOUNT hll some-other-hll (integer) 6 ## キーの結合 redis> PFADD hll1 foo bar zap a (integer) 1 redis> PFADD hll2 a b c foo (integer) 1 redis> PFMERGE hll3 hll1 hll2 OK ## 結合したキーの異なり数を算出、foo, bar, zap, a, b, cの合計6 redis> PFCOUNT hll3 (integer) 6

Pythonクライアントライブラリ(redis-py)からも簡単に利用できる。

>>> import redis >>> r = redis.Redis(host='localhost', port=6379) >>> r.pfadd('hll', 'foo', 'bar', 'zap') 1 >>> r.pfadd('hll', 'zap', 'zap', 'zap') 0 >>> r.pfadd('hll', 'foo', 'bar') 0 >>> r.pfcount('hll') 3 >>> r.pfadd('some-other-hll', '1', '2', '3') 1 >>> r.pfcount('some-other-hll') 3 >>> r.pfcount('hll', 'some-other-hll') Traceback (most recent call last): File "<stdin>", line 1, in <module> TypeError: pfcount() takes exactly 2 arguments (3 given) >>> r.pfadd('hll1', 'foo', 'bar', 'zap', 'a') 1 >>> r.pfadd('hll2', 'a', 'b', 'c', 'foo') 1 >>> r.pfmerge('hll3', 'hll1', 'hll2') True >>> r.pfcount('hll3') 6

Job Queue

Resque

バックエンドにRedisを利用したRuby製ジョブキュー。Githubでの利用実績がある。

• Job #!/bin/env ruby require 'resque' Resque.redis = 'localhost:6379' module Demo module Job @queue = :default ## キューの名前は @queue で指定 def self.perform(params) ## ジョブ処理を perform メソッドに実装 sleep 1 puts 'processed a job!' end end end Resque.enqueue(Demo::Job, 'param') ## ジョブをエンキュー

  $ chmod +x job.rb
  $ ./job.rb  ## ジョブをエンキュー

• Worker
  ワーカー用のRakefile等は公式のデモ(https://github.com/defunkt/resque.git)から借りてきた。

  $ QUEUE=default VERBOSE=true rake resque:work
  * * * Starting worker
  * * * got:  (Job{default}  |  Demo::Job  | ["param"])
  processed a job!
  * * * done:  (Job{default}  |  Demo::Job  |  ["param"])

Pyres

ResqueのPythonクローン。公式サイト

• インストール
  導入はpipからできる。

  $ pip installl pyres

  workerスクリプト(pyres_worker)もいっしょにインストールされる。
• Job
  Resqueと同じようにジョブの処理は perform メソッドに実装する #!/usr/bin/env python # -*- coding:utf-8 -*- # mymodule.job class TestJob(object): ## キューの名前を指定 queue = "default" @staticmethod def perform(arg): print(arg) #!/usr/bin/env python # -*- coding:utf-8 -*- import time from pyres import ResQ import mymodule.job if __name__ == '__main__': r = ResQ(server='localhost:6379') r.enqueue(mymodule.job.TestJob, 'foo') ## ジョブをエンキュー r.close()
• Worker
  パッケージに同梱されている pyres_worker を使うと楽。 $ pyres_worker -h Usage: pyres_worker [options] arg1 Options: -h, --help show this help message and exit --host=HOST --port=PORT -i INTERVAL, --interval=INTERVAL the default time interval to sleep between runs -l LOG_LEVEL, --log-level=LOG_LEVEL log level. Valid values are "debug", "info", "warning", "error", "critical", in decreasing order of verbosity. Defaults to "info" if parameter not specified. -f LOGFILE If present, a logfile will be used. "stderr", "stdout", and "syslog" are all special values. -p PIDFILE If present, a pidfile will be used. -t TIMEOUT, --timeout=TIMEOUT the timeout in seconds for this worker ## 処理対象のジョブキューの名前を引数に渡す $ pyres_worker default 2013-06-09 16:27:32 17228 INFO starting 2013-06-09 16:27:35 17228 INFO Found job on default: (Job{default} | mymodule.job.TestJob | ['foo']) 2013-06-09 16:27:35 17228 INFO Forked 17233 at 2013-06-09 16:27:35.465698 2013-06-09 16:27:35 17233 INFO Processing (Job{default} | mymodule.job.TestJob | ['foo']) since 2013-06-09 16:27:35.464269 ('foo')

• pyres_manager
  prefork型のworkerも提供されている。こちらの方が処理効率が良いのでオススメ。 ## poolオプションでプロセス数を指定、キューも複数指定可能 $ pyres_manager --pool=5 queue_one,queue_two

Client Library

ここではPythonおよびPHPクライアントライブラリの使い方も載せておく。

Python (redis-py)

• インストール

  pip install redis

• サンプル
  String/List/Set/Hash型の操作を行うPythonサンプルコード。 #!/usr/bin/env python # -*- coding:utf-8 -*- from redis import Redis, RedisError try: r = Redis(host='localhost', port=6379) ## String print '--- String ---' key1 = 'string:key:1' r.set(key1, 'foo') print r.get(key1) r.set(key1, 1) print r.get(key1) r.incr(key1) print r.get(key1) r.decr(key1) print r.get(key1) key2 = 'string:key:2' key3 = 'string:key:3' r.mset({key1:'foo', key2:'bar', key3:'baz'}) print r.mget([key1, key2, key3]) r.delete(key1) r.delete(key2) r.delete(key3) ## List print '--- List ---' key = 'list:key' r.rpush(key, 1) r.rpush(key, 3) r.rpush(key, 5) r.rpush(key, 7) print r.lrange(key, 0, -1) print r.llen(key) r.lpop(key) r.lpop(key) print r.lrange(key, 0, -1) r.delete(key) ## Set print '--- Set ---' key1 = 'set:key:1' key2 = 'set:key:2' r.sadd(key1, 'a') r.sadd(key2, 'b') r.sadd(key1, 'c') r.sadd(key2, 'c') r.sadd(key1, 'd') r.sadd(key2, 'e') print r.smembers(key1) print r.smembers(key2) print r.sinter([key1, key2]) print r.sunion([key1, key2]) print r.sdiff([key1, key2]) r.delete(key1) r.delete(key2) ## Hash print '--- Hash ---' key = 'hash:key' r.hset(key, 'foo', 1) r.hset(key, 'bar', 2) r.hset(key, 'baz', 3) print r.hget(key, 'foo') print r.hget(key, 'bar') print r.hget(key, 'baz') print r.hgetall(key) print r.hkeys(key) print r.hvals(key) r.hdel(key, 'foo') print r.hkeys(key) r.delete(key) except RedisError as e: print e.message

PHP (predis)

predisは名前空間の機能を用いているため、PHP5.3以降でないと動作しないので注意。

• インストール
  githubからライブラリファイルをダウンロードして include_path の通ったディレクトリに配置するだけ。
  nrk/predis · GitHub

• サンプル
  String/List/Set/Hash型の操作を行うPHPサンプルコード。ここではPHP5.4の配列の短縮構文を使っているので注意([]構文)。 <?php require 'Predis/Autoloader.php'; Predis\Autoloader::register(); try { $params = [ 'host' => 'localhost', 'port' => 6379, 'connection_timeout' => 3 ]; $r = new Predis\Client($params); // String echo "--- String ---\n"; $key1 = 'string:key:1'; $r->set($key1, 'foo'); echo $r->get($key1),"\n"; $r->set($key1, 1); echo $r->get($key1),"\n"; $r->incr($key1); echo $r->get($key1),"\n"; $r->decr($key1); echo $r->get($key1),"\n"; $key2 = 'string:key:2'; $key3 = 'string:key:3'; $r->mset([$key1 => 'foo', $key2 => 'bar', $key3 => 'baz']); print_r($r->mget([$key1, $key2, $key3])); $r->del($key1); $r->del($key2); $r->del($key3); // List echo "--- List ---\n"; $key = 'list:key'; $r->rpush($key, 1); $r->rpush($key, 3); $r->rpush($key, 5); $r->rpush($key, 7); print_r($r->lrange($key, 0, -1)); echo $r->llen($key),"\n"; $r->lpop($key); $r->lpop($key); print_r($r->lrange($key, 0, -1)); $r->del($key); // Set echo "--- Set ---\n"; $key1 = 'set:key:1'; $key2 = 'set:key:2'; $r->sadd($key1, 'a'); $r->sadd($key2, 'b'); $r->sadd($key1, 'c'); $r->sadd($key2, 'c'); $r->sadd($key1, 'd'); $r->sadd($key2, 'e'); print_r($r->smembers($key1)); print_r($r->smembers($key2)); print_r($r->sinter([$key1, $key2])); print_r($r->sunion([$key1, $key2])); print_r($r->sdiff([$key1, $key2])); $r->del($key1); $r->del($key2); // Hash echo "--- Hash ---\n"; $key = 'hash:key'; $r->hset($key, 'foo', 1); $r->hset($key, 'bar', 2); $r->hset($key, 'baz', 3); echo $r->hget($key, 'foo'),"\n"; echo $r->hget($key, 'bar'),"\n"; echo $r->hget($key, 'baz'),"\n"; print_r($r->hgetall($key)); print_r($r->hkeys($key)); print_r($r->hvals($key)); $r->hdel($key, 'foo'); print_r($r->hkeys($key)); $r->del($key); } catch (Predis\ClientException $e) { echo $e->getMessage(); } catch (Predis\ServerException $e) { echo $e->getMessage(); }

Sentinel

Redis本家プロジェクトで開発されている、Redisサーバの死活監視/通知および自動フェイルオーバー機能を提供する管理サーバ(redis-sentinel)。v2.4.16または2.6.0-rc6以降のバージョンから利用可能になった。

configuration

## /etc/redis/sentinel.conf

# port <sentinel-port>
port 26379
# sentinel monitor <master-name> <ip> <redis-port> <quorum>
sentinel monitor mymaster db0 6379 2
# sentinel down-after-milliseconds <master-name> <milliseconds>
sentinel down-after-milliseconds mymaster 5000
# sentinel failover-timeout <master-name> <milliseconds>
sentinel failover-timeout mymaster 900000
# sentinel can-failover <master-name> <yes|no>
sentinel can-failover mymaster yes
# sentinel parallel-syncs <master-name> <numslaves>
sentinel parallel-syncs mymaster 1

各設定項目について。Sentinelによるクラスタ監視はいわゆるQuorumベース投票の方式を採る。複数のSentinelがMasterを監視していて、その内しきい値数以上のSentinelがMasterのダウンを検知したらフェイルオーバー処理を開始する。

SentinelはMasterとSlave両方の死活監視をしてくれるが、状態が''ODOWNに遷移するのはMasterのみ''なので注意。can-failover を no にして起動したSentinelプロセスはフェイルオーバー処理自体は行わず(他のSentinelに任せる)、自身はダウン検知と投票処理のみを行う。

test

Sentinel起動前にレプリケーションが動作していることを確認。

redis db0:6379> info replication # Replication role:master connected_slaves:1 slave0:db0,6380,online slave1:db1,6379,online

続けて3つのSentinelプロセスを立ち上げる。

$ redis-sentinel /etc/redis/sentinel.conf ## または redis-server をsentinelモードで起動する $ redis-server /etc/redis/sentinel.conf --sentinel

ログにて各SlaveおよびSentinelと接続したことを確認。

[19069] 14 May 16:30:31.909 * +slave slave db1:6379 db1 6379 @ mymaster db0 6379
[19069] 14 May 16:30:31.909 * +slave slave db0:6380 db0 6380 @ mymaster db0 6379
[19069] 14 May 16:30:38.320 * +sentinel sentinel db0:26380 db0 26380 @ mymaster db0 6379
[19069] 14 May 16:30:39.655 * +sentinel sentinel db1:26379 db1 26379 @ mymaster db0 6379

また、Sentinel起動後はINFOコマンドでSentinel関連の情報を確認ができる。

redis db0:26379> info sentinel # Sentinel sentinel_masters:1 sentinel_tilt:0 sentinel_running_scripts:0 sentinel_scripts_queue_length:0 master0:name=mymaster,status=ok,address=db0:6379,slaves=2,sentinels=3

フェイルオーバー処理の動作確認の為、ここでMasterを落とす。

redis db0:6379> shutdown

ログにてフェイルオーバー処理の進捗を確認。

[19069] 14 May 16:30:51.170 # +sdown master mymaster db0 6379
[19069] 14 May 16:30:52.386 # +odown master mymaster db0 6379 #quorum 2/2
[19069] 14 May 16:30:52.386 # +failover-triggered master mymaster db0 6379
[19069] 14 May 16:30:52.386 # +failover-state-wait-start master mymaster db0 6379 #starting in 13910 milliseconds
[19069] 14 May 16:31:06.379 # +failover-state-select-slave master mymaster db0 6379
[19069] 14 May 16:31:06.480 # +selected-slave slave db1:6379 db1 6379 @ mymaster db0 6379
[19069] 14 May 16:31:06.480 * +failover-state-send-slaveof-noone slave db1:6379 db1 6379 @ mymaster db0 6379
[19069] 14 May 16:31:06.583 * +failover-state-wait-promotion slave db1:6379 db1 6379 @ mymaster db0 6379
[19069] 14 May 16:31:06.901 # +promoted-slave slave db1:6379 db1 6379 @ mymaster db0 6379
[19069] 14 May 16:31:06.902 # +failover-state-reconf-slaves master mymaster db0 6379
[19069] 14 May 16:31:06.991 * +slave-reconf-sent slave db0:6380 db0 6380 @ mymaster db0 6379
[19069] 14 May 16:31:07.294 * +slave-reconf-inprog slave db0:6380 db0 6380 @ mymaster db0 6379
[19069] 14 May 16:31:08.316 * +slave-reconf-done slave db0:6380 db0 6380 @ mymaster db0 6379
[19069] 14 May 16:31:08.417 # +failover-end master mymaster db0 6379
[19069] 14 May 16:31:08.417 # +switch-master mymaster db0 6379 db1 6379
[19069] 14 May 16:31:08.548 * +slave slave db0:6380 db0 6380 @ mymaster db1 6379
[19069] 14 May 16:31:09.068 * +sentinel sentinel db0:26380 db0 26380 @ mymaster db1 6379
[19069] 14 May 16:31:12.258 * +sentinel sentinel db1:26379 db1 26379 @ mymaster db1 6379

SentinelがMasterのダウンを検知すると状態がSDOWNに、quorumパラメータで指定した数のSDOWNが揃うと次はODOWNへと遷移、その後フェイルオーバー処理が開始される。最後に新しいMasterとSlaveで正常稼働していることを確認。

redis db1:6379> info replication # Replication role:master connected_slaves:1 slave0:db0,6380,online

Sentinel API

SentinelはいくつかのAPIを提供している。

## SENTINEL masters # 監視対象のMasterに関する情報を確認 redis 127.0.0.1:26379> sentinel masters 1) 1) "name" 2) "mymaster" 3) "ip" 4) "127.0.0.1" 5) "port" 6) "6379" 7) "runid" 8) "b3b31e6c6d1fbb0cec5d179fd666ce00ea103746" 9) "flags" 10) "master" 11) "pending-commands" 12) "0" 13) "last-ok-ping-reply" 14) "568" 15) "last-ping-reply" 16) "568" 17) "info-refresh" 18) "9745" 19) "num-slaves" 20) "1" 21) "num-other-sentinels" 22) "1" 23) "quorum" 24) "2" ## SENTINEL slaves <master name> # Slaveに関する情報を確認 redis 127.0.0.1:26379> sentinel slaves mymaster 1) 1) "name" 2) "127.0.0.1:6380" 3) "ip" 4) "127.0.0.1" 5) "port" 6) "6380" 7) "runid" 8) "17c0f7e7e4d2af0f5f6140ea0ceb0d82d0010aed" 9) "flags" 10) "s_down,slave,disconnected" 11) "pending-commands" 12) "0" 13) "last-ok-ping-reply" 14) "709377" 15) "last-ping-reply" 16) "709377" 17) "s-down-time" 18) "704333" 19) "info-refresh" 20) "712808" 21) "master-link-down-time" 22) "0" 23) "master-link-status" 24) "ok" 25) "master-host" 26) "127.0.0.1" 27) "master-port" 28) "6379" 29) "slave-priority" 30) "100" ## SENTINEL is-master-down-by-addr <ip> <port> # Masterの死活確認 redis 127.0.0.1:26379> sentinel is-master-down-by-addr 127.0.0.1 6379 1) (integer) 0 ## 0:UP, 1:DOWN 2) "397dec99760d5d30043941fe4c1c35ba99e99ebf" ## Sentinel(subjective leader)のrun_id ## SENTINEL get-master-addr-by-name <master name> # MasterのIP, Portを確認 redis 127.0.0.1:26379> sentinel get-master-addr-by-name mymaster 1) "127.0.0.1" 2) "6379" ## SENTINEL reset # Sentinelの現在の状態をリセット(フェイルオーバー処理中であっても) redis 127.0.0.1:26379> sentinel reset mymaster (integer) 1

その他はブログエントリーを参照のこと。
Redisの監視/分析系ツールまとめ

Configuration

Redisサーバの設定項目について注意点などを整理する。

• ''maxmemory/maxmemory-policy''
  maxmemory には Redisサーバがデータ保存領域として利用するメモリ量を指定する。単位は "100m" (MB)や "2g" (GB)のように指定可能。maxmemory-policy にはデータ量が maxmemory で設定した値に達した際にRedisサーバにどういう挙動をさせるかを指定する。

  設定値	説明
  volatile-lru	expireが設定されているキーを対象にLRU(Least Recentry Used)で削除。(デフォルト)
  allkeys-lru	全てのキーを対象にLRUで削除。
  valatile-random	expireが設定されているキーを対象にランダムで削除。
  allkeys-random	全てのキーを対象にランダムで削除。
  valatile-ttl	expireが設定されているキーを対象に期限切れが近い順に削除。
  noeviction	キーを一切削除しない。書き込みは以後エラーとなる。

• ''appendfsync''
  appendfsync はデータをバッファキャッシュからディスクに書き出すための fsync(2) を呼ぶタイミングを指定する。

  設定値	説明
  always	クエリ毎にfsyncする。データの信頼性は増すが性能は落ちる。
  everysec	毎秒fsyncする。(デフォルト)
  no	Redisからfsyncせず、ディスクへのflushはOSに任せる。

• ''auto-aof-rewrite-percentage/auto-aof-rewrite-min-size''
  AOFに記録されるのは実行されたRedisのコマンドをそのまま記録しているが、長く運用しているとファイルサイズがかなり肥大化する。そのためRedisにはAOFを書き換えてサイズを小さくする機能を備えている。前回書き換えた時のファイルサイズの auto-aof-rewrite-percentage で指定した割合まで、現在のAOFのサイズが大きくなった時に書き換え処理が実行される。ただし、auto-aof-rewrite-min-size で指定したサイズ以下の場合は書き換え処理は実行されない。

• ''slowlog-log-slower-than''
  MySQLにおけるスロークエリと同様。コマンド実行が slowlog-log-slower-than で指定した時間(マイクロ秒)以上かかったコマンドをスローログとして記録する。