slow logの時間は何を計測しているのか？ きっかけ とあるMySQLインスタンスで1Gbのネットワーク帯域を使い切ってレスポンスタイムが悪化していたという話を聞いた。 確かに遅いがlong_query_timeを小さくしてもslow_logは特に出ていなかったため、どのクエリが問題なのかを特定しづらかったらしい。 これを聞いたときはRedisとかインメモリのDBならまだしもMySQLがストレージより先に1GbのNICを使い切ることがあるのかーと驚いた。まあ、100GB以上のメモリも珍しくないので、ほとんどメモリから結果を返していれば1Gb/s以上返すことは難しくなさそうではある。 だが、long_query_timeを小さくしてもslow_logにクエリが出力されなかったという部分は気になった。 具体的にlong_query_timeがどれくらいなのか、同時接続数はどれくらいでQPS
Log集計の設計を再考 【進撃の巨大データ】Log集計用DBとシステム構成の美しい設計を考える - Yuta.Kikuchiの日記 人生を前向きに楽しむことを心に誓った@yutakikuchi_です。最近はこのブログで【進撃の巨大データ】というタイトルで何回かBigDataに関する記事を書いています。前回はLog集計用DBとシステム構成の美しい設計を考えるという題でInnoDB、InfiniDBを使ったLog集計のmerit/demerit、SystemPerformanceについて記述しました。それから時間をおいて再考し、InnoDBを使う場合のメリット/デメリットと注意事項が不足している事に気づいたのでここで追記します。更に集計の緊急度に合わせて使用するDBを変えます。リアルタイムではRedis、定期処理ではMysqlを使って集計することを試してみたいと思います。 Log集計方法のme
When I started the Redis project more than ten years ago I was in one of the most exciting moments of my career. My co-founder and I had successfully launched two of the major web 2.0 services of the Italian web. In order to make them scalable we had to invent many new concepts, that were already known in the field most of the times, but we didn’t know, nor we cared to check. Problem? Let’s figure
APCのWebインターフェースではキャッシュ使用率の円グラフが表示されますが、これを元にmemcacheの管理画面を作った方がいらっしゃるようです。 For a long time I was looking for a nice web interface like the apc.php (comes with the apc’s source) that displays whole nine yards of stats. The only good tool is memcache-tool from the danga guys. It’s quite complete but I guess I’m too lazy to go on the command line. Anyways, I decided to rip write my own. Totally based
January 24, 2013 以前、Redis Sentinelを試すというエントリーを書きましたが もう少し入り込んで検証してみた。 殴り書きの域を出ていないので適時アップデートしていきたい。 検証環境 DATE: 2013/01/25 CentOS 6.3 Redis 2.6.9(remi) ドキュメント http://redis.io/topics/sentinel こちらを参考に行います。 Sentinelの設定、および起動方法 $ /usr/local/bin/redis-server /etc/sentinel.conf --sentinel [28498] 25 Jan 01:28:24.447 * Max number of open files set to 10032 _._ _.-``__ ''-._ _.-`` `. `_. ''-._ Redis 2.6.9
ROMAはRuby製のオープンソース・ソフトウェア。Webシステムで一般的に使われているRDBMSに対してここ一、二年で注目を集めているのがキー/バリュー型のデータベースシステムだ。シンプルに使えてスケールしやすく、大型のWebシステムでは導入が当たり前になりつつある。 そんなキー/バリュー型データベースとして有名なのはmemcachedやMogileFSなどが知られている。そこに独自のデータベースを開発したのが楽天だ。Ruby開発者であるまつもと氏をフェローに迎えて開発されたのがROMAになる。もちろんRubyで開発されておりごく手軽に利用できる。 ROMAはRuby1.9を使って動作する。インストールは簡単にでき、複数のインスタンスを簡単に立ち上げられる。そしてクライアントからはmemcachedと同様に接続が可能で、telnetでも接続することが可能だ。P2Pをもとして分散システムに
そして物語は更に何度目かのアプリ内通知再実装を迎える / Reimplement in app notification again
Kyoto.なんか #3の資料です
株式会社データホテルの伊勢です。 2012年8月18日（土）に開催されました 第2回 NHN テクノロジーカンファレンス の発表資料と動画を公開致します。 ご登壇頂きました皆様、ご参加頂きました皆様、どうもありがとうございました。 また、今回「H」な技術と言う事で、オライリー・ジャパン様より「HBase」の書籍をプレゼント頂きました。アレンジしていただいた翻訳者の玉川さん、オライリー・ジャパン様ありがとうございます。 「H」本当たった皆様、おめでとうございました。 それでは、以下 第2回テクノロジーカンファレンスの開催ログとなります。 ※ 登壇者の皆様と。左から 田籠氏、井上氏、中村氏、濱野氏、沈 氏、伊勢です。 「HTML5 Animation in Mobile Web Games」(沈 相旻 氏 NHN Korea、 Mobile Ajax チーム) 「日々進化するHadoopの『今
The Kumofs Project
kumofs Extremely fast and scalable distributed key-value store. Tokyo Cabinet backend and memcached protocol support. Kumofs is a simple and fast distributed key-value store. You can use a memcached client library to set, get, CAS or delete values from/into kumofs. Backend storage is Tokyo Cabinet and it will give you great performance. Data is partitioned and replicated over multiple servers. Ext
米Facebookが大規模memcached実装のための「mcrouter 1.0」をリリース | OSDN Magazine
米Facebookは9月15日、memcachedプロトコル用のルーティングソフトウェア「mcrouter」をオープンソースソフトウェアとして公開した。memcachedをクラスタ化するソフトウェアで、実サーバーだけでなくAmazon Web Services（AWS）のクラウド環境でも利用できる。 mcrouterは同社が2013年に発表しているソフトウェアで、memcachedサーバーとクライアントの間に組み込むことでmemcachedを使った分散キャッシュシステムを構築できる。memchaced ASCIIプロトコルに対応し、クライアントからのリクエストに対してはmemcachedサーバーのように反応し、またmemcachedサーバー側に対してはmemchacedクライアントのようにアクセスする。マルチクラスタをサポートし、コネクションプーリング、プレフィックスルーティング、オンライ
memcache-top - Google Code
Code Archive Skip to content Google About Google Privacy Terms
少し遅くなってしまいましたが、インターン講義Ustreamの最終回です。最終回はうごメモエンジニアid:birdie7による「データ構造」です。データ構造の概要から、B-Treeについてまでを解説しています。 インターン自体は、既に後半に入っており、実際のサービスのコードに機能追加を行っています。ちゃくちゃくと実装が進んでおり、来週にはリリースができそうです。 講義#8: データ構造 自己紹介 うごメモエンジニア 動画像処理 業務で使っている言語 C/C++、perl 今までやった主な仕事 うごメモ作品・コメント変換部 (C++等) うごメモ写真検出、高速点滅検出 (C++、XS) 直線検出、位置推定 (C++、XS) うごメモ検索 (Solr) ランキング (Hadoop)他、集計的業務 その他エンジニアリングディレクター的仕事 うごメモとは http://ugomemo.hatena.
はじめに ダニーです。2年ぶりの登場です。 今回はHubotについて書きます。 Hubotとは 絵はisshie作です。 githubが作ってるbotフレームワークです。 http://hubot.github.com 何ができるのか HipChat, Skype, IRC, その他チャット系のツールでbot用のユーザーを作成して、Hubotがそのユーザーとしてチャットにログインします。 そのユーザーにコマンドを話しかけると、Hubotがそのコマンドに応じた処理をして結果をbot用のユーザーがチャットで発言することで返してくれます。botなので定期的になにか発言したり、呼びかけに対してなにか自動で答えるというようなことができます。 何が嬉しいのか 普段の開発で定期的にやることなどをコマンドとして作成しておくと、そのコマンドをチャットで話しかけることでHubotが自動で処理してくれるようにな
Editor's Notes\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n\n \n
こんにちは、栗原です。 今回はlivedoor Blog モバイルのサーバ構成についてご紹介しようと思います。 日本でも最大規模のブログサービスのモバイルサイトがどのようなサーバ構成で稼動しているのか、またその構成を構築していく上で苦労した点や今後どのようにして行こうと考えているかについても説明できたらと思います。 サーバ構成 まずは現在のlivedoor Blog モバイルの内部構成について簡単に説明したいと思います。 livedoor Blog モバイルでは、大きく分けて5種類のサーバ群が稼動しています。 リバースプロキシ + アプリケーションサーバ ユーザが携帯からブログを閲覧した際にページを生成してレスポンスを返すサーバ群になります。現状はApache(リバースプロキシ)とApache + mod_perl(アプリケーション)を1台のサーバに同居させた形で稼動しており、台数は全部で
Spring Bootハンズオン¶ 本ハンズオンでは、簡単なECサイト作成を通じて、Spring Framework/Spring Bootの機能を学んでいきます。 また、RedisやSpring Sessionを用いてスケーラブルなWebアプリケーション作成方法を学びます。 ハンズオンを始める前に以下のソフトウェアをインストールしておいてください。 Gitのインストール Java SE 8u45以上のインストール Maven 3のインストール IntelliJ IDEA(推奨) または Spring Tool Suite(Eclipse)のインストール IDEのLombokプラグイン(IntelliJ IDE用0.9.4以上、またはEclipse用1.16.4以上)のインストール 【オプション】Redisのインストール 【オプション】Dockerのインストール 「はじめてのSpring
MySQLの次期バージョンはMemcached APIを備える！ MySQL Conference & Expo 2011基調講演
MySQLの次期バージョンはMemcached APIを備える！ MySQL Conference & Expo 2011基調講演 今年も米サンタクララで4月11日から13日にかけてMySQLのイベント「MySQL Conference & Expo 2011」が開催されました。 MySQLはオープンソースのデータベースとして最も人気のあるデータベースですが、オラクルが買収したことによって先行きが心配され、またMariaDBやDrizzleといったフォークも頭角を現してきています。しかし、この基調講演で明らかにされた次期バージョンMySQL 5.6とMySQL Cluster 7.2は、そうした懸念を吹き飛ばすほど強力な性能向上と新機能が予定されていました。現地時間4月12日に行われた基調講演「State of the Dolphin」の内容を、公開されているビデオから紹介しましょう。 オ
NginxのTCP Load BalancingがOSS版でも使えるらしいので試す - ASnoKaze blog
NginxのTCP Load Balancing(ngx_stream_core_module) もともとNginx+で利用できたTCP Load Balancing機能というものがある http://nginx.com/products/application-load-balancing/ HTTPにかぎらずTCPレイヤでロードバランシグ機能を提供する。つまりMySQLやMemcachedのロードバランサとしても使用することができるようになる。 OSS版でも使用できるようになったらしいhttp://hg.nginx.org/nginx/rev/61d7ae76647d 試しにMemcachedのロードバランサを構築してみた(環境はubuntu14.04) nginxビルド ざっと適当にインストール sudo apt-get install libpcre3 libpcre3-dev b
FluentdとRedisではじめるカジュアルで リアルタイムなレコメンデーション - Fluentd Casual Talks LT #fluentd #fluentdcasual
Norikra� + Fluentd�+ Elasticsearch� + Kibana���� リアルタイムストリーミング処理�ログ集計による異常検知daisuke-a-matsui
moved
This site has been moved. Please visit the new site.
Redis Cluster のリシャーディングとorphaned masterの話 - CyberAgent エンジニア Advent Calendar 2014 2日目
redis_cluster.md Redis Cluster のリシャーディングとorphaned masterの話 （2019/04 追記 こちらの情報は非常に古く、またRC版での結果となります。記録として残していますが参考になさらないでください） CyberAgent エンジニア Advent Calendar 2014 2日目です。 昨日に引き続き、秋葉原ラボの柿島が担当します。仕事ではHadoopクラスタの運用を中心に、秋葉原ラボのインフラ/ミドルウェアまわりを担当しています。今年はHadoop、mesos、Aerospikeと分散型のシステムを触る機会が多い1年でした。 この記事のテーマはRedis Clusterです。Redis Clusterが使えるようになるRedis 3.0.0は10月にRC1がリリースされました。2015年のQ1にstableリリースを目指しているようで
主催の皆様素晴らしいイベントの提供本当にありがとうございました。 まさかの2連覇ですが、@fujiwaraの恐ろしさを再認識するとともに、@typesterのチート性能を見せつけられた感があります。 まずは個人的な反省点から 去年よりかは大分成長しているつもりだったのに、@fujiwaraとの力関係が何もかわっていなかったことに衝撃 @typester(Redis期)がRedis使ってくることはわかっていたのに、競技中に brew install redisとかやってるのはダサすぎ ということで、isucon2を振り返ります。 事前準備 事前にIRCチャンネルを作っておいてnopate botを呼んでおいたくらい。カヤックから別チームも出ていたので、お互いのチャンネルには入らないという紳士協定。 去年の経験から、revサーバーに直接gitリポジトリを作れれば捗ることは分かっていたので、その
毎回素晴らしいイベントを主催されているLINE株式会社様、毎回ホスピタリティあふれる運営に尽力されている@941さん、出題の@tagomorisさん@kamipoさん、その他協賛企業や運営スタッフの皆様に感謝申し上げます。 ということで、ISUCON5に出場し、優勝してきました。 ISUCON1の優勝チームの再結成で @fujwiara, @sugyanと僕というメンバー構成です。4年前のISUCON1の時にチーム名を「fujiwara組にしよう」と強く言ったのは実は僕で、そのまま僕が代表者として申し込んだのですが、まさかここまでfujiwara組ブランド(?)が定着するとは思いませんでした。今年もfujiwaraさんの力が大きい勝利ですが、僕も大分貢献できたと思います。 ということで当日を振り返ります。 お題 外部APIを叩くネタで驚いた。可能性は考えていましたが、まさか来るとは思ってい
MOONGIFTで紹介されていたJNEXTを使うとブラウザからソケット通信をする事ができます。これを使ってmemcachedにソケット通信するモジュールを作ってみました。 10/9 ソースをcodereposに移しました add,replaceが使えるようになりました（使ってる人なんかいるのかね？）。 cache_memcached.js サンプルコード 使い方 サーバ側 memcachedを起動させるだけです。CGIやスクリプトを置く必要はありません。 memcached -d -m -l 192.168.0.10 -p 11211 -u root クライアント側 JNEXTをインストールします。 インストールが完了したら、auth.txtを編集してJNEXTが実行できるURLとライブラリを追記します。 MSIE → C:\Program Files\Optimistec\JNEXT\A
インメモリ型データストア「Redis 6.0」リリース、マルチスレッド対応やクライアントキャッシュなどが導入される | OSDN Magazine
インメモリデータストアRedis開発チームは4月30日、最新のメジャーリリースとなる「Redis 6.0」の一般公開を発表した。マルチスレッド処理の導入によるパフォーマンス向上やSSL対応などが特徴となる。 Redisは「データ構造ストア」をうたうシステムで、データベースやキャッシュ、メッセージブローカーなどとして利用できる。オープンソースで開発されており、ライセンスはBSDライセンス。文字列、文字列を集めたLists、Sets、ハッシュなどのデータ構造をサポートし、範囲クエリ、ビットマップ、地理空間インデックス、HyperLoglogといった形でデータを格納できる。 Redis 6.0は2018年10月公開のバージョン5系に続く最新のメジャーリリースで、過去最大のリリースとしている。本バージョンには複数の大きな変更が含まれているが、その1つとして複数スレッドを活用して効率よく処理を実行す
Simon Willisonによる2009.11.23のブログエントリ Node.js is genuinely exciting Node.jsの詳しいレビュー。速い理由はV8だけじゃない、等々勉強になる。 以下斜め読んだ内容 Evented I/Oとは？ イベントドリブンなサーバーは、従来のスレッド／ブロックメカニズムへのオルタナティブ スレッド／ブロックメカニズムはサーバーサイドプログラミングで主流 おさらい：よくあるWebフレームワークの動き 利用できるサーバーのスレッド・プロセスからの命令で、少数のリクエストを同時にさばく 長時間かかる処理は利用できるスレッド１つと結びつく 利用できるスレッドがなくなればサーバーは応答しなくなる。 大規模なトラフィックをさばくときは、できるだけ早く処理して、割り当てたスレッドを開放して、順番待ちしてる処理へ渡さないといけない よくあるWebフレー
At Spool, we calculate our key metrics in real time. Traditionally, metrics are performed by a batch job (running hourly, daily, etc.). Redis backed bitmaps allow us to perform such calculations in realtime and are extremely space efficient. In a simulation of 128 million users, a typical metric such as “daily unique users” takes less than 50 ms on a MacBook Pro and only takes 16 MB of memory. Spo
memcached - Wikipedia
もともと Danga Interactive によって LiveJournal サービスのために開発されたが、現在は多数のサイトで利用されている。memcached は、データとオブジェクトをメモリ内にキャッシュすることでデータベースから読み出しを行う回数を減少させ、データベースを用いた Web サイトを高速化するために良く用いられる。memcachedはパーミッシブ・ライセンスであるBSDライセンスに従い頒布されている[2]。 memcached は適切に設定されたファイアウォールを用いるサーバ上で使用するか、そうでない場合はSASL認証のオプション付きでコンパイルしたものを使用できる(1.4.3以降)。既定では、memcached はポート 11211 番を使用する。また、libevent を使用している。 memcached の API は、複数のマシン上に分散された巨大なハッシュテ
Twitterを利用していると、ときどきクジラの絵の画面が表示されることがあります。これはTwitterの処理能力がパンクして一時的に利用不可になったときに表示されるお馴染みの画面。 2月9日にTwitter Engineeringブログにポストされたエントリ「The Anatomy of a Whale」（クジラの解剖学）では、Twitterのエンジニアたちがこのクジラの内部に分け入ってどのようにTwitterサーバの処理能力を向上させたのか、という話が詳しく語られています。 彼らが行ったのは、まず詳細なデータを取得して原因がどの辺にあるのかを推測すること。そこから多数の無駄な処理を発見し、ソースコードの修正による性能の向上に成功します。 元記事は非常に長いエントリになっていますが、問題の調査から解決に至るアプローチについて多くのエンジニアの方の参考になりそうな内容が含まれていますし、T
Introducing mcrouter: A memcached protocol router for scaling memcached deployments
Introducing mcrouter: A memcached protocol router for scaling memcached deployments Most web-based services begin as a collection of front-end application servers paired with databases used to manage data storage. As they grow, the databases are augmented with caches to store frequently-read pieces of data and improve site performance. Often, the ability to quickly access data moves from being an
結論 Redisは2.6を使おう master-slave構成を取る場合はclient-output-buffer-limitをちゃんと意識するべき 概要 redisはエッジトリガ型のnon-blocking I/Oを用いてシングルスレッドでソケットの読み書きをぶん回す構造で書かれています。 よってclientやslaveへ対してのreplyを行う際も、ソケット自体の送信バッファが溢れた際(EAGAINが帰った際)には一度イベントループに処理を戻し、またソケットが書き込み可能になってイベントループが自分を呼んでくれた時に続きをwriteします。 まあnon-blocking I/Oなんだから当たり前なんですが、送信処理を再入可能にするためにredisはアプリケーションレベルで出力バッファを持っています。 これは送信が終わり次第適宜解放されるものの、write自体が間に合わなくなると詰まって
conma.me
This domain may be for sale!
消費者金融の金利を日割り計算【利息の計算式】
消費者金融の金利って一見高そうで不安に思いませんか？たくさんの利息を払うことになるなら借りたくないのは当たり前です。では実際に、あなたが借りたい金額をもとにして、返済完了時に払う利息の総額を計算してみませんか？すると納得してお金が借りられるので、オススメですよ！
Devel::KYTProfがだいぶいい！
仕事でアプリのボトルネックを探しているという話をしたら、hideokiさんが 「ＹＡＰＣ::Ａｓｉａ ２０１０ で ｃｈｏ４５ が紹介してた Devel::KYTProf がいいよー」 って言ってたので、使ってみたらだいぶよかったのでご紹介。 Devel::KYTProfの作者はid:onishiさんで、リポジトリはhttp://github.com/onishi/perl5-devel-kytprofにあります。 このモジュール、何ができるモジュールかっていうと(まぁcho45さんの発表動画見ればわかるのですが)、モジュール名とメソッド名を指定してやると、そのメソッドの処理にかかった時間をさくっと調べられるというものです。 たとえば Foo::Controller::Bar の baz() って関数の処理時間が知りたかったら、そのアプリケーションのメインモジュールに use Devel:
Section
2. 自己紹介 • 川上 知成 • @tomofusa • 株式会社ドリコム • ソーシャルゲーム事業本部 • ICTデザイン部 ICTグループ長 • ソーシャルゲーム開発を経て – アーキテクトグループのマネジメント 12/02/20 © Drecom Co.,Ltd. All rights Reserved 2
実はJapan Perl Association略してJPAの理事だったりするmilanoです。 こんにちは。 さて、Perlと言えば、10/15,16に年に1度の祭典YAPC::Asia Tokyo 2010が行われました。 改めて紹介させていただきますと、YAPC::Asiaというのはmixiでも使われているプログラム言語Perlのカンファレンスです。 Perlを使っている、Perlを愛している人たちが一堂に会し、発表したい人が自由に発表する、そんなイベントです。 今年はミクシィから4人がスピーカーとして発表しました。 そして2名がボランティアとして運営に関わっていました。 イベント終了後時間が経ってしまいましたが、それぞれの発表について、発表者自らの紹介とともに、ブログエントリや発表資料をまとめていきたいと思います。 Inside Mixi by hiroki システム本部技術部たん
2018年4月25日をもちまして、 『CodeIQ』のプログラミング腕試しサービス、年収確約スカウトサービスは、 ITエンジニアのための年収確約スカウトサービス『moffers by CodeIQ』https://moffers.jp/ へ一本化いたしました。 これまで多くのITエンジニアの方に『CodeIQ』をご利用いただきまして、 改めて心より深く御礼申し上げます。 また、エンジニアのためのWebマガジン「CodeIQ MAGAZINE」は、 リクナビNEXTジャーナル( https://next.rikunabi.com/journal/ )に一部の記事の移行を予定しております。 今後は『moffers by CodeIQ』にて、 ITエンジニアの皆様のより良い転職をサポートするために、より一層努めてまいりますので、 引き続きご愛顧のほど何卒よろしくお願い申し上げます。 また、Cod
///33333333333333333333333333333333333333333333333333333333333333333333333333333333333333333-g=-[=. · Issue #3909 · redis/redis
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLのslow_logは何を計測して出力されるのか - tom__bo’s Blog
【進撃の巨大データ】RealTimeLog集計を目的としたRedisの活用 - Y's note
The end of the Redis adventure - <antirez>
APCのWebインターフェースっぽいmemcacheの管理画面 - Do You PHP はてブロ
Redis Sentinelを動かしてみた · さよならインターネット
楽天製。Rubyベースの分散型キー/バリューDB·ROMA MOONGIFT
livedoor Techブログ : 第2回 NHNテクノロジーカンファレンス 開催ログ
インターン講義8日目「データ構造」 - Hatena Developer Blog
開発のお手伝いボット Hubot で定期処理を自動化しよう！
memcachedからKyotoTycoonへ
livedoor Techブログ : livedoor Blog モバイルのサーバ構成
Spring Bootハンズオン — Spring Bootハンズオン 1.0.0-SNAPSHOT documentation
おそらくはそれさえも平凡な日々: #isucon2 で連覇させてもらってきました
ISUCON5で優勝してきました | おそらくはそれさえも平凡な日々
akihitoの日記 - Javascriptでmemcachedにソケット通信する
Inside Live Journal's Backend April 2004
Simon Willison「Node.jsは超エキサイティング」 - 以下斜め読んだ内容
Redis bitmaps - Fast, easy, realtime metrics -
Twitterのクジラ解剖学、あるいは彼らがいかにサーバの処理能力を向上させたか
redisのmaster-slave構成で考えるべきことの話 - diary
ログ解析を支えるNoSQLの技術
YAPC::Asia Tokyo 2010 - mixi engineer blog
CodeIQについてのお知らせ