はてなブックマーク

スケールアップよりもスケールアウトの方が安い 5万記事の全文検索で1GBカツカツになった Elasticsearchのメモリ枯渇したら考える事 １．適当にテンプレ取るなりしてもう1台立てます ２．クラスタリング名を合わせる ３．ノード設定する ４．service elasticsearch restart スケールアップよりもスケールアウトの方が安い よく使うIDCFクラウドだとこんな感じのラインナップなので、スケールアウトの方が安いパターンが結構あります。例えば、Elasticsearchなんかはほぼメモリだけなので純粋にメモリだけが欲しいです・・・！そんな時の話 5万記事の全文検索で1GBカツカツになった もっと切り詰めれば省エネは出来るのですが、Elasticsearchにはシェーディングが標準で付いているので使わない手はありません。シェーディングは物理インデックスファイルを分散する

ゴール：Elasticsearchでサジェストが実装できるようになる ゴール：Elasticsearchでサジェストが実装できるようになる Elasticsearchを１分インストール手順 必要環境 インストール手順 Elasticsearch 1.7.4 (本体) v2系はプラグイン未対応が多いため非推奨 kuromojiプラグインインストール（日本語形態素プラグイン） headプラグインインストール（データ参照プラグイン） config設定 /opt/elasticsearch/config/elasticsearch.yml Elasticsearch起動！ headプラグインで起動確認！ RESTで設定とデータを突っ込む インデックスを作ってサジェストさせるまでの流れ データセットを準備 設定jsonをcurlで叩き込む データをcurlで叩き込む サジェストAPIを叩いてみる ま

発生するセッション問題 解決法とその考え方 同じ人には同じサーバーを常に見てもらう １－１．ロードバランサのパーシステンス設定を「source IP」にする １－２．ロードバランサのパーシステンス設定を「cookie」にする サーバー側のセッションファイルを複数台で同期する ２－１．NFSで３台すべてに１つのディスクをマウントしてセッションファイルを同期する（面倒くさい！すぐ実装するパターン） ２－２．単一障害点を回避するHA構成のDBにセッションを書き出す（高可用性をとるけど速度ちょっと捨てるパターン） ２－３．DBだと遅いからMemcacedにセッションを書き出す（高可用性はちょっと捨てるけど高速！） 組合せてセッション管理する！ まとめ 負荷分散 - ロードバランサとは、DNSラウンドロビンとは 今や上記のようなロードバランサでWebサーバを複数台配置して、高可用構成は一般的になって

Suicaの凄さ サービスを落とさないための「自立分散高速処理技術！」 ものすごい処理量をこなす緻密な速度改善 お金を扱うからこそ間違わない仕組み 当時は最先端の非接触ICカードを採用 非接触ICカードの歴史 年寄りも当たり前に使えるサービス だからSuicaは６０００万枚も普及した まとめ Suicaの凄さ ものすごい処理量（1日4000万件） 全然サービスが落ちない 年寄りも使っている Suicaがない社会なんて今や想像できないですよね？東京でSuica持ってない人はいないくらい普及していますし、レストランやコンビニでSuicaを使って買える場所も普通になってきました。普通に考えて、1日4000万件も処理して0.1秒以内に処理を完了させないといけないシステムなんて無茶苦茶難しくないですか？しかも、Suicaがリリースされたのは2001年です！ちょこっと調べてみたすごいブレークスルーの数