Twitterのsnowflakeについて
2. DSIRNLP #4 / Twitterのsnowflakeについて 今日話す内容 •snowflake •Twitter社がOSSとして提供しているID生成器 •なぜこのようなツールが必要なのか •仕組みについて •etc,etc... 2 3. DSIRNLP #4 / Twitterのsnowflakeについて ID生成は結構大事（小並感） •たいていの処理の際にIDの生成は必要になる •例１：クローリングした各Webサイト群それぞ れにIDを割り振る •例２：n-gramで分かち書きをした各ワード群 それぞれにIDを割り振る •etc, etc... 3 4. DSIRNLP #4 / Twitterのsnowflakeについて ID生成の性能も結構大事 •例：１つのID生成に1msかかるとした場合、ID生 成処理にどれくらい時間がかかる？ •Webサイト１0億ページ the num
『アメーバピグにおけるDB構成&対応記』
2ヶ月前にインフルエンザとウィルス性胃腸炎でひどくダメージを受けた増田(@masudaK)です。アメーバピグは2009年2月に始まったサービスで、FLASH・Javaで作られています。そして、データストアにMySQLを用いてます。本記事では、わたくしが2年ほど見続けているアメーバピグのDB環境について構成や、日々どのようにして問題と向き合っているかを紹介したいと思います。インフラ寄りの内容が多いため、アプリ寄りの話は弊社生沼の資料を御覧ください。 1. 構成と規模 1.1. 構成 まず構成ですが、読み書きはすべてマスターへ行うようにしています。そのため、スレーブには参照を向けず、ホットスタンバイとして使っています。バージョンに関しては2012年中旬までは5.0を使ってましたが、DC移転にあわせて5.5にあげました。ロック機能を用いたシャード構成をしてまして、2014年3月現在6シャードにな
「JSON文字列へのインジェクション」と「パラメータの追加」
「JSON文字列へのインジェクション」と「パラメータの追加」：NoSQLを使うなら知っておきたいセキュリティの話（2）（1/2 ページ） MongoDBを用いたWebアプリケーションで生じる可能性がある4種類の脆弱性のうち、今回は「JSON文字列へのインジェクション」と「パラメータの追加」のメカニズムと対策について説明します。 前回の「『演算子のインジェクション』と『SSJI』」では、MongoDBを用いたWebアプリケーションで生じうる脆弱性のうち「演算子のインジェクション」と「SSJI」について、攻撃の実例と対策について解説しました。今回はさらに、「JSON文字列へのインジェクション」と「パラメータの追加」について説明します。 JSON文字列へのインジェクション これまで見てきたように、PHP言語においては連想配列を指定してデータの登録処理や検索処理を実行できます。しかし型の扱いが厳格
MySQLをインストールしたら、必ず確認すべき10の設定 | Yakst
MySQL Performance Blogの翻訳。インストール後に必ず設定を確認しなければならない設定パラメータ10つを挙げ、その意味を解説する。MySQLの設定変更時の、一般的な注意点も合わせて。 January 28, 2014 By Stephane Combaudon 我々がパフォーマンス監査の仕事をする時には、MySQLの設定のレビューと改善提案を求められる。大抵の場合、たくさんのオプションがある中でほんのいくつかの設定しか変更するように提案しないことに、多くの顧客は驚く。この記事のゴールは、もっとも重要な設定をいくつか挙げてみることにある。 既にこういった提案は過去にもしているが数年前のもので、それ以来MySQLの世界ではたくさんの変化があったのだ。 話の前に 熟練した人でも、重大なトラブルを引き起こすミスをしでかすことがある。従って、ここに挙げたものを盲目的に適用する前に、
富士通もIAサーバ、SSDストレージ、OS、データベースを垂直統合へ。約20倍の性能向上を実現と
ハードとソフトをベンダがあらかじめ最適に組み合わせた製品、いわゆる垂直統合製品がエンタープライズ市場でも1つのトレンドになっています。 オラクルが同社のサーバと仮想化ソフトウェア、OSなどを垂直統合した「Exadata」や「Exalogic」で成功すると、IBMも同社のIAサーバとソフトウェアを組み合わせた「Pure Systems」を今年の4月に発表し、垂直統合に参入してきました。 またある意味ではクラウドも、クラウドベンダによってハードからソフトまで垂直統合されたシステムによってサービスが提供されていると考えることができるでしょう。 垂直統合された製品は、その組み合わせをベンダに委ねる代わりに、製品の性能、安定性がベンダによって保証され、保守やトラブルシュートも一元化できるというメリットがあります。 富士通が垂直統合製品へ参入 その垂直統合された製品を、富士通が発表しました。自社製のサ
Redis勉強会資料(2015/06 update)
Redis勉強会の資料です。2013年に初版をアップしました。2015年6月にRedis-Clusterの内容を追記して再アップを行っています。Read less
MongoDBのCapped CollectionとTailable Cursorを使ったRealTimeAccess集計 - Y's note
Index RealTimeAccess集計 Capped Collection Tailable Cursor まとめ RealTimeAccess集計 RealTimeAccess集計をするためにMongoDBの利用を考えます。サーバーの構成は上図のようなイメージで各種ApplicationServerからFluentdでLogAggregatorにRealTimeでLogデータを転送し、LogAggregator MasterがMongoDBにFluentdで書き込んで行きます。ここで言うRealTimeAccess集計の機能要件を整理すると以下のようになります。 Access発生後、1分以内で集計結果をWebツール上で確認したい。集計区間も1分単位など。 複数条件が指定可能で、柔軟なCross集計がしたい。 RealTimeAccess集計のSystem負荷を出来る限り抑えたい。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://blog.degita.net/entry/2013/02/20/42
AdServerの仕組み