Search and analytics, data ingestion, and visualization – all at your fingertips.
Elastic — The Search AI Company
Search and analytics, data ingestion, and visualization – all at your fingertips.
SQL Indexing and Tuning e-Book for developers: Use The Index, Luke covers Oracle, MySQL, PostgreSQL, SQL Server, ...
A site explaining SQL indexing to developers—no crap about administration. SQL indexing is the most effective tuning method—yet it is often neglected during development. Use The Index, Luke explains SQL indexing from grounds up and doesn’t stop at ORM tools like Hibernate. Use The Index, Luke is the free web-edition of SQL Performance Explained. If you like this site, consider getting the book. Al
Twitter、分散フレームワーク「Gizzard」を公開 | gihyo.jp
2010年4月6日、Twitterは独自に開発した分散フレームワーク「Gizzard」をGitHubにオープンソースとして公開しました。Gizzardは「シャーディング」と呼ばれる、1台に格納するとパフォーマンスに影響を及ぼす大容量なデータベースを複数台に分割することで解決を図る手法をサポートするフレームワークです（図1）。TwitterのバックエンドにScalaが使われていることが以前話題となりましたが、このGizzardもScalaで書かれています。 図1 Gizzardのシステム構成モデル 出典：http://github.com/twitter/gizzard Gizzardはミドルウェアとして動作し、RailsやPHPなどで動くWebフロントエンドからのリクエストを受け取り、My-SQLやRedisのようなインメモリDB、Luceneなど各種データストアへ渡します。Twitt
Cassandra実践入門―Twitter、Facebookが採用するNoSQLシステム | gihyo.jp
はじめに 2010年のはじめ、TwitterがApache CassandraというJavaで実装された分散型のデータストアシステムを採用しつつあるというニュースが話題を呼びました。このことでCassandraは、NoSQLと呼ばれるシステムの中で最も注目を集めるものの一つになったと言えるでしょう。 2010年7月の時点で、Twitterは、位置情報のデータストレージ、トップツイート（トップページに表示される人気ツイート一覧）などのリアルタイム分析、データマイニング処理など、多くの用途でCassandraを活用しています。また、Cassandraを生み出し、のちにApache Foundationに寄贈したFacebookでは、5億人規模・150Tバイト以上のデータ量を持つユーザメッセージの検索機能（Inbox Search）を、150ノードのCassandraクラスタで処理しています。
Twitterのsnowflakeについて
2. DSIRNLP #4 / Twitterのsnowflakeについて 今日話す内容 •snowflake •Twitter社がOSSとして提供しているID生成器 •なぜこのようなツールが必要なのか •仕組みについて •etc,etc... 2 3. DSIRNLP #4 / Twitterのsnowflakeについて ID生成は結構大事（小並感） •たいていの処理の際にIDの生成は必要になる •例１：クローリングした各Webサイト群それぞ れにIDを割り振る •例２：n-gramで分かち書きをした各ワード群 それぞれにIDを割り振る •etc, etc... 3 4. DSIRNLP #4 / Twitterのsnowflakeについて ID生成の性能も結構大事 •例：１つのID生成に1msかかるとした場合、ID生 成処理にどれくらい時間がかかる？ •Webサイト１0億ページ the num
Facebook, Twitter, Instagram等がどうやってIDを生成しているのか まとめ - Qiita
まえがき データにIDを持たせたいとき、単純な方法としては、DBの提供するauto incrementを使う場合やUUIDを利用することがある。それぞれの方法の利点欠点は以下の通り。 データベースのauto incrementを使う場合 利点: 特別な実装が必要ない 欠点: DBを1台で運用するとデータベースがパフォーマンス・障害のボトルネックになる DBを二台にするとIDのユニークさや順序の保証が困難 UUID(v4)※1を利用する場合 利点: 分散環境で各々がIDを生成しても衝突しない IDを公開したくない場合に、推測されにくいIDを生成できる 欠点: 128ビット必要、DBのインデクシングやプログラミング言語で扱うときに不利なことがある IDから時間の情報が失われる、例えば2つのIDを比べてどちらが古い投稿か判断できない 世界の大企業がどうしてるか 調べてみると多くの企業がブログなど
Twitterが分散フレームワーク「Gizzard」公開！ Scalaで書かれたShardingを実現するミドルウェア
Twitterが分散フレームワーク「Gizzard」公開！ Scalaで書かれたShardingを実現するミドルウェア Twitterは独自に開発した分散フレームワークの「Gizzard」をオープンソースとして公開しました。GizzardはScalaで書かれたJavaVM上で動作するミドルウェアで、PHPやRubyといったWebアプリケーションからの要求を自動的にデータベースに分散することで、大規模で可用性の高い分散データベースを容易に実現するためのものです。 Gizzard：フォルトトレラントな分散データベースを実現 The Twitter Engineering Blog: Introducing Gizzard, a framework for creating distributed datastores Twitterのブログにポストされた「Introducing Gizzard
PostgreSQLに興味がある人向けにまとめてみた。｜PostgreSQL｜お仕事メモ｜Pictnotes
PostgreSQL9.2がでたのと、一部で？またPostgreSQLを使いたいと思ってる人が多くなったとかあるみたいなので 4〜5年触ってなかったか、全然知らない人向けとおさらいとしてまとめてみた。 ざっくり書いてるので、詳しい人からみるとおかしい点もあるかと思いますが、気になった点はより詳しい記事が あると思うので、調べてみてください。 明らかな間違え等々は、修正加筆したいので、コメントか twitterの @itm_kiyoまで、御願いします。 Q. なんて読むの？書くの？ A. PostgreSQL(ぽすとぐれすきゅーえる)、PとSQLは大文字。ちなみにMySQL(y以外は大文字)なんで、小文字と大文字の区別をきちんとするとその界隈の人がよろこびます。 でも、「postgres」 とか 、「Postgres」や「ポスグレ」とか書かれてることも多いです。 Q. どのバージョンを使うの
Database smells
1. Database Smells データベースの不吉な臭い ＠データベース・リファクタリング読書会 奥野 幹也 @nippondanji mikiya (dot) okuno (at) gmail (dot) com 2. 免責事項 ● 本プレゼンテーションにおいて示されている見解は、私自身 の見解であって、オラクル・コーポレーションの見解を必ず しも反映したものではありません。ご了承ください。 3. 自己紹介 ● 今日は個人として来ています。 – http://nippondanji.blogspot.com/ – Twitter: @nippondanji ● MySQL サポートエンジニア – 2000 年にサン・マイクロシステムズ入社 – 2007 年に MySQL KK へ転職 – 気付くとまたサン・マイクロシステムズに・・・ – 現在は日本オラクルに在席。 – サポート一筋
Mysql casial01
5. backup tool • mysqldump • ibbackup & innobackup • xtrabackup & innobackupex • Mydumper • LVMスナップショット 6. mysqldump • MySQL本体に標準インストールされてます。 • 論理バックアップ（SQL分のdump）です。 • InnoDBのHotbackupが可能です。 • データ量につられてバッアップの時間が長く なります。（リストアも大変） 7. mysqldump使い方 （MyISAMの場合） # time mysqldump -uroot -p$password --lock-all-tables --master-data=2 hoge 2>./error.log |gzip > hoge_YYYYmmdd_HHMMSS.sql.gz • --lock-all-tabl
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MongoDB