DBの世界に起こる変革 | エンタープライズエンジニアの独り言
エンタープライズシステムのエンジニアをやって１０年以上。思うところを書いていきます。その他趣味を少々。。。 DBの世界に起きた大きな波 現在、どの製品を使ったとしてもRDBの性能問題は必ずといっていいほど発生する。理由は簡単で、CPU、ネットワークが高速化（CPUはマルチコア化、ネットワークは10G-Ethernetの一般化やInfiniBandなど）するのにディスク（ストレージ）が高速化に追いついていないからだ。その差を埋める役割として、RDBが担っているケースが多く、性能問題になるケースが散見される。 だが、そういう時代の流れに対して大きな変革が起きようとしている。SSDはかなりコモディティ化してきたので言うに及ばずといった感じだが、個人的には速いもののディスクの置き換えにすぎないと思っている。つまり、SSDは速いがDBのアーキテクチャに大きな変革をもたらすものではない。が、ここにきて
20分でわかるHBase
PyFes 2012.07 で発表したときのスライドです。 HBaseのアーキテクチャ周りを中心に話しました
MongoDBをext3で使ったら死んだ · DQNEO日記
Linux File Systems MongoDB uses large files for storing data, and preallocates these. These filesystems seem to work well: ext4 ( kernel version >= 2.6.23 ) xfs ( kernel version >= 2.6.25 ) In addition to the file systems above you might also want to (explicitly) disable file/directory modification times by using these mount options: noatime (also enables nodiratime) We have found ext3 to be very
レコメンドエンジンを実装する場合に参考となる資料 - 理想未来ってなんやねん
Amazonのおすすめ商品や、mixi、Twitter、Facebookの『知り合いかも？』のようなレコメンドエンジンを実装する場合に参考となる資料についてメモとして記載しておきます。 本 WEB+DB PRESS WEB+DB PRESSで何度かレコメンドエンジンに関する特集が組まれています。 号 特集 Vol.49 速習レコメンドエンジン Vol.57 レコメンドエンジン開発に挑戦――関連記事を導き出すしくみを知る Vol.66 きっちりわかるアルゴリズム 〜文字列検索，圧縮，レコメンド〜 Vol.49および、Vol.57については現在総集編が販売されているで、そちらを購入した方が良いかもしれません。 WEB+DB PRESS 総集編 [Vol.1?60] 作者: 森田創,cho45,ミック,増井俊之,山本陽平,角谷信太郎,中島拓,縣俊貴,大塚知洋,伊藤直也,小飼弾,WEB+DB PR
WEB+DB PRESS Vol.67にmbedの記事を書きました - 思っているよりもずっとずっと人生は短い。
WEB+DB PRESS Vol.67 作者: 川口耕介,山本和彦,おにたま,神林飛志,杵渕朋彦,中島聡,清水亮,齋藤正浩,高橋征義,ミック,みやけん,青江崇,須賀秀和,上新卓也,牧大輔,角田直行,はまちや2,大和田純,白土慧,太田昌吾,個々一番,Shawn M Moore,じゅんいち☆かとう,小野修司,WEB+DB PRESS編集部出版社/メーカー: 技術評論社発売日: 2012/02/24メディア: 大型本購入: 15人 クリック: 253回この商品を含むブログ (26件) を見る 先日発売開始になったWEB+DB PRESSの最新号で、mbedの紹介記事を書かせていただきました。 mbedというのはラピッドプロトタイピング向けのマイクロコントローラ、というようなものらしく、要するにARMの32ビットプロセッサCortex-M3にメモリやらイーサやらUSBやらをくっつけて、さらにプログ
jdb.js - Indexed Database APIを使いやすくするフレームワーク - IT-Walker on hatena
jdb.jsというフレームワークを作りました。まだ開発に2日もかけてない（ドキュメント書くほうが大変だった(^^; ）ので、荒っぽいところも、機能が不足しているところもありますが、試しに実装してみたらかなり便利なものができたと思っているので、フライング気味に公開します。Indexed Database APIの使いにくさを知っている人なら、結構興味を持っていただけるんじゃないかと。 GitHubのリポジトリはこちらです。 以下、README_ja.mdから引用します。 jdb.jsは、W3C Indexed Database APIをより直感的に扱いやすくすることを目指したライブラリです。 名前の由来は、「IDB」(Indexed DB)をより使いやすく、ということで「JDB」(Jはアルファベット順でIの次の文字です）としました。 Indexed Database APIをそのまま利用する
第5回: データベーステーブルとモデル
前回は、タスク管理ツールのレイアウトを整えました。 今回は、タスクの中身を記録するデータベーステーブルとそれを取り扱うモデルクラスを作り、開発作業に必要な初期データを投入しましょう。 データベーステーブルとモデルの生成 Ruby on Rails の慣習に従い、タスクを記録するテーブルの名前を tasks、それに対応するモデルのクラス名を Task にします。 tasks テーブルは name, due_date, done という3つのカラムを持ちます。データ型はそれぞれ String, Date, Boolean とします。 ターミナルで、次のコマンドを実行します。 rails generate model task name:string due_date:date done:boolean rake db:migrate この結果、db ディレクトリの下に development.
MySQLのコマンドたち - すぎゃーんメモ
http://mysql-casual.org/2011/11/mysql-casual-advent-calendar-2011.html の6日目の記事として書かせていただきます、sugyanです。 勢いで参加表明してしまい、今日慌てて久しぶりにMySQLを触りました。 MySQLでFizzBuzz ストアドプロシージャって使ったこと無かったので初めて触ってみました。 DROP PROCEDURE IF EXISTS FizzBuzz; delimiter // CREATE PROCEDURE FizzBuzz(n INT) BEGIN DECLARE i INT DEFAULT 1; WHILE i <= n DO SELECT CASE WHEN i % 3 = 0 AND i % 5 = 0 THEN 'FizzBuzz' WHEN i % 5 = 0 THEN 'Buzz'
JavaScriptをブラウザ上で開発、その場で実行できるJSBinがオープンソースで公開されてたのでインストールしてみた
基本的にはjsfiddleメインなんですが、 依存するのが基本的に不安なのでロー カル環境で同じような環境を作りたか ったのですが、同様のサービスのJSBin がOSSで公開されてましたので試しに インストールしてみました。 まだちゃんと使うかは分かりませんけど、折角入れてみたので手順をメモ書き。 以前、ブラウザ上でjsを開発、URLを発行するjsfiddleをご紹介しました。jsDoitみたいなやつですね。 で、この2つ以外にも以前からJSBinっていう同じようなWebサービスがあるんですが、このJSBinがオープンソース（MIT）で公開されています。 見た目も自分用に使いやすく変えられるし、開発もスニペットの保管も出来るかなと思って、試しにローカル環境に入れてみました。 左側にJavaScriptコードやHTML、CSSを書けば、右側に結果として反映される、みたいなやつです。 JSBi
タグ機能の作成
タグ機能を作成したので、どのように実装したかを簡単に説明してみます。 タグ機能とは 記事にタグをつけることができるようにします。以下の要件にしてみました。 タグは文字列とする 1つの記事に複数のタグをつけることができる 指定したタグが付けられている記事の一覧を表示することができる タグクラウドを表示することができる 後でタグの名前を変えることができるようにする 最後の要件ですが、例えば「GoogleAppEngine」というタグを「GAE」に一括して変えることができる、ということです。 また、今回はタグクラウドとタグの名前変更機能は実装しないことにします。 方針の検討 リレーショナルDBならば、以下のような項目を持つテーブルになると思います。 記事テーブル 記事ID 記事内容等 タグテーブル タグID タグ名 記事-タグ対応テーブル 記事ID タグID この場合、以下のようなSQLでタグ
なぜTwitterは低遅延のままスケールできたのか 秒間120万つぶやきを処理、Twitterシステムの“今” − ＠IT
ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1～5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture
TokyoTyrantをPHPで使う際に便利な資料と実装コードサンプル:phpspot開発日誌
TokyoTyrantをPHPで使う際に便利な資料がスライドシェアで公開されてました。 TokyoTyrant をご存知の方も多いと思いますが、一応、知らない方に説明をすると、TokyoCabinet という高速なkey-valueストア型のデータベース操作ライブラリがあって、これのネットワークインタフェースになります。 mixi の最終ログイン時刻保存などに使われているそうで、１秒で１００００回もの保存・読み出しクエリをマシンたった１台で処理できた実績があります。 データをファイルに保存するので、サーバを落としてもデータは保持され、なおかつmemcachedと同程度のパフォーマンスを発揮できるという物凄いものです。 これをPHPから扱うためにはどうするか、という際に参考に出来る資料となってます。 非常によくまとまっていたのでご紹介させて頂いてます。 資料によると、当然ながらPHP Ext
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Soft delete best practices (PHP/MySQL)
【21社から5社をSNSの評判から厳選】おすすめの出会い系アプリ＆失敗しない選び方｜マッチングアプリ漂流教室 – マッチングアプリの感想をSNSの意見を参考に紹介