What does "scalable database" mean? | James Golick
All over the interwebs, people are equating NoSQL with scalability. Yesterday, I wrote a blog post explaining that most NoSQL dbs aren't, in fact, scalable. The general consensus in the comments seemed to be that my article was missing substantiation — that without explaining why the dbs weren't scalable, I wasn't adding anything to the discussion. So, what does ”scalable database“ mean? There are
正しいベンチマークをするための10のポイント
世の中ではたくさんの人が独自にベンチマークを行ない、独自に情報発信がされています。そのベンチマークの中には、非常に参考になるものもあれば、現実性に大きく欠けるものもあります。競合他社が、ライバル社の製品にとって不利な条件でベンチマークを行い、それを発信することも日常的に行われています。ベンチマークの結果を鵜呑みにすることは危険で、結果の意味を判断するスキルを持つことが重要です。これはプロジェクトにおいて負荷テストを行う場合にも重要です。負荷テストの条件設定が正しいかどうかを判断できるようになるためです。 ここでは、私がDBサーバのベンチマーク/負荷テストを行ったり結果を読んだりする上で、心がけているポイントを10個ほど紹介したいと思います。 ■ハードウェアに関する4つのポイント 1. ハードウェアのスペックと設定を注視する ハードウェア構成によってベンチマーク結果は劇的に変わるので、言わず
�Linux/DB Tuning (DevSumi2010, Japanese)
NTT Tech Conference 2022 での「Dockerからcontainerdへの移行」の発表資料です https://ntt-techconf.connpass.com/event/241061/ 訂正： P2. . 誤: ``` Ship docker run -it --rm alpine Run docker push ghcr.io/ktock/myalpine:latest ``` 正: ``` Ship docker push ghcr.io/ktock/myalpine:latest Run docker run -it --rm alpine ``` 最近勉強を始めたコンテナ技術に関する基礎的な知識をまとめました。 [訂正と注釈] p.27-30: 「Deployment」内の「Version: 1」 => 「Version: 2」 p.37: 「終了コード
「Linux-DBシステム構築／運用入門」がすごい - あなたのシステム、ガラパゴス化していませんか？ - kazuhoのメモ置き場
松信さんがやってくれました。 ずいぶん前からデータベースの「正しい」構築と運用方法についてまとめた本はないかなーと思ってました。自分はこれまで、様々なネットワークアプリケーションのプログラミングやデータベースの設計、チューニングを行ってきています*1が、問題が解決できたようには見えても、果たしてそれが最適な解決策だったのか不安に感じることがありました。それは、体系的な知識に欠けているからです。だから、網羅的な教科書がほしいなぁって思ってたんです。 とあるインターネットでこの前、松信さんから「いま書いてる」って話を聞いて、一部を見せていただいたりしたんですが、つい昨日、手元に届きました。やったね☆ 名前は「Linux-DBシステム構築／運用入門」。「入門」と銘打たれているものの、基礎的な知識から、なぜそうなるのか、どう応用すればいいのか、といった点まで広くカバーしている*2、全方位的な隙のな
もう1つの、DBのかたち、分散Key-Valueストアとは
もう1つの、DBのかたち、分散Key-Valueストアとは：分散Key-Valueストアの本命「Bigtable」（1）（1/3 ページ） RDBとは別の、クラウド時代のデータベースとして注目を浴びている「分散Key-Valueストア」。その本命ともいえる、Googleの数々のサービスの基盤技術「Bigtable」について徹底解説 クラウド時代のデータベース「分散Key-Valueストア」 グーグルがインターネットの世界をここまで席けんできた最大の理由は何でしょうか。実は、それは同社の優れた検索技術ではありません。グーグルが成し遂げた最も大きなブレークスルーの1つは、同社が生み出した巨大な分散データストア、「Bigtable」にあります。 Bigtableは、Google検索をはじめ、YouTubeやGoogle Map、Google Earth、Google Analytics、Goog
IT news, careers, business technology, reviews
Heads on: Apple’s Vision Pro delivers a glimpse of the future
＠IT編集者が選ぶ2008年必読記事：「Database Expert」編 － ＠IT
2009/01/06 基幹業務システムの要で、最近ではクラウド・コンピューティングにも用途が広がっているデータベース。今回の「＠IT編集者が選ぶ2008年必読記事」ではデータベースを中心にインフラ技術の詳しい解説記事を掲載するDatabase Expertフォーラムを取り上げます。 低コストでスケールするWebシステム Facebookが事例を公表したことをきっかけに、低価格ハードウェアとOSSを組み合わせて大規模なWebシステムを構築する方法が話題となりました。データベースそのもののパフォーマンス向上はもちろんですが、データベースを含め、Webサーバやネットワークなど、いわゆる「インフラ」全体を通していかにパフォーマンスを向上させるかが話題の中心となっています。 Database Expertフォーラムでは、PostgreSQLに対してのクエリの結果をmemcachedで管理する方法を解
RDBMSの時代の終わりが見えてきた - きしだのはてな
クラウドと一緒にやってきたもの 最近、クラウドが流行ってます。 GoogleのMapResuceから始まって、MicrosoftのAzureまで、大手のクラウド製品が出揃った感じ。 で、そこで、こんなクラウド製品が出ましたというときに、必ずといっていいほどそのクラウド用のデータベースの説明があります。そして、それはRDBMSではありません。 GoogleだとBigTable、MicrosoftだとSQL Data Services、あとはAmazonのSimpleDB。どれも、基本的にはひとつのテーブルにハッシュコードでアクセスするようになっています。 ほかのクラウド製品も、Oracle Coherenceだったり、楽天のRomaだったり、非RDBMSのデータストレージを提供します。 クラウドというわけではないけど、mixiのTokyo TyrantやApache CouchDBも、RDB
Re: Tokyo Tyrantによる耐高負荷DBの構築 - 最速配信研究会(@yamaz)
「Tokyo Tyrantによる耐高負荷DBの構築」 http://alpha.mixi.co.jp/blog/?p=166 がとても興味深い. Mixiのようにどのユーザも比較的まんべんなくアクセスされていて かつ「あしあと」や,「最終ログイン時刻」のように固定長でOKなデータの場合は,バケットチェーンなどのオーバヘッドが発生するハッシュやB+Treeより,ファイルをスロット化してIDに応じて一発lseekなファイルベースの簡易DBの方がロックもないし速いケースもありそうだなぁと思ったけどどんなもんなんでしょう？ 1500万ユーザ×64bitの日付情報として15Mユーザ×8byte=120MB これならファイルシステムのキャッシュも利きそうだし結構はやそう.
mixi Engineers’ Blog » Tokyo Tyrantによる耐高負荷DBの構築
連休中はWiiのマリオカートをやりまくってやっとVR7000越えたmikioです。愛車はマッハ・バイクとインターセプターです。さて今回は、分散ハッシュデータベースサーバTokyo Tyrantでmixiの最終ログイン時刻を管理するようにした時の苦労話を書きます。 ログイン処理は負荷地獄 mixiでは、全てのユーザについて、各々の最終ログイン時刻を管理しています。「マイミクシィ一覧」や「お気に入り」などの画面で、友人が近い時間にログインしていてコミュニケーションがとりやすい状態にあるかどうか確認できるようにするためです。 mixiのほぼ全てのページはログインしないと見られないページなので、ほぼ全てのページにアクセスされるたびにログイン確認が行われます。したがって、最終ログイン時刻はほぼ全てのページにアクセスされる度に更新されることになります。mixiの中で最も重いデータベースのひとつとして「
[ThinkIT] Part2：トライ！SQLite（1） (1/2)
SQLiteは、簡易ながらSQL仕様をほぼサポートするデータベースソフトウェアです。PHPとこのSQLiteを組み合わせて、データベースWebアプリケーションを構築できます。 SQLiteは組み込み専用のDBMSで、PHP5からバンドルされています。SQLite単体はhttp://www.sqlite.org/から入手できます。SQLiteはパブリックドメインとして提供されており、無償であるだけでなく、ソースコードの改変や第三者への再配布も自由に行うことができます。 SQLiteの動作を一言で表せば、ファイル操作をSQL言語で行うようなものです。MySQLやPostgreSQLなどのデータベースサーバーと違って、サーバープロセスを起動する必要がありません。このため、気軽に利用できます。構成は1つのデータベースにつき1つのファイルから成り、ユーザーという概念はなく、アクセス制御などはOSのユ
【デブサミ2008】真のDBエンジニアになるために必要なこと：CodeZine
デブサミ2008初日の最後のセッションで、CodeZineのSQL連載でもお馴染みのミック氏が、「みんなまとめて面倒見よう～真のDBエンジニアになるために必要なこと～」と題した、CodeZineスペシャルセッションを講演。今月刊行した「達人に学ぶ SQL徹底指南書」の狙いや、SQLの原理の理解、データベースエンジニアとはどんな仕事か、またどんな仕事であるべきかについて語った。 中間層が欠けている日本のDB界 ミック氏は、現在の日本のデータベースエンジニア（以下、DBエンジニア）の構造を、中間層のえぐれた花瓶型と例え（正常であればピラミッド型）、初級者とベテランをつなぐ人材の不足を投げかけた。このままでは近い将来、団塊世代の退職に引き起こされる現象と同様に、ベテランの層がほとんどいなくなってしまうと危惧する。 これは、書籍やWebにおける技術資料についても同様のことが言え、「達人に学ぶ
Googleの誇る巨大データベースBigTableのオープンソースクローン「Hypertable」
Googleのあの巨大な検索システムなどを支えるデータベース「BigTable」は書き込みが毎秒700MB、読み込みが毎秒18GBという化け物システムなのですが、それのクローンを作るプロジェクト「Hypertable」というのがあるようです。既にバージョンが今年の2月4日に「0.9 Alpha」まで到達しており、超巨大な分散データベースを考えている人々から注目されているようです。 詳細は以下から。 Hypertable: An Open Source, High Performance, Scalable Database http://www.hypertable.org/ ダウンロードは以下から。同梱されているテキストファイルにインストール方法などが記されています。 Download Hypertable 実際のテスト結果などは以下に書いてあります。 PerformanceTestAO
Kazuho@Cybozu Labs: ディスクが１回転する間に複数回 fdatasync する方法について
« Japanize と Pathtraq が Firefox 3 Beta 1 に対応しました | メイン | ウェブアプリケーションにおけるHDDの正しい使い方 » 2007年12月28日 ディスクが１回転する間に複数回 fdatasync する方法について RDBMS のトランザクション速度は HDD の回転数に律速されるというのは、おそらく常識だと思います。たとえば MySQL のドキュメントには、以下のような記述を見ることができます。 もしディスクが OS を 「欺かなければ」、ディスクの回転速度は一般的に最大167 回転/秒で、コミット数も1秒につき167th に制限されます。 MySQL AB :: MySQL 5.1 リファレンスマニュアル :: 13.5.11 InnoDB パフォーマンス チューニング ヒント でもその限界って、ディスクの異なる角度の位置に複数のブロック
この発想はなかった - 書評 - 逆算式SQL教科書 : 404 Blog Not Found
2007年12月28日02:45 カテゴリ書評/画評/品評Lightweight Languages この発想はなかった - 書評 - 逆算式SQL教科書 技術評論社書籍編集部池本様より献本御礼。 ぐんぐん実力がつく! 逆算式SQL教科書 小野哲 やられた! この発想はなかったよ。 本書「ぐんぐん実力がつく!逆算式SQL教科書」は、一言で言うと「それってどう書く」のSQL版。文法や命令を説明するのではなく、「こうしたい時にはどうするの」という実例集。他の言語だと、いわゆるCookbookというのがすでにかなりあるのだけど、SQLはまだなかった。 目次 - 書籍案内：ぐんぐん実力がつく！ 逆算式SQL教科書｜gihyo.jp … 技術評論社 第1章 逆算してみませんか？ 第2章 最も基本的なSELECT文 第3章 次に重要なSELECT文 第4章 1ランク上のSELECT文 第5章 覚えてお
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Database Refactoring - Simple Talk
Why your startup should be using MongoDB | mLewisLogic
Postmodern Databases
[Think IT] 【データベース夏の陣】MySQL Clusterを試す！
http://dev.rakusui.jp/diary/?date=20080408