The Architecture of Open Source Applications (Volume 2)SQLAlchemy
The Architecture of Open Source Applications (Volume 2) SQLAlchemy Michael Bayer SQLAlchemy is a database toolkit and object-relational mapping (ORM) system for the Python programming language, first introduced in 2005. From the beginning, it has sought to provide an end-to-end system for working with relational databases in Python, using the Python Database API (DBAPI) for database interactivity.
ストーンブレイカー氏が新たに立ち上げた「Tamr」は、ばらばらに存在する企業内外のデータを機械学習で自動的に整理統合
ストーンブレイカー氏が新たに立ち上げた「Tamr」は、ばらばらに存在する企業内外のデータを機械学習で自動的に整理統合 データベースの大御所として知られるマイケル・ストーンブレイカー氏。IngresやPostgresといったリレーショナルデータベースの先駆けとなる製品を開発、InformixのCTOを務め、またカラム型データベースのVerticaを創業、最近ではVoltDBを創業するなど、データベースの先端技術を商用化し続けてきました。 そのストーンブレイカー氏が共同創業者として立ち上げた企業が「Tamr」（テイマーと発音するようです）です。同社は5月19日、Google Venturesなどから1600万ドル（約16億円）の投資を受けるのと同時に、同社製品（社名と同じTamr）を発表しました。 高度なデータウェアハウスをほぼ自動的に作ってくれる Tamrとは、これまでストーンブレイカー氏が
LevelDB入門 (基本編) - from scratch
さて、今回は比較的新しいデータストアであるLevelDBについてまとめてみました。 LevelDBは1年ほど前からNode.js界隈ではブームが来ていて、理由がよくわかっていなかったんですが、まとめている内に分かるかなと思ってまとめました。今回はNode.js無関係でLevelDBの基礎的なことだけ調査した結果をまとめてみました。 Node.jsで使ってみる話は後に回します。 LevelDBとは? key-value型のデータストアの一つです。 Googleの研究者である、Jeff DeanとSanjey Ghemawatが開発し、2011年に公表されました。C++で書かれており、多くのプログラミング言語でbindingsが書かれています。もちろん、JavaScript/Node.jsでも書かれています。 LevelDB は Google のBigTableをベースにしたアーキテクチャを持
How HipChat Stores and Indexes Billions of Messages Using ElasticSearch and Redis - High Scalability -
« Sponsored Post: Netflix, Logentries, Host Color, Booking, Apple, ScaleOut, MongoDB, BlueStripe, AiScaler, Aerospike, LogicMonitor, AppDynamics, ManageEngine, Site24x7 | Main | Stuff The Internet Says On Scalability For January 3rd, 2014 » This article is from an interview with Zuhaib Siddique, a production engineer at HipChat, makers of group chat and IM for teams. HipChat started in an unusual
シーケンスの代わりにuuidをIDとして使う
stop using numbers as IDs. just use UUIDs. seriously — Postgres: The Bits You Haven’t Found by pvh UUID の違い v1 Generate a UUID from a host ID, sequence number, and the current time. v3 Generate a UUID from the MD5 hash of a namespace UUID and a name. v4 Generate a random UUID v5 Generate a UUID from the SHA-1 hash of a namespace UUID and a name. この内、ID として利用できるのは v1 と v4 の2つ。v1 は最後 48 ビットがハード固有のノー
インデックスの作成・削除・情報表示・追加｜インデックス：データ定義（SQL文）｜MySQL｜PHP & JavaScript Room
CREATE TABLE テーブル名(カラム名 型,カラム名 型, ... INDEX(カラム名); または CREATE INDEX インデックス名 ON テーブル名(カラム名); または ALTER TABLE テーブル名 ADD INDEX インデックス名(カラム名); 検索するデータ量が多い場合など、検索対象のカラムにインデックスを作成しておきましょう。 インデックスを作成しないと、検索対象のカラムのデータを全部検索するため、データベースに負担がかかりすぎ落ちることもあります。 インデックスを作成しておけば、カラムに設定されたインデックスを検索するので、データベースの負担も軽減し、なおかつ検索効率がアップします。 主キーを設定したカラム名には、自動的にインデックスが作成されますので、あえて作成する必要はありません。 データベース作成時のCREATE TABLE文でインデックス作成
InnoDBのロックの範囲とネクストキーロックの話 - かみぽわーる
この記事はMySQL Casual Advent Calendar 2013 3日目の記事です。 はじめに 以前にSELECT ... FOR UPDATEとロックの挙動 - walf443's blogの記事にTwitterで少し言及したんですが、それの補足というか、InnoDBのロックの範囲について僕はこう理解していますよという話です。 MySQLといえば、InnoDBをネットワークサーバとして使うためのフレームワークであり、SQLはInnoDBのインデックスにアクセスするためのDSLといっても過言ではないでしょう。 InnoDBのロックとはつまるところインデックス行のロックなので、InnoDBのロックの範囲を理解するためにInnoDBのインデックスについて少し前置きしておきます(だいぶ端折ったけど長くなった…)。 クラスタインデックスとセカンダリインデックス すでにInnoDBのイン
その選択、ちょっと待った！NoSQLデータベースへ乗り換える前に検討すべき3つのポイント
最近、どうも安易に「NoSQLにすれば厄介なDB設計から開放される」と考えている人が多いように思えて仕方がない。だが待って欲しい。本当にNoSQLと呼ばれるデータベースを使えばアプリケーションの開発・運用の苦しみから逃れられるのだろうか。もちろん「そんなことは無い！！絶対にだ！！」と私は考える。今日はその理由について語ろうと思う。 トランザクション先日、リレーショナルデータベースにおけるDB設計についてセミナーで解説したばかりだが、リレーショナルデータベースにおけるデータの整合性は何もDB設計だけが担保しているわけではない。リレーショナルモデルと同じかそれ以上に欠かせないのがトランザクションだ。 トランザクションがあるおかげで、トランザクション終了後のステータスは「成功」か「失敗」の2つしかないということが保証される。すなわちオール・オア・ナッシングだ。もしトランザクションの途中で何らかの
Facebook、GoogleのLevelDBを採用したキーバリュー型ストア「RocksDB」公開。マルチコアと高速ストレージに最適化
最新のサーバが備えるマルチコアと高速なフラッシュストレージの性能を活かすべく最適化したキーバリューストア「RocksDB」をFacebookがオープンソースとして公開しました。 RocksDBはGoogleが開発したNoSQL軽量ライブラリ「LevelDB」を採用。以下の4つのビジョンを掲げています。 Scales to run on servers with many CPU cores. Uses fast storage efficiently. Is flexible to allow for innovation. Supports IO-bound, in-memory, and write-once workloads. サーバに搭載されているマルチプロセッサのメニーコアを活用し、フラッシュストレージのような高速ストレージに最適化。プラガブルアーキテクチャでつねに最新のテクノ
ストレージ最大手EMC、フルフラッシュのストレージアレイ「XtremIO」国内投入。最大性能100万IOPS。EMCジャパン
ストレージ最大手EMC、フルフラッシュのストレージアレイ「XtremIO」国内投入。最大性能100万IOPS。EMCジャパン EMCジャパンは、フルフラッシュのストレージアレイ「XtremIO」（エクストリームアイオー）の国内投入を発表しました。 フラッシュストレージ、特にハードディスクをまったく使わないフルフラッシュのストレージは、Violin Memory、Pure Storageなどの新興ベンダーが先行して製品を投入し、それを追って今年2月にNetApp、4月にはIBMと大手ベンダが国内での製品販売を開始していました。そしてEMCジャパンも今日、国内でのフルフラッシュストレージ販売開始を発表。国内でのフルフラッシュストレージの競争が本格化してきました。 フルフラッシュ、スケールアウトとデデュープ対応 XtremIOの特徴は、フルフラッシュによる高いI/O性能に加えて、2Uのコンポーネ
AWS News Blog
In the Works – AWS Region in Malaysia We launched an AWS Region in Australia earlier this year, four more (Switzerland, Spain, the United Arab Emirates, and India) in 2022, and are working on regions in Canada, Israel, New Zealand, and Thailand. All told, we now have 99 Availability Zones spread across 31 geographic regions. Malaysia in the Works Today I am happy […] New – Amazon Lightsail for Res
データベースアプリケーション開発を炎上させる負のスパイラル
毎度おなじみ、はてブのホットエントリに「SIをダメにする負のスパイラル」というタイトルのまとめが掲載された。きしだ氏とはかなり視点は違うものの、開発現場の問題点については少し思うところがあるので意見を書いてみようと思う。と言っても、以下の話の内容はデータベースアプリケーションに限定した話であり、またSIerだけに限った話ではないのでその点はご容赦頂きたい。もちろんSIer各位の案件はデータベースは必須なので、本エントリで触れる問題点には該当するだろう。 Q.なぜ炎上するのか？ A.正しいデータベース設計ができていないから結論から言おう。データベースアプリケーションの開発が炎上するのは正しいデータベース設計ができていないからだ。ここでいう「正しい」とは、論理的に証明できる正しさという意味ではない。「本来こうするべき」といった意味で捉えて欲しい。 「炎上」というのは、例えばテストが通らない、バ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.etltool.com/list-of-etl-tools/
Tamr - The Golden Records Company
Citus Data | Distributed Postgres. At any scale.
Talk on Database (ja)
InfluxDB & LevelDB Inside-out
データベース設計徹底指南
データベース技術の羅針盤
DBスキーマもバージョン管理したい！
