「キー・バリュー型データストア」開発者が大集合した夜
「発表者が自分よりも若い人ばかりだ」。外見が20代にしか見えない東京工業大学の首藤一幸准教授（1973年生）の驚くさまが、少し面白かった。2009年2月20日の夜、多くのWeb企業が注目する「キー・バリュー型データストア」を開発する若手技術者が、東京・六本木のグリー本社に一堂に会した。 キー・バリュー型データストア（またはキー・バリュー型データベース）は、大量のユーザーとデータを抱え、データベースのパフォーマンス問題とコスト高に頭を悩ませるWeb企業が注目する技術である。記者は同日に開催された「Key-Value Store 勉強会」に参加させてもらった。午後7時から11時まで、キー・バリュー型データストアを開発・研究する若手技術者が立て続けに登場し、1人15分の持ち時間で成果を発表し、議論を重ねるという集まりだ。 呼びかけ人であるプリファードインフラストラクチャー（PFI）最高技術責任者
Hamster DB – A Data Science Blog
Online data science provides the students with a flexible and affordable path towards a very lucrative data science job. According to the bureau of Labor Statistics the projected employment growth for database administrators is 11% with the current average salary for database administrators standing at $87,020. The increasing popularity of data analytics and data base administrators adds to the ev
RubyからもLuxIOを使ってみる - ユーウツな雨がふりつづいても雪がハートを曇らせてもドアの中で待っていた君に魔法をかけたいのさ
前回( Lux IO(ラックス アイオー)をPHPから使ってみる - ユーウツな雨がふりつづいても雪がハートを曇らせてもドアの中で待っていた君に魔法をかけたいのさ)に引き続きRubyでもLuxIOを使ってみました。ソースは下記においてます。kajidai’s rluxio at master — GitHubインストール $ git clone git://github.com/kajidai/rluxio.git $ cd rluxio $ ruby extconf.rb $ make サンプルコード require 'luxio' luxio = LuxIOBtree.new luxio.open '/var/tmp/test', LuxIOBtree::LUX_DB_CREAT luxio.put 'key', 'value' luxio.get 'value'
Lux IO(ラックス アイオー)をPHPから使ってみる - ユーウツな雨がふりつづいても雪がハートを曇らせてもドアの中で待っていた君に魔法をかけたいのさ
Lux IOという高速なデータベースマネージャ(DBM)を公開しました。元々は、keyに対して長く拡張していくvalueを保持できるように、Luxの内部ストレージエンジンとして開発を始めましたが、一般的なDBMのような使い方においても、非常に高速に動作します。（詳しくは、sourceforgeのページのベンチマークを参照ください。） Lux IO - Yet Another Fast Database Manager : no hacking, no lifeLux IOという非常に高速なdbmが公開されました。Lux IO用のphp bindingを作ってGitHub — Server Error使ってみました。 サンプルコードが下記で $luxiobtree = new LuxIOBtree(); $luxiobtree->open('test', LUX_DB_CREAT); $re
Lux IO - Yet Another Fast Database Manager : no hacking, no life
Lux IOという高速なデータベースマネージャ(DBM)を公開しました。 元々は、keyに対して長く拡張していくvalueを保持できるように、Luxの内部ストレージエンジンとして開発を始めましたが、一般的なDBMのような使い方においても、非常に高速に動作します。（詳しくは、sourceforgeのページのベンチマークを参照ください。） 一般的なDBMでは、ハッシュをサポートしていますが、Lux IOではB+-treeを配列のインデックスのみをサポートしています。 ドキュメントは全く書けていなく恐縮ですが、ソースコードのtestディレクトリにたくさんのテストプログラムがあるので、それを参考にしてみてください。 ぜひ、使ってみて、感想、バグ報告を頂ければと思います。 You’re currently reading “ Lux IO - Yet Another Fast Databas
Lux IO - Yet Another Fast Database Manager
Lux IO is a yet another fast database manager. It supports B+-tree and Array index in either cluster or non-cluster index. It's originally designed for storing large expanding data as a value in Lux Search Engine, but it's also pretty fast for small and a large number of data. Fast key lookup (B+-tree, Array) Support both clustered and non-clustered index mmap(2) the whole index structure in clust
DBM - Wikipedia
DBM or dbm may refer to: Science and technology[edit] dBm, a unit for power measurement DBM (computing), family of key-value database engines including dbm, ndbm, gdbm, and Berkeley DB Database Manager (DBM), a component of 1987's Extended Edition v1.0 release of IBM's OS/2 operating system Dibenzoylmethane, an aromatic diketone: 1,3-diphenylpropane-1,3-dione Dibromomethane, a halomethane Differen
tx bepの内部技術の発表 - DO++
txとbepの内部で使われている技術についてグーグル東京で話してきました。 発表資料 [ppt/pdf] txはloudsと呼ばれる木構造の簡潔表現を利用していて、bepは最小完全ハッシュ関数を利用しています。 その他こまごまとした実装も書いてあります（例えば、trieの枝についている文字情報はどう保存されているかとか） いろいろ貴重な意見もいただいたのでそれを反映させていこうとおもいます。 hey there and thank you for your info - I've certainly picked up anything new from right here. I did however expertise a few technical issues using this web site, as I experienced to reload the site man
LibMap::Array - 共有メモリ上に配列データベースを構築するテンプレートライブラリ : no hacking, no life
ゴールデンウィークに少し時間があったので、共有メモリを扱うlibmapというC++のテンプレートライブラリを作りました。 今のところ、値が固定長の永続的な配列を構築する部分(LibMap::Array - 配列を扱うDBMみたいなもの)しかできていません。LibMap::Arrayは書き込むindexに応じて領域が自動的に拡張されるので、前もってサイズを指定する必要はありません。 使い方はソースと下のサンプルコードを見てください。結構適当に作ってあまりテストしてないのでバグがあると思われます。 libmap.h (ライセンスはLGPL) サンプルコード 以下ソースコードを参照ください。 put.cpp #include "libmap.h" #include int main(int argc, char *argv[]) { if (argc != 3) { std::cerr a
mixi Engineers’ Blog » 最適化しよう？
当エンジニアブログを私物化していると専らの評判のmikioです。ブログを書かないと死んでしまう病に冒されているのでしかたないですね。個人ブログ時代よりもわかりやすくする努力はしているんですけどね。さて、今回はソースコードの最適化による高速化について述べます。 ベンチマークテスト TCはQDBMや他のDBMより高速であるという主張をしたいのですが、その根拠としてベンチマークテストの結果が必要となります。そこで、データベースに100万レコードを格納する処理と、そうして作ったデータベースから全てのレコードを探索する処理の時間を、各DBMで計測してみました（TCのパッケージのbrosというディレクトリにテストコードが入っています）。実行環境は、Thinkpad T60（Intel(R) Core2 CPU T7200 @ 2.00GHz）上のLinux version 2.6.16です。 ハッシュ
CDB
D. J. Bernstein Data structures and program structures cdb How to install cdb The cdbget program The cdbmake and cdbdump programs The cdbstats and cdbtest programs The cdb format specification The cdb-reading library interface cdb is discussed on the cdb mailing list. What is it? cdb is a fast, reliable, simple package for creating and reading constant databases. Its database structure provides se
ウェブリブログ：サービスは終了しました。
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
mixi Engineers’ Blog » Inside Tokyo Cabinet その弐
予定を立てた途端にやりたくなくなる症候群に堪えて連載を続けるmikioです（こんな私でもエアーマンくらいは倒せます）。前回はDBMの基本について説明しましたが、それを忠実に実装しても実際には使いものにはならないことにも触れました。今回は、実用的なDBMに進化すべく、Tokyo Cabinet（およびその前身のQDBM）で考えた工夫についてお話します。 ハッシュ関数についてもう少し 前回の記事に関して、「ハッシュ関数はビットシフト使って実装した方が早いよ」という旨のお便りをいただきました（ありがとうございます）。まさにその通りで、乗算命令（ここではimull）より左シフト命令（ここではsall）の方が速いみたいです（Intelの資料によると、mulが15から18で、salが4とのこと）。しかし、DBMの場合はファイルI/Oにかかる時間が支配的になるというのが重要な点です。したがって、ハッシュ
Inside Tokyo Cabinet その壱 - mixi engineer blog
約半年間の沈黙を破ってOSSの世界に戻ってきつつあるmikioです。先日、Tokyo Cabinet（以下「TC」と呼びます）というデータベースライブラリをリリースしました。今回から数回に分けて、TCの設計と苦労話について連載してみます。 DBMとは TCは、いわゆるDBMの系譜のデータベースライブラリで、単純なハッシュテーブルをファイル上で永続化するだけの機能を提供します。DBMはAT&Tの古代UNIXの時代から受け継がれる伝統芸能なのですが、私はそういう枯れた技術が大好きなのです。 プログラマの皆さんは、PerlやRubyではハッシュ（連想配列）と呼ばれ、JavaやC++ではmapと呼ばれるような、何らかのキーに関連づけてなんらかの値を記録するデータ構造って実によく使いますよね。例えばmixiでは、ユーザアカウントに関連する情報（名前とかニックネームとか）は、ユーザIDをキーにしたハッ
Tokyo Cabinet
Our team of highly trained cybersecurity professionals provides expertise in compliance, tool assessments, threat hunting, incident response and more. Critical Start is leading the way in Managed Detection and Response (MDR) services. With a unique approach that treats every security alert as equal, Critical Start's proprietary Trusted Behavior Registry allows security analysts to resolve every al
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.
Introduction to Tokyo Products
https://memcachedb.org/
http://takusato.net/article/bdb_oboegaki.html
浜辺のデータベース屋さん - 開発メモ