DWH専用DB「Greenplum」コミュニティ版が無償公開--ビッグデータアプリ開発へ
EMCジャパンは2月8日、超並列処理（Massively Parallel Processing：MPP）アーキテクチャのデータウェアハウス専用データベース（DB）ソフト「EMC Greenplum Database」のコミュニティ版を無償で提供すると発表した。コミュニティフォーラムからダウンロードできる。 今回のコミュニティ版は開発者やデータサイエンティストを対象にしている。この1〜2年で話題となっている“Big Data（ビッグデータ）”を処理するツールを手軽に利用できるとしている。提供されるのは「Greenplum Database CE」と分析アルゴリズムライブラリ「MAD（Magnetic, Agile and Deep）lib」、データマイニングツール「Alpine Miner」。MADlibは、構造化データや非構造化データを数学的、統計学的、機会学習法で並列処理するオープンソ
Kazuho@Cybozu Labs: Mycached: memcached protocol support for MySQL
It is a well-known fact that the bottlenecks of MySQL does not exist in its storage engines, but rather in the core, for example, its parser and execution planner. Last weekend I started to wonder how fast MySQL could be if those bottlenecks were skipped. Not being able to stop my curiousity, I started adding memcached proctol support to MySQL as a UDF. And that is Mycached. From what I unders
Tokyo Dystopiaの設計思想 - mixi engineer blog
夏本番に向けて海に行ける体作りに励まないといかんなーと思いつつも、ついついDSのスターフォックスで遊んでしまうmikioです。さて今回は、人知れずリリースされている検索エンジンTokyo Dystopiaの概要と設計思想について述べます。 Hyper Estraierとの違い Tokyo Dystopia（以下、TDと呼びます）は、新しい検索エンジンです。しかし、私が作ったもう一つの検索エンジンHyper Estraier（以下、HEと呼びます）の後継としては位置付けていません。 Hyper Estraierの製品コンセプトは、「検索システムの需要が生じる様々なシーンで手軽に導入できる」ことです。言い換えれば、「いわゆるシロウトの人でも、お高い商用システムを買えない個人や小組織でも、ちょっとの努力で自分の要求を満たすシステムを構築できる」ことです。そのために、様々なファイル形式に対応したテ
Project Voldemort
Voldemort is a distributed key-value storage system Data is automatically replicated over multiple servers. Data is automatically partitioned so each server contains only a subset of the total data Server failure is handled transparently Pluggable serialization is supported to allow rich keys and values including lists and tuples with named fields, as well as to integrate with common serialization
Kazuho@Cybozu Labs: パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ (BPStudy#25発表資料)
先週金曜日、BPStudy#25で、「パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ」という題目で話をさせていただきました。その際に使用した発表資料は以下のとおりです。 1. Happy Optimization 最初に、最適化の考え方として、上限値を予測し、それを元にリソース配分を考える、という手法を説明しました。
テーブル設計は実装の後に！：ベンチャー社長で技術者で：エンジニアライフ
株式会社ジーワンシステムの代表取締役。 新しいものを生み出して世の中をあっといわせたい。イノベーションってやつ起こせたらいいな。 「みんなが言ってる」は技術者が口にする言葉じゃないと書いてきました。 私が言ってることで、「みんな」とはおそらく真逆のことがあります。 それは「テーブル設計を（ユーザーインターフェイスの）実装の後に！」ということです。 「そんなことができるわけがない」とバカにされますが、そういう決め付けは思考停止ですよね？ ともかく、眉に唾塗っていただいてけっこうですので、続きを読んでください。 一般的なシステムにおいて、一番手戻りが大きい（波及する箇所が多い）仕様変更はテーブル変更を伴うものです。下手糞な設計で、他に悪影響を与えるのもテーブル設計です。 逆に、テーブル設計が美しく合理的にできていれば、他の工程は非常に楽になります。 では、仕様変更を防ぎ、美しく合理的なテーブル
DTO・DAOパターンのメリットを体験しよう
連載第6回「DAOパターンですっきりコーディング！」ではDTO・DAOパターンを使って、データベースアクセスに関連する操作をItemDaoクラスに集約しました。DAOパターンを利用することで、データベースアクセスのような煩雑な手順を本来必要な処理から切り離し、PHPコードを簡素化できます。 今回は、ItemクラスやItemDaoクラスを実際に在庫管理システムに組み込み、在庫管理システム本体の処理がいかに簡素化されるかを確認してみましょう。 簡易在庫管理システムの作成（1） 検索／挿入／更新／削除といった処理は、コマンドラインphpで利用できるものを前回作成しました。今回は、これを基にWebから使用できるものを用意します。その際、更新／削除／挿入などの処理ごとにPHPファイルを用意せず、1つのPHPファイルにまとめることにします（ItemDaoの利用で各処理が簡潔になっているため）。 なお、
カカクコム社内勉強会に参加 - mir the developer
id:kiskeさんにお誘いいただいて先週金曜日にカカクコムさんの社内勉強会でお話させていただきました。貴重な機会をいただきありがとうございました。 自由に話してOKですよとのことだったので、何にしようかなと少し考えた結果、こんなスライドができあがりました。 MySQLのパフォーマンスの話View more presentations from ikdttr. MySQLも今となってはかなり広く使われていて、パラメータチューニングとかも一通りのことは皆さんご存知だろうと思ったので「チューニングをする際にソースを読んで調べたいと思ったらどうしたらいいか」といったようなテーマに対する答えの一例見たいな感じの内容になりました。 普段使っている/参照しているサーバ変数やステータス変数がどのように実装されていて、それらをソース上で追いかけるにはどうしたらいいか、みたいな感じですね。 勉強会ではgdb
InnoDB Plugin 1.0.4 - InnoDB史上極めて重要なリリース
日本時間の今日、InnoDB Pluginの新バージョン1.0.4がリリースされました。このバージョンでは、「バイナリログを有効にするとグループコミットが効かなくなる問題」が修正されています。ほとんどの環境にとって極めて効果の高い修正です。ほかにもI/Oスレッドの多重化(同様のものがMySQL5.4にも搭載)など効果的な修正が行なわれています。 InnoDB PluginはまだGA(安定版)ではないので、品質面では標準搭載されているInnoDBよりも落ちます。ただしMySQL Enterpriseサブスクリプションを買っている方であれば追加費用無しでInnoDB Pluginのサポートを受けることができるので、お気軽に試してみて頂ければと思います。 グループコミット問題修復の効果のほどは、一目瞭然なので図を見た方が分かりやすいでしょう。下図は、mysqlslapで、複数のコネクションから並
Kazuho@Cybozu Labs: フレンド・タイムライン処理の原理と実践
« MySQL のクエリ最適化における、もうひとつの検証方法 | メイン | MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話 » 2008年06月09日 フレンド・タイムライン処理の原理と実践 MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話に続きます。 Twitter が注目されるようになって久しい今日この頃ですが、友人の投稿を時系列に並べて表示する、というのは、Twitter に限らず Mixi の「マイミクシィ最新日記」やはてなブックマークの「お気に入り」等、ソーシャルなウェブサービスにおいては一般的な手法です。ですが、この処理 (以下「フレンド・タイムライン」と呼ぶ) は、一見簡単そうに見えて、実装には様々な困難が伴います。本記事では、「フレンド・タイムライン」を実現する、プッシュ型とプル型の二種類の手法について、その原
mysqlでいちいちshow databasesとか打つのがめんどい→readlineのマクロで解決 - （ひ）メモ
MySQLでいちいちshow tables;とか打つのがだるい。\tみたいなalias設定できないのかなぁ http://twitter.com/weboo/status/1658300902 おぉ、readlineのマクロを使えばいいのかー http://twitter.com/weboo/status/1658314333 なるほ！ってことでちょっと設定してみました。 # ~/.inputrc $if mysql "\C-xd": "show databases;" "\C-xt": "show tables;" "\C-xu": "select user,host,password from mysql.user order by user,host;" "\C-xb": "select user,host,db from mysql.db order by user,host;"
オレオレSQLの作り方〜MySQL編〜 - よねのはてな
オレオレ言語全盛期の炎暑の候、いかがお過ごしでしょうか。 オレオレSQLの作り方〜PostgreSQL編〜に続き、オレオレSQLの作り方〜MySQL編〜という事で MySQLに、自作のSQL関数(UDF)を組み込むやり方を簡単に紹介します。 MySQLは名の通り、私のSQLなのでオレオレSQLには持ってこいですね。 簡単に言えば select oreore(); select oreore(column1, column2) from table1; 自分で定義したC言語のoreore関数をDBに組み込んで使おうという事です。 最終目標は、SQLの結果でJSONを返そうと思います。 select json(a, b) from c;の結果で { "aaa" : 1, "bbb" : "abc" } 固定値を返す関数 早速、固定で999を返す関数を作ってみます。 ※バージョンはMySQL5.
[ThinkIT] 第1回：MySQLストレージエンジンの概要 (1/3)
本連載で取り上げるMySQLは、非常に人気の高いオープンソースのRDBMSです。このMySQLの大きな特長は、ストレージエンジンを選択できるところにあります。そこで本連載では、MySQLのストレージエンジンに焦点をあて、様々なストレージエンジンの特長や構造を解説していきます。最後まで、お付き合いください。 MySQLの概要についてはご存知の方も多いと思いますが、復習の意味も込めて簡単に紹介します。 MySQLは、MySQL社を中心として開発が進められているRDBMSで、オープンソースの標準的なプラットフォームを意味する「LAMP」という言葉（Linux／Apache／MySQL／PHP）に採用されるほど有名なオープンソースです。ライセンスとしては、GPLと商用ライセンスのデュアルライセンス形態で提供されています。バージョン5.0よりストアードプロシージャやトリガなどをサポートし、他のRDB
【ハウツー】RDBMS操作ツール決定打!? - EclipseからOracle/DB2/MySQL/PostgreSQLを操作 (2) インストール | エンタープライズ | マイコミジャーナル
インストール Eclipse SQL ExplorerのサイトからEclipse IDE向けのプラグインがダウンロードできるため、ダウンロードしてそれぞれfeaturesフォルダ、pluginsフォルダにコピーしてほしい(サイトにはSoftware Updates機能を使ってインストールできるとあるが、手元で試した限りではできなかった)。 インストールしたらメニューから「Help」->「About SQL Explorer」を選択てみよう。インストールされていればメニューアイテムがあり、ダイアログが起動する。メニューから「Window」->「Preferences...」を選択すれば設定ダイアログに項目が追加されていることも確認できる。 図2.1 Eclipse SQL Explorer – インストールを確認 図2.2 PreferencesダイアログにEclipse SQL Explo
iBATISのORMとSpringのAOPを活用したDBアクセス
連載第2回の「Hello World！で理解する、Webアプリ開発の分業化」では、TERASOLUNA Server Framework for Java Web版（以下、TERASOLUNAフレームワーク）を使って、Hello Worldを出力する簡単なアプリケーションを作成しました。
O/Rマッピングの役割とメリット
O/Rマッピングは、従来の煩雑なデータベースに関する処理の記述をスマートにし、、柔軟なアプリケーションの構築を可能にします。本連載ではオープンソースのO/Rマッピングフレームワーク「Hibernate」を用いてO/Rマッピングの基礎を解説します。そしてさらに、J2EEアプリケーションへの実践的な適用方法とそのメリットも紹介していきます。（編集局）
［MySQLウォッチ］第28回 MySQL 5.1期待のクラスタリング機能
数カ月前にMySQL 5.1 GA版 のリリース見通しを5月と記述したが，残念ながら下半期に突入した現在もBata版にとどまっている。バージョン5.0から5.1へのアップは，番号としてはポイント以下のマイナー・バージョンアップだ。しかし，非常に大きな期待を持って待っているユーザーも多いだろう。それは，MySQL 5.1 からMySQL Clusterがストレージ対応になるからだ。 今回は，MySQL 5.1 GA版 のリリース準備として，期待の高まるMySQL Clusterのストレージ対応を紹介する。 MySQL Cluster の登場 もともとMySQL Clusterは，NDB Clusterという商品だったものをMySQL ABが自社製品として取り込み，MySQL 4.1.3 (RPM版はMySQL 4.1.10)から実装が始まった。それ以前は，標準機能のReplicationかサ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
分散Key-Valueストアの本命「Bigtable」
リレーショナル・データベースの世界
Infoseek[インフォシーク] - 楽天が運営するポータルサイト![Infoseek[インフォシーク] - 楽天が運営するポータルサイト](https://cdn-ak-scissors.b.st-hatena.com/image/square/67a82fbafb5e06f77d53cedfd9ceb7f789258213/height=288;version=1;width=512/https%3A%2F%2Fimage.infoseek.rakuten.co.jp%2Fcontent%2Ftop-ajax%2Fmobile%2Flogo.png)
