TechCrunch | Startup and Technology NewsWhen it comes to the world of venture-backed startups, some issues are universal, and some are very dependent on where the startups and its backers are located. It’s something we…
キャッシュの大きいRDB vs インメモリデータベース、性能がどれだけ違うのか調べてみると
2週間ほど前に「インメモリデータベースがクラウド時代の主流になるという期待」というエントリを書きました。ハードディスクに代わり、メモリをデータベースの永続化手段とするインメモリデータベースは、超高速なアクセスとスケールアウトを実現する、クラウド時代のデータベースの主役になるのではないか、という内容です。 この記事に関して、TechVisorの栗原さんと次のようなやりとりをしました。 確かに、Oracle Real Application Cluster（以下、Oracle RAC）でデータベースが全部載るくらい十分にキャッシュ用のメモリを割り当てれば、メモリ上でデータベースを操作するインメモリデータベースと同じことではないのか、とも思います。 両者の違いは何かあるのでしょうか？ 調べてみることにしました。 インメモリデータベースは1000倍速い 調べてみるとすぐに、両者には明確な性能差があ
HadoopDB Project
HadoopDB An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads. HadoopDB is: A hybrid of DBMS and MapReduce technologies that targets analytical workloads Designed to run on a shared-nothing cluster of commodity machines, or in the cloud An attempt to fill the gap in the market for a free and open source parallel DBMS Much more scalable than currently available parall
memcachedを超える成果も、Interopで若手技術者がクラウドを支える技術を競う
「日本でゼロからクラウドを生み出すムーブメントを作り出したい」（実行委員長 門林雄基氏）---“クラウドを支える技術”の開発力を競う「クラウドコンピューティングコンペティション」が2009年6月11日、Interop 2009の会場で開催された（写真1）。企業や大学・大学院の研究者、そして高校生を含む若手エンジニアが、新しいアイディアと技術力で作り上げたクラウドコンピューティングの基盤ソフトウエアを披露した。 クラウドコンピューティングコンペティションは、奈良先端科学技術大学院大学の門林雄基准教授らの呼びかけで実現したイベント。若手のエンジニアがP2P（ピア・ツー・ピア）技術や分散データ処理技術といったクラウドコンピューティングの基盤技術を開発し、その成果を競う。検証環境として、情報通信研究機構（NICT）が運用するクラスタ環境「StarBED」のコンピュータを最大1000台まで使用可能で
MLog: [pgsql-jp: 39187] Re:エスケープ文字を含んだデータの登録方法
Linux/Unix/Open Source Software related Mailing-List Log http://MLog.euqset.org/ 試験運用中 [pgsql-jp: 39187] Re:エスケープ文字を含んだデータの登録方法 笹倉です。 陶山、ありがとうございます。 standard_conforming_strings という設定を試してみました。 変更手順は、サービスを停止後、 Program Files\PostgreSQL\8.2\data\postgresql.confの、 以下の行を #standard_conforming_strings = off 以下の通り変更しました。 standard_conforming_strings = on 変更後、サービスを起動、結果確認をしました。 結果、「\」をエスケープ文字として認
HowFriendFeedUsesMySqlToStoreSchemaLessData - FriendFeed では MySQL を使いどのようにスキーマレスのデータを保存しているのか
HowFriendFeedUsesMySqlToStoreSchemaLessData - FriendFeed では MySQL を使いどのようにスキーマレスのデータを保存しているのか 目次 この記事について FriendFeed? では MySQL を使いどのようにスキーマレスのデータを保存しているのか 背景 概観 詳細 一貫性と原子性 性能 FriendFeed? では MySQL を使いどのようにスキーマレスのデータを保存しているのか この記事について "How FriendFeed? uses MySQL to store schema-less data" の日本語訳です http://bret.appspot.com/entry/how-friendfeed-uses-mysql CC 2.5 でライセンスされています: http://creativecommons.org/
FriendFeedはどのようにスキーマレスなデータをMySQLに格納しているか - モジログ
FriendFeedのBret Taylorが、スキーマレスなデータ（スキーマ（型）に制約されないデータ）をMySQLに格納する方法を紹介している。実際にFriendFeedで使っている方法で、最新のものらしい。 Bret Taylor's blog - How FriendFeed uses MySQL to store schema-less data http://bret.appspot.com/entry/how-friendfeed-uses-mysql MySQLを通常のRDB的な方法でなくストレージ的に使い、JOINを使わないでスケールさせるというもの。CouchDBなどにも近い、最近有力になりつつあるアプローチだ。これを、実績もあり普及しているMySQLを使って実現し、言語はPythonで実装している。 メインのテーブルは次のようなもの。 CREATE TABLE ent
「クックパッド」の裏側にいってきた | Carpe Diem
Web デベロッパーの祭典に行ってきた。今回は、通路沸きに用意された比較的狭いスペースで開催された。 以下、メモと自分の勝手な感想をまとめておく。 クックパッドについて 毎日の料理を楽しみにすることで心からの笑顔を増やす 1998年にオープン 去年のリニューアルのときに Rails で作り直した 使い方 レシピをのせる レシピをさがす 月間ユーザ数 547万人 Rails サイト中世界7位 (from rails 100 wiki)、まさか1位がscribd.comとは 月間 2.8億 PV(PVでは、Rais サイト中世界3位) 登録レシピ数: 47万品 トラフィックは、16-18時くらいがピーク(夕飯を作る前に調べるユーザが多いとのこと) 秋からバレンタインにかけてトラフィックが伸びる(来週はピークだということで、最近はパフォーマンス向上に中心にやっていた) ユーザ数: 547万人(す
Leo's Chronicle: XML時代の終焉 ~ XMLから再びCoddへ
先日、ACM SIGMODの日本支部大会に招いていただいて、「Relational-Style XML Query (ACM Portal http://doi.acm.org/10.1145/1376616.1376650)」について講演をしてきました。Relational-Style XML Queryは、XMLという複雑な構造をもったデータに対して、SQLのようなテーブルデータへの検索に使われる言語で問い合わせする手法です。 この研究の肝は、木構造データといわれるXMLでも、実はそのほとんどがリレーション(Microsoft Excelのようなテーブル形式のデータ）の組み合わせと考えることができ、そのテーブル構造の情報（スキーマ）を使うと、検索が非常に簡単に書けるという点です。
MOONGIFT: » Firefox上で動作するSQLiteフロントエンド「SQLite Manager」:オープンソースを毎日紹介
Ruby on Railsで開発を行う際に、デフォルトで採用されるデータベースがSQLiteになっている。インストール不要で使えるとあって、最近ではPythonなどでも利用されるようになってきている。もちろんPHP、Java、Perlなどでも利用されている。 メイン画面 Ruby on Railsの開発を行うということは、通常はブラウザベースのシステムになる。そしてSQLiteで開発となれば、この選択もある意味正しいのかもしれない。 今回紹介するオープンソース・ソフトウェアはSQLite Manager、Firefoxアドオンとして動作するSQLiteフロントエンドだ。 SQLite ManagerはFirefoxやThunderbird、Seamonkey、はたまたSongbirdやKomodo IDEでも動作するSQLite管理インタフェースだ。さらにXULRunnerを使って一つのア
【レポート】Facebookのデータセンターに見るMySQL活用事例 - MySQLカンファレンス (1) 熱気に満ちた4日間 - MySQL Conference and Expo | エンタープライズ | マイコミジャーナル
4月14日から17日までの4日間、米カリフォルニア州サンタクララにおいて、MySQL Conference and Expo(以下、MySQLカンファレンス)が開催された。MySQL関連の最大のイベントである。セッションは有料で、日本円で10万円を超える金額にもかかわらず、参加登録者数は2,000人近くに達し※、日本からも多くのユーザーが参加していた。 ※ セッション参加のできない、展示会場のみの申し込み者も含む。 今回のMySQLカンファレンスでは、複数データセンターにまたがってMySQLを活用するような大規模事例、ペタバイト級の規模に挑戦する事例、MySQL Clusterの事例、Heartbeat + DRBDによる高可用性の事例など、さまざまな事例が発表された。とくにFacebookは、1万台のWebサーバ、800台のキャッシュサーバ(memcached)、そして1,800台のMy
livedoor Techブログ : MySQLテスト環境の構築
はじめまして。開発部の永谷です。 livedoorでは新旧様々なサービスを提供しているのでサービスによってMySQLのバージョンも様々ですが、開発環境のMySQLと本番環境のMySQLのバージョンが違ったりすると心配です。 そこで今回はローカルのテスト環境に異なるバージョンのMySQLを複数インストールしてみます。 私は開発環境としてThinkPadX60にcolinux/fedora5をインストールして愛用していますので、 みなさんの環境に置き換えて参考にして下さい。 まず一つ目のMySQL(私は5.0.45にしました)をインストールしてみます。 configureは以下のようにしました。 % ./configure \ % --prefix=/usr/local/mysql \ % --with-charset=utf8 \ % --with-extra-charset=all \ %
ウェブリブログ：サービスは終了しました。
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
ウノウラボ Unoh Labs: MySQL オペミスでデータが破損してしまった場合の復旧方法
こんにちは satoです。 オペミスで update に where句を付け忘れたり、プログラムのバグでデータが破損してしまったりした場合でも、バイナリログには更新SQLがすべて書き込まれるので、バックアップデータからオペミスが起こるまでの全てのSQLを流し込めれば、元の状態に戻すことは可能です。 •バイナリログを取っている •オンラインバックアップをとっている(mysqldumpやMySQLを止めた状態でのcpによるバックアップとバイナリログ) •バックアップ時点でのバイナリログの書き込み位置を保存している 以上のような状態でデータが壊れた時の復旧手順をまとめてみました。シナリオとして •ある1カラム email をupdateしようとしたら、間違ってwhere 句を付け忘れ 全レコードをupdateしてしまった •気がついたのが半日後 というオペミスが発生したとします 1) データベー
PostgreSQL統計情報をSNMPで提供 - pgsnmpd 1.0登場 | エンタープライズ | マイコミジャーナル
PostgreSQL Global Development Groupは7日(パナマ時間)、pgsnmpdの最新版となる「pgsnmpd 1.0」を公開した。pgsnmpdはCで開発されたSNMP(Simple Network Management Protocol)エージェント。The BSD Licenseのもとで提供されている。シングルバージョンのPostgreSQL 8.x向けに開発されたSNMPエージェントで、RFC 1697 (RDBMS-MIB)を実装している。 pgsnmpdが計測するデータはPostgreSQL 8.xの提供している接続統計情報、データベースサイズ、ディスクIO統計情報など。SNMPインタフェースを経由してこれら情報を提供する。SNMPを使った情報収集を実施している場合、pgsnmpdを使った情報収集が便利だ。
DBの内容をdiffで比較!? - 便利データベースコマンドSchemaCrawler 5.0登場 | エンタープライズ | マイコミジャーナル
26日(米国時間)、SchemaCrawlerの最新版となる「SchemaCrawler 5.0」が公開された。SchemaCrawlerはJavaで開発されたコマンドラインベースのデータベースツール。データベーススキーマやコンテンツを可読性のあるテキストとして出力する機能を提供している。SchemaCrawlerが出力するテキストはdiffコマンドを使って比較ができるように工夫されており、同アプリケーションを使ってデータベースの変更をトレースすることが可能。 SchemaCrawler 5.0では、J2SE 5.0のコンストラクタを使うため、SchemaCrawler APIが変更されている。このためJ2SE 1.4では動作しない。また、サポートはまだだがMicrosoft SQL Serverに対応したSchemaCrawler Grepの開発も進められている。
DBエンジニアが知っておくべき情報源を一括更新（1/2） － ＠IT
Database Watch 4月版 Page 1/2 DBエンジニアが知っておくべき情報源を一括更新 加山恵美 2007/4/18 新年度が始まりましたので、あらためてデータベースの主要な製品とサイトを紹介します。データベースは古くからある技術ですが規模や性質で多様な違いがあり、いまでもまだ発展を続けています。 ■オラクル、IBM、マイクロソフトが商用のご三家 新年度となり、新入社員または新たにデータベースに関する業務に携わることになった方もいるかもしれませんね。データベースの世界に足を踏み入れることになった方々、はじめまして。本連載では主にデータベース、特にRDBMS（Relational DataBase Management System）など業務で使うデータベースを中心にその動向をお伝えしています。ただし筆者はエンジニア出身ですがRDBMSのプロフェッショナルではありません。未熟
「PostgreSQLは遅い」は本当か？：OSSデータベース比較 - CNET Japan
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます LAMPやLAPPといった言葉が示しているように、オープンソースソフトウェア（OSS）での代表的なリレーショナルデータベース管理システム（RDBMS）といえば、「MySQL」と「PostgreSQL」だ。この2つのRDBMSは同等であるかのように思われているが、しかしPostgreSQLのユーザー団体「日本PostgreSQLユーザ会」で理事長を務める片岡裕生氏によれば、「PostgreSQLはあまり信用されていない」ということがあるそうだ。 「十分にチューニングされたMySQLとチューニングしていないPostgreSQLを比較したり、反対にチューニングされたPostgreSQLとチューニングしていないMySQLを比較したり、あるいは比
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IDEA * IDEA
NTTデータ公式サイト
