先週金曜日、BPStudy#25で、「パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ」という題目で話をさせていただきました。その際に使用した発表資料は以下のとおりです。 1. Happy Optimization 最初に、最適化の考え方として、上限値を予測し、それを元にリソース配分を考える、という手法を説明しました。
Kazuho@Cybozu Labs: パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ (BPStudy#25発表資料)
先週金曜日、BPStudy#25で、「パフォーマンスとスケーラビリティのためのデータベースアーキテクチャ」という題目で話をさせていただきました。その際に使用した発表資料は以下のとおりです。 1. Happy Optimization 最初に、最適化の考え方として、上限値を予測し、それを元にリソース配分を考える、という手法を説明しました。
livedoor Techブログ : MySQL Proxy を試してみました
こんにちは。金子です。 先日、社内勉強会で MySQL Proxy を取り上げました。その際まとめた資料を、一部加筆修正して公開します。 最初にお詫び 大元の文章を書いたのが 2007 年の 7 月なので、内容が少し古いです。これを書きながら最新版をチェックアウトしてきて再検証したかったのですが、レポジトリがダウンしていて最新のソースコードを入手できませんでした。なので、一ヶ月前のリビジョン(rev.116) 時点でのソースコード + 二週間くらい前にレポジトリを覗いたときの記憶のみで書いており、いろいろ間違っているおそれがあるので、みなさん是非自分でコンパイルして試してみてください(注意!ただでさえつながりにくいので、このエントリを全部読んで一週間後にまだ MySQL Proxy のことを覚えていた人だけレポジトリにアクセスしてくださいね) 気の早い人向けの結論 まだ実践投入するには厳し
へ〜たのめも:Hadoop と RDBMS の性能を比較してみた。という論文。の感想。の翻訳。 - livedoor Blog（ブログ）
2009年04月19日 Hadoop と RDBMS の性能を比較してみた。という論文。の感想。の翻訳。 Stonebraker, DeWitt, et al. compare MapReduce to DBMS Map-Reduce (Hadoop)と Parallel DBMS (Vertica と DBMS-X) の性能を比較したところ、おおむね DB の方が性能がよく、ケースによっては 6.5倍も性能差があるという実験結果が、SIGMOD09 で発表されたらしい。原論文はここから PDF でダウンロードできる。 以下は DBMS2 というブログに書かれた、この論文を読んだ人の感想の翻訳。 Stonebraker, DeWitt, et al. MapReduce と DBMS の比較 5人の共著者(主筆者は Andy Pavlo っぽい)とともに、Map-Reduce 嫌いで知られ
全文検索エンジンgroongaをテストリリースしました。 - グニャラくんのグニャグニャ備忘録@はてな
全文検索エンジンのgroongaをテストリリースしました。 groonga 本日開催された、key-value store勉強会で発表させていただきました。 今まで、Sennaには Tritonn経由で使った場合、MySQL側のインデックスとの併用が難しく、Senna本来のパフォーマンスが発揮できなかった。 従来のインターフェースでは、トークナイザの切り替えなどの柔軟性がなかった。 といった問題がありました。 groongaは、それに対する返答です。 自分でデータベース書けばいいんじゃね？ 柔軟なAPI用意すればいいんじゃね？ ってことですね。 データベースは、key-valueストアを組み合わせたcolumnストア的な感じになっています。 詳細については、今後別エントリやドキュメントで述べます。 今後は、Sennaはバグ修正のみ行うメンテナンスモードに移行します。 実際使ってみよう 今回
第1回 memcachedの基本 | gihyo.jp
株式会社ミクシィ 開発部 システム運用グループの長野です。普段はミクシィのアプリケーション運用を担当しております。今回から数回にわたり、最近Webアプリケーションのスケーラビリティの分野で話題になっているmemcachedについて、弊社開発部 研究開発グループの前坂とともに、使い方や内部構造、運用について解説させて頂きます。 memcachedとは memcachedは、LiveJournalを運営していたDanga Interactive社で、Brad Fitzpatrick氏が中心となって開発されたソフトウェアです。現在ではmixiやはてな、Facebook、Vox、LiveJournalなど、さまざまなサービスでWebアプリケーションのスケーラビリティを向上させる重要な要素になっています。 多くのWebアプリケーションは、RDBMSにデータを格納し、アプリケーションサーバでそのデータ
phpied.com » Blog Archive » DB-2-MDB2
Intro Recently I had to move an existing project from using PEAR::DB to PEAR::MDB2 - the new database abstraction layer. I took notes on the parts of the code I needed to change, I hope they can benefit someone who's doing the same. Many thanks go to Lukas Smith, the lead developer, he was always responding very fast to my reports and questions in the PEAR mailing list. One thing to notice in MDB2
MySQL
MySQL HeatWave MySQL HeatWave is a fully managed database service for transactions, real- time analytics across data warehouses and data lakes, and machine learning services, without the complexity, latency, and cost of ETL duplication. It is available on OCI, AWS, and Azure. Learn More » MySQL Enterprise Edition The most comprehensive set of advanced features, management tools and technical suppo
mysql を高速化したいときに読むメモ (TechKnowledge)
給料の振込口座として三井住友銀行に口座を持っています。自動支払いサービスを使用して光熱費等の公共料金の支払いをしていますが、先日それらの内の一つを失念してたことに気づきました。口座を確認した時にはすでに引き落としが完了していたため、手元の資金が心細くなった状態で数日を過ごさなければなりません。三井住友銀行で即日キャッシングが可能であれば、是非利用したいのですが。 運が良ければ、三井住友銀行の即日キャッシングは可能 三井住友銀行の特徴はまずクレジットカード会社との連携したサービスが魅力的なことがあげられます。キャッシングでは銀行カードローンですから、何より安い金利が大きい利点になります。概ね銀行系の審査に必要な時間は長くなるようですが、三井住友銀行ではカード発行が当日に行なってくれます。 三井住友銀行は即日キャッシングができるかと言うと微妙なことになります。申込から審査結果の連絡までは、土日
ウノウラボ Unoh Labs: viの中でSQLを実行する
こんにちは，ttsuruoka です． vi の中で SQL を実行することができるプラグイン， dbext.vimを紹介します． 機能(一部) - ex コマンドで SQL 文を入力して，その結果を取得 :Select user_id from users order by rand() limit 7 Result バッファに結果が表示されます - 選択したテキスト部分のSQLを実行 // プログラム中のSQL $query = "SELECT * FROM users LIMIT 10"; // 変数が含まれている場合 $query = "SELECT * FROM users LIMIT $n"; // プレースホルダーが含まれている場合 $query = "SELECT * FROM users LIMIT ?"; php 等のプログラムに書かれている SQL を
PHPでDB管理ツールをジェネレート「phpCodeGenerator」:phpspot開発日誌
phpCodeGenerator via MoonGift phpCodeGenerator is a free database driven website code generator. PHPでDB管理ツールをジェネレート「phpCodeGenerator」。 phpCodeGeneratorを使えば、mySql, PostgreSQL, Oracle などのDBに対応したDB管理ページを自動で生成できるようです。 データの多い、ほとんどのWEBサイトはDBを使っていると思いますが、管理ツールがあるかというとそうでない場合が多そう。 phpCodeGeneratorでは、データの追加/編集/削除/一覧の操作が可能な管理ツールっぽいものが簡単に作れるようなのでサイトの管理に便利そうですね。
MySQLノウハウ
いろいろな本からメモってきたメモのメモ。出典を書いておくのを忘れた。思い出し次第補完するかも。 deleteのコストは高いので、無効化を示すフィールドを作ってupdateすべき slow query logに要注意 多くのエントリでほとんどのフィールドが同じ値を持つ場合はインデックスの効果が小さい →複合インデックスの効果が大きい 複合インデックスは指定の順番が大切。AとBという指定の場合、A単独でもインデックスの効果がある。逆は真でない。 インデックスが使われる場面は フィールド値を定数と比較するとき (where name = 'hogehoge') フィールド値でJOINするとき (where a.name = b.name) フィールド値の範囲を求めるとき (<,>,between) LIKE句が文字列から始まるとき (where name like 'hoge%') min(),
mir the archive
Contents 更新:2007/08/31 MySQL内部アーキテクチャとソース解析 モジュールと相関図 主要クラスと構造体 ユーティリティ関数 プリプロセッサマクロ グローバル変数 ストレージエンジンインタフェース MySQL Hacking Tips InnoDB関連のソース解析 InnoDB起動プロセス InnoDBバッファプールに関するソースコメントの和訳 InnoDB Record構造 MySQLの拡張 可変引数を持つNativeなSQL関数の実装方法 WarningとErrorの出力方法 HelloWorldネタ GNU AutotoolsでHello World! その他 サンプルコード集 当サイトと管理者について
Web::Scraperが便利すぎて困るの巻 (CodeZine編集部ブログ)
こんにちは、編集マンの久次です。 なんだかPerlのWeb::Scraperが便利すぎで、やばいです。 これまでWWW::Mechanizeでごにょごにょやっていたのですが、一気にいろんなものが解決しました。 それで、いろいろ書いていたら、HTML::TreeBuilderのlook_downというメソッドも強力なことにいまさらながら、気づいたので勉強がてら、ためしにコードを書いてみました。 Webの自動制御に今日も夢が広がる…。 ＜参考＞ Web::Scraper - Web Scraping Toolkit inspired by Scrapi - search.cpan.org naoyaのはてなダイアリー - Web::Scraper ブログが続かないわけ | Web::Scraper 使い方(超入門) Web::Scraper超便利 scrAPI Cheat Sheet
Apache Hadoop
This is the first release of Apache Hadoop 3.4 line. It contains 2888 bug fixes, improvements and enhancements since 3.3. Users are encouraged to read the overview of major changes. For details of please check release notes and changelog. This is a release of Apache Hadoop 3.3 line. It contains 117 bug fixes, improvements and enhancements since 3.3.5. Users of Apache Hadoop 3.3.5 and earlier shoul
Tokyo Cabinet
Our team of highly trained cybersecurity professionals provides expertise in compliance, tool assessments, threat hunting, incident response and more. Critical Start is leading the way in Managed Detection and Response (MDR) services. With a unique approach that treats every security alert as equal, Critical Start's proprietary Trusted Behavior Registry allows security analysts to resolve every al
mixi Engineers’ Blog » 最適化しよう？
当エンジニアブログを私物化していると専らの評判のmikioです。ブログを書かないと死んでしまう病に冒されているのでしかたないですね。個人ブログ時代よりもわかりやすくする努力はしているんですけどね。さて、今回はソースコードの最適化による高速化について述べます。 ベンチマークテスト TCはQDBMや他のDBMより高速であるという主張をしたいのですが、その根拠としてベンチマークテストの結果が必要となります。そこで、データベースに100万レコードを格納する処理と、そうして作ったデータベースから全てのレコードを探索する処理の時間を、各DBMで計測してみました（TCのパッケージのbrosというディレクトリにテストコードが入っています）。実行環境は、Thinkpad T60（Intel(R) Core2 CPU T7200 @ 2.00GHz）上のLinux version 2.6.16です。 ハッシュ
Repcached
repcachedについて repcachedとは、memcachedにデータのレプリケーション機能を追加実装したものです。 memcachedは、以下のようなところによく使われると思います。 一時的なデータの保存場所として キャッシュを保存する場所として RDBMSのデータのキャッシュ 生成したページデータのキャッシュ いずれの場合も消えていいデータなので、万が一memcachedがダウンしても問題はないはずです。 しかし、影響が全くないわけではありません。 例えば、MySQLのデータをmemcachedでキャッシュしている場合、memcachedがダウンしている間は直接MySQLにアクセスがいくことになりDBサーバの負荷が上がります。また、memcachedを再起動してキャッシュが失われた場合は、再びキャッシュが溜まるまではDBサーバに負荷がかかることになってしまいます。 このように
Kazuho@Cybozu Labs: Q4M - MySQL 上で動作するメッセージキュー
« ウェブアプリケーションにおけるHDDの正しい使い方 | メイン | Pathtraq リニューアルのおしらせ (リアルタイム検索機能の追加ほか) » 2008年01月15日 Q4M - MySQL 上で動作するメッセージキュー 数年来ずっと「RDBMSに統合されたメッセージキューがほしい」と言ってきたわけですが、昨年末にストレージエンジンをプラグインとして開発できる MySQL 5.1 が RC になっていることに気づき、自分で作ってみました。 Q4M (Queue for MySQL) は MySQL 5.1 のプラガブル・ストレージ・エンジンとして動作するメッセージキューであり、堅牢・高速・柔軟であるよう設計されています。昨年12月遅くに開発が開始され、まだ非常に原始的ですが、かなり高速に動作します。 q4m.31tools.com 自分の英語を日本語訳するというのも変なものですが
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.
Google App Engine - Google Code