ヤフー社内でやってるMySQLチューニングセミナー大公開3. Yahoo! JAPANのRDB環境 • 11g RAC Enterprise Edition • 約200DB • サーバ 200台, Exadata もあるよ • MySQL 5.1 (RR,Mixed) Percona 5.5 (RR,Mixed) Percona 5.6 (RC,RBR,GTID) • 約500DB • サーバ 300台 Oracle Database MySQL Percona
分散システムの一貫性に関する動向について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog システム統括本部アーキテクト室 今野です。 昨年は、Twitter,Facebookを始めとするクラウド各社で新規の分散システム開発のプロジェクトが相次いで発表された年でした。これらの新しい分散システムを開発する理由や、その背景にあるものは何なのでしょうか？ 今回は、昨年末に開催された高信頼性分散システム系の国際学会であるSRDS 2014[1]の発表内容に関連する論文の話題も踏まえて、昨今のクラウド各社の分散システムの動向について整理してみます。 分散システムにおけるクラウド各社の動向 近年の分散データベースの世界では、AmazonのDynamo[2]やFacebookのCassandra[3]などを代表とする結果整合性（Eve
時代はポストRDBへ--NoSQL徹底研究：2015年はNoSQL元年、今なぜ必要なのか
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 企業の中で最も重要な資産の一つである“データ”の多くは1990年代以降、多くがリレーショナルデータベース（RDB）で管理されてきました。ところが最近のビッグデータの潮流の中で、インターネットやモバイル端末を利用する“モノのインターネット（Internet of Things：IoT）”のデータを取り扱う企業やウェブ系、一般企業で従来から利用しているRDBではなく、NoSQLを利用する企業が増えてきています。NoSQLが話題になるようになって数年経ちますが、今なぜNoSQLなのか、日本で利用者が増加しているオープンソースの主なNoSQL製品を研究しながら探っていきたいと思います。 今回、この企画をするにあたって、各ベンダーや各方面の専門家
Head First PHP & MySQL
序章 この本を読むのにふさわしい人は？ みなさんが思っていることはわかっています メタ認知：自分の思考について考える 脳を服従させるために「みなさん」ができること まず最初に読んでください テクニカルレビューチーム 謝辞 1章 静的なページに命を吹き込む HTMLは静的で退屈です PHPは Webページに命を吹き込んでくれます フォームにより全ストーリーを得られる フォームは HTMLでできています HTMLフォームは問題を抱えています HTMLはクライアント上で動作します PHPはサーバ上で動作します PHPスクリプトはサーバで動作します PHPを使ってフォームのデータにアクセスする PHPスクリプトはサーバ上にいなければならないのです！ サーバが PHPをHTMLに変えます コーディング上の PHP規則 完璧な変数名を見つける $_POSTはフォームのデータを保持する特別な変数です $
あのジェリー・ヤンも出資! 話題のベンチャーTreasure Dataがめざすのは"ビッグデータをシンプルに"─Hadoop Conference Japan 2013 Winterレポート（3） | gihyo.jp
シリコンバレーの投資家からも一目置かれるTreasure Dataの成長を支えているその技術力と経営理念について、Treasure DataのCTOである太田一樹氏が基調講演で語ったその内容をレポートします。 Feature Creepではなく“ナタ”を作る 太田氏をはじめとするTreasure Dataの創業メンバーはいずれもHadoopやmemcached、MongoDBなど、現在のビッグデータブームを支えるオープンソース技術の開発に学生時代から関わっていました。これらのオープンソースプロダクト、とくにHadoopに触れる経験が長かったことが、Treasure Data設立の大きなきっかけになっています。 「Hadoopの登場はこれまで使いづらいだけの存在だった分散システムの世界を大きく変えた。一方で、ユーザ企業がHadoopをデプロイし、運用をはじめても、結局はメンテナンスが大変にな
O'Reilly Japan - 『SQLアンチパターン』トークセッション開催決定！ - Information from O'Reilly Japan
発売以来早速の大反響をいただき、早くも重版決定の『SQLアンチパターン』。トークセッションの開催が決定しました！ タイトルはその名も「データベースを巡る世代間闘争」。同書の監訳者であり、また親子でもいらっしゃる和田卓人・和田省二の両氏をお迎えして、監訳者親子の設計論議(データ中心設計とオブジェクト指向設計の間の世代間闘争)の再現を試みるという刺激的なセッションです。2013年2月21日（木）19時30分より、ジュンク堂書店池袋本店にて開催されます。 以下、ジュンク堂書店さんによるイベント告知を転記します。 『SQLアンチパターン』（オライリー・ジャパン刊・オーム社発売） 刊行記念トークセッション データベースを巡る世代間闘争 和田卓人（監訳者・子）×和田省二 (監修者・父) ■日時：2013年2月21日（木）19時30分 ～ リレーショナルデータベースを中心に据えたシステム開発には、様々な
スケーリングMongoDB
スケーラブルかつハイパフォーマンスなNoSQLデータベースであるMongoDBに関する書籍です。本書では、アプリケーションが直面するデータの増大に対応するため、MongoDBクラスタを構築するための知識を紹介します。シャーディングによるMongoDBクラスタの構築方法、クラスタを効率よく用いるデータ構造の選択方法、監視やバックアップなどの管理方法までを解説します。本書はEbook版のみの販売となります。 はじめに 本書で使用されている表記規則 サンプルコードの利用について 本書に関するお問い合わせ 1章 分散コンピューティングへようこそ！ シャーディングとは何か 2章 シャーディング データの分割 バランシング configサーバー クラスタの構造 3章 クラスタのセットアップ シャードキーの選択 新規あるいは既存のコレクションのシャーディング 容量の追加・削除 4章 クラスタの扱い クエ
プログラミング Hive
本書は、Hadoop上でSQLライクなクエリ操作を可能にするHiveについて、基礎から応用までを詳細に解説した書籍です。データ型とファイルフォーマット、またHiveQLのデータ定義、操作などの基礎的な事柄から、関数、ストリーミング、Thriftサービス、さらにAWSやHCatalogなどの応用まで、Hiveについて必要な事柄を豊富なサンプルとともにわかりやすく解説します。 日本語版では、Microsoftの佐藤直生氏による「Windows Azure HDInsight Service」、Clouderaの嶋内翔氏による「Cloudera Impala」、「Hive 0.10 の新機能」、「HiveServer2」を追加。ビッグデータに関心のあるすべてのエンジニア、必携の一冊です。 訳者まえがき はじめに 1章 イントロダクション 1.1 HadoopとMapReduceの概要 1.1.1
MySQLのロックについて - SH2の日記
JPOUG> SET EVENTS 20140907 | Japan Oracle User Group (JPOUG)に参加して発表をしてきました。IIJさまのセミナルームは窓からの眺めがすばらしいですね。JPOUGの運営メンバのみなさま、会場を提供してくださったIIJのみなさま、当日お越しいただいたみなさま、どうもありがとうございました。 私のセッションでは「MySQLのロックについて」と題してネクストキーロックなどの説明をしました。プレゼンテーション資料と、調査のために作成したツールを公開します。 プレゼンテーション資料 (PDF) Lock Inspector 1.0 プレゼンテーション資料からリンクしているウェブサイトの一覧です。 MySQL Lists: mysql: Re: InnoDB's inner workings + checkpoints 過去記事の訂正 @kami
オラクルはみんなが思っているほど悪者ではない | readwrite.jp
オープンソースに明るくない人々にとっては、オラクルのMySQL運用にまつわる騒動はあまりピンと来ないかもしれない。オラクルが2010年にサン・マイクロシステムズを買収した際、オープンソースの技術者たち（私もその一人だ）は、オラクルがMySQLを台無しにするのではないかと危惧した。オラクルが開発への投資を縮小したり、技術をクローズド化するような事態を想定したのである。しかしそんなことは起こらなかった。実際にはオラクルの管理の下、MySQLのパフォーマンスは劇的に改善され、コードの大部分もオープンのまま残されている。 それでもなお、オープンソースのコミュニティには未だにオラクルのMySQL運用をバッシングする人たちがいる。ちょっとオラクルが気の毒になるほどだ。 崩壊の危機にさらされたMySQLコミュニティー確かにオラクルはコミュニティに対してあまり友好的ではなかった。そして、同社に何十億ドルも
CAP定理を見直す。“CAPの3つから2つを選ぶ”という説明はミスリーディングだった
分散システムにおいては以下の3つの要素のうち2つしか同時に満たすことができない、というCAP定理を提唱したのは、Eric Brewer氏でした。 C：Consistency（一貫性） A：Availability（可用性） P：Tolerance to network Paritions（ネットワーク分断への耐性） 一般にリレーショナルデータベースでは、一貫性（C）と可用性（A）をできるだけ保証する代わりに、ネットワーク分断への耐性（P）を犠牲にしています。ネットワークが途中で切れたり大きく遅延した場合、動作が保証されなくなってしまうわけです。 一方でNoSQLでは一貫性（C）よりも可用性（A）とネットワーク分断への耐性（P）を優先させるものが多く、分散システムでの動作に向いていると説明されます。このようにNoSQLの説明にこのCAP定理がしばしば引用されることになり、NoSQLの普及とと
SQLアンチパターン
本書はDB設計やSQL記述の際に避けるべき事柄を1章で1つ、25個紹介する書籍です。リレーショナルデータベースを中心に据えたシステム開発には、様々な場面で陥りやすい失敗（アンチパターン）があります。本書はデータベース論理設計、データベース物理設計、クエリの記述、アプリケーション開発という4つのカテゴリに分け、それぞれの分野におけるアンチパターンを紹介し、失敗を避けるためのより良い方法を紹介します。複数の値を持つ属性や再帰的なツリー構造の格納から、小数値の丸めやNULLの扱いに起因する問題、全文検索やSQLインジェクション、MVCアーキテクチャなど、実践的かつ幅広いトピックを網羅します。日本語版では、MySQLのエキスパートとして著名な奥野幹也氏によるアンチパターンを収録。データベースに関わるすべてのエンジニア必携の一冊です。 本書への称賛の声 監訳者まえがき はじめに I部 データベース論
レプリケーションを使わないMySQLの冗長化
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、DBMSチームの三谷です。 ヤフーでは多くのサービスでMySQLを利用しています。MySQLはヤフーを支える重要な技術の1つです。 私のチームではヤフーのさまざまなサービスのデータベースを集約して管理・運用しています。 集約することでコストの削減やノウハウの蓄積といった効果を生み出しています。 今回はこの集約環境の冗長化方法についてご紹介します。 集約環境の構成 集約環境ではマスターの冗長化にレプリケーションを利用せず、エンタープライズ向けの共有ストレージを利用したアクティブ・パッシブ型のHA構成を採用しています。 データファイルを共有ストレージに置き、どのマスターサーバーからでも同じデータに対してアクセスできるように
データベース負荷テストツールまとめ(5) - SH2の日記
というわけで、JPOUG> SET EVENTS 20120721 | Japan Oracle User Groupに参加して発表をしてきました。通常の勉強会と比べて発表者と聴講者の一体感を増すための工夫がなされていて、とても良かったと思います。有限コーヒーかと思ったら無限ビールだったのも驚きです。JPOUGの運営メンバのみなさま、会場を提供してくださった日本オラクルのみなさま、当日お越しいただいたみなさま、どうもありがとうございました。 私のセッションでは、データベース負荷テストツールまとめ(5)と題して過去4回分のまとめと自作ツールの紹介をさせていただきました。JdbcRunnerはOracle Database、MySQLとPostgreSQLの間でTPC-BとTPC-Cの性能比較ができる唯一のオープンソースソフトウェアですので、いろいろ試してみていただければと思います。試した結果
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
(PDF) MongoDB に対する探索行為の増加について - 警察庁 (平成27年2月20日)
サン・マイクロシステムズ
1台から500台までのMySQL運用(YAPC::Asia編)