第5回 そろそろサーバを弄りたい | gihyo.jp
過去の日記を読み返していて、あることに気づいた。 今日までに、俺がAWSでやってきたこと。 オンプレ時代であれば、サーバをラッキングして、電源を入れ、ネットワーク機器をケーブルでつないだ事くらいしかやっていない。サーバに至っては、電源を入れて、SSHで接続して、pingを打っただけ。 クラウドという環境に初めて触れて、すごいことをしている気分だったのに、改めて考えてみると、すごく単純作業しかしていないことに気づいてしまった。でも、今までであれば、必ずデータセンターに行って作業していた事が、手元ですぐに完結するというのはすごい。それは俺がすごいんじゃなくて、AWSがすごい。 とはいえ、俺も何もしていないわけではなくて、ネットワークを作ったり、サーバを立ち上げたりするのをいかに早くできるかというのを反復練習していたわけで、今となってはネットワークを構築して、サーバを起動するくらいなら30分もあ
第4回 大規模データ処理におけるCPUの2大ボトルネックとは | gihyo.jp
「特定CPUコアでのボトルネック」と「リソースの奪い合い」が2大ボトルネック 第2回、第3回ではディスクI/Oボトルネックについて説明しました。レスポンスとスループットの関係を正しく理解し、I/Oスループットを最大化するようチューニングすれば、ほとんどの大規模処理は速くなります。ユーザもハッピー、皆さんもハッピー、さて家に帰りましょう。 ……しかし、次はだれかからこう聞かれることでしょう。 「CPUの使用率が異様に低いままなんだけど……？」 「CPUの使用率がずっと100％で張り付いているんだけど……？」 どっちやねん！と思うでしょうが、どちらも大規模データを処理するときに特に起こりえる問題です。 ボトルネックは、1つが解消すると、新たなポイントが明らかになるものです。そして多くのケースにおいて、ディスクI/Oボトルネックが解消した場合、次に詰まるのはCPUなのです。 CPUボトルネックは
Meteorがバージョン1.0に到達
オープンソースとして開発されているWebアプリケーションのフレームワーク「Meteor」がバージョン1.0に到達したと発表されました。 Meteorの最大の特徴は「Live updates」と呼ばれる、アプリケーション内の変数の内容がサーバと全てのクライアントでつねに同期している点です。ブラウザなどから入力や変更された変数の値は、自動的にサーバ内のデータベースに反映され、同時にほかのブラウザ上で実行中の同じアプリケーション内の変数の値にも反映されます。変数の内容を動的に画面に反映するテンプレートエンジンの機能も備えています。 つまりデータベースの項目をアップデートしたり、データの変更をチェックするために定期的にブラウザからサーバへポーリングするといったコードは一切不要で、例えばチャットのような、利用者全員がリアルタイムに情報を共有できるアプリケーションの開発が劇的に容易にできるようになりま
第1回 RDBMSとNoSQLデータベース | gihyo.jp
はじめに NoSQL（Not Only SQL）という言葉が注目を集めています。これは「RDBMSが得意なことはRDBMSで、不得意なところにはRDBMSにこだわらず、用途に合ったデータストアを使いましょう』という考え方です。最近では、いわゆるNoSQLデータベース （key-valueストアや各種データベース） が次々と登場してきています。 そこで今回から数回に渡り、それぞれのNoSQLデータベースの特徴や具体的な使い方について紹介していきます。 RDBMSの強みとは そもそも、MySQLやPostgreSQLなどのRDBMSの弱みを補うため、様々なNoSQLデータベースが登場してきたわけですが、RDBMSにはたくさんの強みがあることも忘れてはいけません。 RDBMSの強み データの一貫性 （トランザクション） 更新時のコストが少ない（JOINが前提でテーブルが正規化されている）
SQLチューニングだけじゃないデータベースチューニングを知る
SQLチューニングだけじゃないデータベースチューニングを知る：Database Expertイベントレポート（1/2 ページ） フラッシュストレージアレイの登場、最新バスやストレージコントローラー規格の登場、大容量メモリの普及など、データベースと記憶装置にまつわるハードウェア事情はここ数年で大きく変化しつつある。運用やチューニング環境を考える上では、こうしたハードウェアの進化はもちろん、製品実装技術にも深い理解が必要だ。編集部主催セミナーを基に、多様化するデータベース周辺のハードウェアのうち、フラッシュストレージとの組み合わせ方についての最新情報を紹介する。 2014年9月12日、＠IT編集部では富士ソフト アキバプラザ（東京・秋葉原）を会場に、主催セミナー「DB高速化道場」を開催した。 データベースの高速化というと、従来はアプリケーションのチューニングやデータベースソフトウェアの改善など
『MySQL初心者に贈るインデックスチューニングのポイントまとめ2014』
サイバーエージェント公式ブログをご覧の皆さんこんばんは、インフラ＆コアテク本部の須藤(@strsk)です。普段はAmebaのソーシャルゲーム全般のインフラを見つつ、日本語ラップの啓蒙をしながら弊社社員を素材にコラ画像をつくったりしています。好きなAAは麻呂です。 はい、というわけで今回はMySQLインデックスチューニングの基本的な流れについてまとめてみました。 ソーシャルゲームは更新も参照もめちゃくちゃ多いです。数秒のレプリケーション遅延も致命的なので適切なテーブル、クエリとインデックス設計が重要です。（何でもそうですけど）インデックスが多くなると更新コストなどが懸念されますが、インデックスが正しく使われていないクエリを放置している方が悪です。そんなこんなで、割と例も偏ったりしてるかもしれませんがあしからず。 前提としてはInnoDBを想定しています。MyISAMはほとんど使っていません。
主キーはインデックスではない - 設計者の発言
仕事柄、奇妙なDB構造を目にすることが多い。どういう発想からそんな設計がされるのかを理解したいと思っていたのだが、モデラー仲間の秋里さんが先日うまい指摘をした。「主キーをインデックスみたいなものと勘違いしているからではないでしょうか」。インデックス（キー）というのは、レコードの並び順を規定するキーのことだ。 たしかに思い当たる節がある。「こんな順にレコードが並んでいれば処理上都合がよさそうだ」という考えで主キーが設定される。さらに主キーはユニーク制約でもあるので、重複が起こらないように「多め」に項目を突っ込んでおく。つまり「ユニーク制約をともなう代表的インデックス」程度に主キーが理解された結果として、グダグダなDB構造が出来上がるのではないか。 じっさい、昔こんなことがあった。{a,b,c,d}の複合主キーをもつテーブルＸがある。ところが、別のテーブルＹからテーブルＸの特定レコードにアクセ
[Q&A]MySQL開発でやってしまいがちな致命的ミス | Yakst
Percona MySQL Webinarsの発表(MYSQL開発でやってしまいがちな致命的なミスについて)のQAをご紹介します。 本発表はSQLアンチパターン著者のBill Karwinさんの発表です。 オリジナル: http://www.percona.com/resources/mysql-webinars/how-avoid-even-more-common-deadly-mysql-development-mistakes July 17, 2014 by Bill Karwin 水曜日に「MySQLを開発する上でよく起こる(そして致命的な)ミスをどのように回避するか」をPercona MySQL webinarsで発表した。お見逃の際は、ビデオとスライドを見る為に登録すればまだご覧にいただける。 参加いただいた皆様、そしてとりわけすばらしい質問をしていただきありがたく思っている
![[Q&A]MySQL開発でやってしまいがちな致命的ミス | Yakst](https://cdn-ak-scissors.b.st-hatena.com/image/square/cc3e540029d01309128ee24be8bc7c48c3fd73da/height=288;version=1;width=512/https%3A%2F%2Fyakst.com%2Fpost_icons%2Fpercona.png)
オラクルはみんなが思っているほど悪者ではない | readwrite.jp
オープンソースに明るくない人々にとっては、オラクルのMySQL運用にまつわる騒動はあまりピンと来ないかもしれない。オラクルが2010年にサン・マイクロシステムズを買収した際、オープンソースの技術者たち（私もその一人だ）は、オラクルがMySQLを台無しにするのではないかと危惧した。オラクルが開発への投資を縮小したり、技術をクローズド化するような事態を想定したのである。しかしそんなことは起こらなかった。実際にはオラクルの管理の下、MySQLのパフォーマンスは劇的に改善され、コードの大部分もオープンのまま残されている。 それでもなお、オープンソースのコミュニティには未だにオラクルのMySQL運用をバッシングする人たちがいる。ちょっとオラクルが気の毒になるほどだ。 崩壊の危機にさらされたMySQLコミュニティー確かにオラクルはコミュニティに対してあまり友好的ではなかった。そして、同社に何十億ドルも
インメモリデータベースを巡って、マイクロソフトとオラクルがオンラインバトル
オラクルが、「マイクロソフトが発表したHekaton（インメモリデータベース機能）は、ベイパーウェア（蒸発してしまう、要するにハッタリ）だ」と挑発すると、マイクロソフトが「オラクルExadata X3のインメモリデータベースはキャッシュで、Hekatonの本当のインメモリ技術とは違う」と返す。インメモリデータベースを巡って、オラクルとマイクロソフトがネット上で議論を戦わせました。 オラクル「Hekatonはベイパーウェアだ」 最初に口火を開いたのはオラクルでした。Forbesに「Oracle Calls Out Microsoft over Vaporware Fantasy」という記事を11月14日付けで寄稿。この記事はForbesに直接ベンダが記事を書ける、いわばスポンサーコーナーに掲載されました。 記事を書いたのは、オラクルのシニアコミュニケーションVP Bob Evans氏。彼は、
「WEB+DB PRESS」で艦これで有名なDMMの開発体制の全貌が明らかに - 東洋黒客は勇者である
一応、IT土方の端くれとしてIT雑誌は毎月買ってる（といっても廃刊ばっかで数冊しかないですが）東洋黒客ですこんにちは。 ITプログラムの雑誌としてメジャーなのは「WEB+DB PRESS」、「Software Design」（どっちも技術評論社）なのですが 今月号の「Software Design」には「リリカルなのはINNOCENT」のサーバーの舞台裏の話（後編） 「WEB+DB PRESS」には DMM.comの開発ノウハウが載っていました。 ■ ついにIT技術界隈に姿を表したDMMまず、DMMの開発の舞台裏の話より前に、DMMがIT技術雑誌に姿を表したのが「ついにきたか」という感じでした。 艦これブームの裏で、ベールの裏に包まれていたDMMのプログラム事情。 最近のIT雑誌はソシャゲー会社やピクシブ、ニコニコ動画の舞台裏を紹介する事が多く、わりとメジャーなWEBサービスは載っていたの
@nippondanji 氏の「データベース設計徹底指南！！」は神プレゼン！脅威の主義主張の一貫性保証は DB エンジニアの鏡だった件！ - #garagekidztweetz
ツイート今日は、第 1 回のSQL アンチパターンの回から良コンテンツを提供しまくりなエンバカデロ・テクノロジーズさん主催の第 3 回 DB エンジニアのための勉強会に参加してきました。 今回は 漢(オトコ)のコンピュータ道で有名な漢の中の漢、 @nippondanji 氏がデータベース設計を徹底指南してくれるということで、元々 DB エンジニアがバックグランドのわたしとしてはいかないわけにはいかんだろう、と喜び勇んでいってきました！ 内容はというと下記の概要をカバーする内容でした。 リレーショナルデータベース（以下RDB）は登場してからかなりの時間が経っています。その名が示すように、RDBはリレーショナルモデルをベースに考案されたソフトウェアです。しかしながら、未だに現場ではRDBが使いこなされているとは言いがたく、リレーショナルモデルへの理解も進まず、誤った常識が跋扈しているのが現状で
デベロッパーとデータベース管理者は手を取り合うべきだと、マーチン・ファウラー氏
デベロッパーは官僚的なデータベース管理者を嫌って、管理不要のNoSQLデータベースを希望することがあるけれど、両者が手を取り合うことの方が重要だ。マーチン・ファウラー氏は先週、「NoDBA」という記事を自身のWebサイトにポストしました。 デベロッパーによる最新の開発手法の採用とその壁、NoSQLデータベース、DevOpsといったITのキーワードを含むこの記事は翻訳が許可されているため、日本語訳してみました。 NoDBA 多くの組織において、保存が必要なデータは情報部門が集中管理するリレーショナルデータベースに収まることだろう。情報部門が集中管理する理由はそれぞれだが、統合的なデータベースの運用が一般的な理由だろう。データを管理している部門は、変なデータが紛れ込まないか、データベースを遅くするようなクエリが実行されたりしないか、企業全体で一貫性のあるデータモデルが実現されているか、といった
AWS News Blog
In the Works – AWS Region in Malaysia We launched an AWS Region in Australia earlier this year, four more (Switzerland, Spain, the United Arab Emirates, and India) in 2022, and are working on regions in Canada, Israel, New Zealand, and Thailand. All told, we now have 99 Availability Zones spread across 31 geographic regions. Malaysia in the Works Today I am happy […] New – Amazon Lightsail for Res
［速報］オラクル、Oracle 12cにインメモリとカラム型データベースの追加機能を発表～Oracle OpenWorld 2013
［速報］オラクル、Oracle 12cにインメモリとカラム型データベースの追加機能を発表～Oracle OpenWorld 2013 米オラクル主催のイベント「Oracle OpenWorld 2013」がサンフランシスコで開幕しました。 同社CEOのラリー・エリソン氏は最初の基調講演に登壇。現在データベースの新しい技術として注目されているインメモリとカラム型データベースの機能をオプションとしてOracle Database 12cに追加すると発表。さらにインメモリ処理に優れた32TBメモリ搭載可能な新型SPARCサーバも発表しています。 基調講演の内容をダイジェストで紹介します。 Oracle DatabaseのIn-Memroyオプション発表 米オラクルCEO ラリー・エリソン氏、ご機嫌な表情で登場。
Oracle 12.1cはカラム型インメモリデータベースになるとエリソン氏。32TBメモリのSPARCサーバと組み合わせ
Oracle 12.1cはカラム型インメモリデータベースになるとエリソン氏。32TBメモリのSPARCサーバと組み合わせ 米オラクルCEOのラリー・エリソン氏は先日行われた電話会見にて、Oracle 12.1cがカラム型データベースとインメモリデータベース機能を備える、と発言したと報道されています。 Oracle Makes Big Promises After Weak Earnings - InformationWeek Oracle 12.1c database planned as SAP HANA competitor - CIO magazine CIO magazineの記事から、エリソン氏の発言を引用しましょう。 Oracle Database 12.1c will be a "columnar, compressed, high-speed, in-memory data
HDDをSSDにしたらデータベースはどれだけ速くなるか？ オラクルと富士通が実験
リレーショナルデータベースを利用する際には、高い性能を引き出すために物理設計をし、スキーマを工夫し、パラメータのチューニングを行うことがつねに行われてきました。 性能のボトルネックはたいがいHDDにあり、いかにそのボトルネックを回避するかがチューニングのポイントですが、最近では性能向上のための武器として、HDDよりもずっとアクセス性能の高いSSDが注目されています。SSDはHDDと置き換えるだけで、アプリケーションにまったく手を加えずに性能向上を可能にする手段として非常に魅力的です。 HDDの代わりにSSDを利用したら、リレーショナルデータベースの性能はどれだけ向上するのでしょうか？ オラクルと富士通が共同検証を行い、その結果をホワイトペーパーとして先週発表しました（参考「日本オラクルと富士通 フラッシュ技術活用によるデータベース高速化を共同検証」）。 ホワイトペーパーでは、HDDの代わり
全IT関係者が知っておくべき「1-copy-snapshot isolation」 - 急がば回れ、選ぶなら近道
snapshot isolationを分散環境に適用する場合の「基本」の内容のまとめになります。（基本自分用のメモなので、間違っていたらすみません） まずワーディングの整理 ・snapshot isolation TXの分離レベルとしてのsnapshot isolation（以下SI）は、現在のRDBMSのTX管理では、ほぼ実装的にはデファクトと見ていいと思います。ただしANSIの規定のISOLATION_LEVELには定義がないので、どのあたりに位置づけるのかは、DB実装のそれぞれの取り扱いにより異なります。とはいえ、どのDBでもほぼSERIALIZABLEに近い位置づけにしているところが多いですね、というか、SI（特にSerializable SI）ぐらいでないとserializableに現実的には近づけないというのが実態かと思います。（勿論理論上はS2PLで実装は可能ですが、まぁパフ
ITエンジニアがデータサイエンティストを目指すには？
ITエンジニアがデータサイエンティストを目指すには？：ITエンジニアのためのデータサイエンティスト養成講座（1）（1/2 ページ） それぞれの専門分野を生かした「データサイエンスチーム」を結成すればデータ活用への道は短縮できる。そのとき、ITエンジニアはどんな知識があればいい？ データサイエンティストとして活動する筆者が必須スキル「だけ」に絞って伝授します。 連載バックナンバー はじめに：分析スキルの課題をどう乗り越えるべき？ 昨今では、IT系のメディアのみならず一般雑誌や新聞なども“ビッグデータ”というキーワードを見出しに使っています。この文字を目にしない日がないくらいに多用されていて“バズワード”としてとらえられるケースも少なからずあるようです。 しかし、世界の至る所で――もちろん日本でも、ビッグデータを分析することで新たな知見を見つけて利益を増大した企業や、顧客の購買行動を予測するこ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://kwatch.houkagoteatime.net/blog/2014/12/02/postgresql-book/
