BigQueryで150万円溶かした人の顔 - Qiita
※ かなり前の記事ですが、未だに引用されるので一応追記しておきます。タイトルと画像がキャッチーなのはちょっと反省していますが、これを見てBigQuery使うのを躊躇している人は多分あまり内容を読んでいないので気にする必要はないです。自分は当時の会社でも今の会社でも個人でも普通にBigQuery使っていて解析用データなどはBigQueryに入れる設計をよくしています。また、アドベントカレンダーだったのでネタっぽく書きましたが事前に想定できる金額です。 ※ 代役：プロ生ちゃん（暮井 慧） 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかし、使い方によってはかなり大きな金額を使
嵐のコンサートがあるとダブルブッキングしてしまうホテル予約システムを作ってみた
今年の5月1日に、仙台市内のホテルで多重予約のトラブルが発生したと報道されています。 部屋数２０３室の仙台市のビジネスホテルで、９月１８～２３日の宿泊予約を数千件受け付けるトラブルがあった。アイドルグループ「嵐」のライブが宮城県内で開催される期間だった。インターネットでの申し込みが殺到し、システム障害が起きたとみられるという。 トラブルがあったのは、仙台市泉区の「ホテルルートイン仙台泉インター」。ホテルなどによると、９月１９、２０、２２、２３日に宮城スタジアム（宮城県利府町）で嵐がライブを開くことが明らかになった後の５月１日午前５時ごろ、ネットを使った予約申し込みが殺到していることに気づいたという。 ２０３室のホテルなのに「予約」数千件 嵐公演で殺到か：朝日新聞デジタル より引用 5月1日の朝に何があったのか調べてみると、この日の早朝にテレビや新聞でコンサートの情報が流れたようですね。 お
本当に怖いパフォーマンスが悪い実装 #phpcon2013
9. 問題の実装 9 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 <?php class BlackListDB { const DBPATH = "/tmp/db.gdbm"; public function isBlock($id) { $dbh = dba_open(self::DBPATH, "r", "gdbm"); if ($dbh === false) { return null; } $ret = dba_exists($id, $dbh); dba_close($dbh); return $ret; } } 10. 問題点 10 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 <?php class BlackListDB { const DBPATH = "/tmp/db.gdbm"; publ
間違って10万人の顧客DB消しちまったｗｗｗｗｗｗｗｗ - MC)まとめこむ
1：以下、VIPがお送りします：2012/03/05(月) 23:05:21.43 ID:MYKH/EmU0 特定されない範囲で 30分前の話 2：以下、VIPがお送りします：2012/03/05(月) 23:06:04.91 ID:b77m7UZ00 ２ｃｈやってないでハードディスク復旧業者に頼め 13：以下、VIPがお送りします：2012/03/05(月) 23:08:29.71 ID:MYKH/EmU0 >>2 とりあえず今担当の人呼んでる（俺も担当なんだけどさｗｗｗ 3：以下、VIPがお送りします：2012/03/05(月) 23:06:05.57 ID:G+trElAB0 顧客DBって何？ 13：以下、VIPがお送りします：2012/03/05(月) 23:08:29.71 ID:MYKH/EmU0 >>3 顧客情報が詰まった大切な大切なデータベース 4：
ワミレスコスメティックス株式会社｜成分辞典
化粧品をもっと安心してお使いいただくために… ワミレスの化粧品のパッケージに記載されている配合成分について、ご説明します。 ※左のメニューより成分名称の頭文字を選択してください。 化粧品は以前、表示指定成分のみが表示されていましたが、2001年の薬事法の改正により、全成分表示が義務化されました。 さらに日本化粧品工業連合会の基準として、2008年4月より医薬部外品においても全成分表示化が施行されました。 それによって、化粧品がどんな成分でつくられているのか、誰もがひと目で分かるようになり、自分の肌に合うもの、合わないものを選んで購入できるようになっています。 ワミレスでは、より安心して商品をお選びいただくための情報提供として、2000年より独自に「化粧品」「医薬部外品」ともに全成分表示を行ってきました。今後は、医薬部外品の全成分表示基準において、医薬部外品申請における有効成分とその他
中古マンションで絶対に損な買い物をしない方法が確立されてしまった - FutureInsight.info
中古マンション購入の際に一番大きな悩みは、購入価格が適正かどうかということです。不動産屋はなんとかしてマンションの売買を成立させたいというモチベーションがあるので、そもそも完全に信用出来ないですし、かと言って市場調査を素人がすることが難しいのが現状でした。しかし、以下の記事で紹介されている「住まいサーフィン」でなんと過去のマンションの中古の売買記録が公開されており、そちらを見ればだれでも過去の中古マンションの価格を確認できるようになりました。 http://business.nikkeibp.co.jp/article/opinion/20111007/223066/ マンションの適正価格・資産価値・査定情報｜住まいサーフィン (「マンション検索」で該当マンションを検索して、「中古事例」の一覧をクリックで確認可能です。) このDBが信じらないくらいデータが詰まっており、試しに近くのマンショ
資源エネ庁「２ｃｈとかツイッター監視しろ 契約金は7000万だ」アサツーディ・ケイが契約獲得
資源エネ庁「２ｃｈとかツイッター監視しろ 契約金は7000万だ」アサツーディ・ケイが契約獲得 http://www.afpbb.com/article/environment-science-it/it/2817039/7545480?utm_source=afpbb&utm_medium=topics&utm_campaign=txt_topics 【7月30日 AFP】政府は29日、経済産業省資源エネルギー庁が、インターネットニュースやマイクロブログ「ツイッター（Twitter）」上の原子力政策に批判的な投稿を監視しているとの疑惑を否定した。 資源エネルギー庁は今月初め、「平成23年度原子力安全規制情報広聴・広報事業（不正確情報対応）」で、原子力発電所や放射能に関するネットやツイッター上の書き込みを常時モニターする業者の入札を実施。都内の広告代理店「アサツーディ・ケイ」（Asat
http://syarecowa.moo.jp/107/6.html
84 コピペ隊新人 2005/08/15(月) 19:39:34 ID:+tAymFrY0 「【日本】外国の怖い文化【ﾀﾌﾞｰ】」スレより転用。 ●カンボジアのポル・ポト政権、戦慄の歴史 20 名前： 本当にあった怖い名無し 投稿日： 2005/03/23(水) 03:07:38 ID:nUBNjmPo0 カンボジアは北海道の２倍程度の面積の国だ。人口は現在約１千万人。 首都はプノンペン。カボチャはこの国から伝わったのでその名がついた。 カンボジアの歴史は苦難の一言に尽きる。 かの有名な遺跡、アンコールワットが建設された１２世紀では インドシナ半島で最強の国家だったものの、その後は衰退の一途を辿った。 ベトナムやタイに領土を奪われ、第二次世界大戦渦中はフランスの植民地だった。 その状況を打破したのが王族の血を引くシアヌークだった。 大戦後、彼は国際世論を巧みに操り、フランスから国土を解放し
SSD専用に設計された「ReThinkDB」、ロックもログも使わない新しいリレーショナルデータベースのアーキテクチャ
SSD専用に設計された「ReThinkDB」、ロックもログも使わない新しいリレーショナルデータベースのアーキテクチャ SSDがHDDに代わるストレージとして普及しようとしていることを背景に、SSDに特化したまったく新しいアーキテクチャを備えたリレーショナルデータベースを開発しようとしている企業があります。「ReThinkDB」です。 昨年7月に、PublickeyではReThinkDBの概要を記事「SSDに最適化したデータベース「RethinkDB」、ロックもログも使わずにトランザクション実現」で伝えました。 その記事の中では、ReThinkDBがロックを使わずにトランザクションを実現し、データベース利用中でもスナップショットがとれ、また異常終了しても容易に復帰できる機能を備えている、といったことを紹介しました。 4月に米サンタクララでに行われた「MySQL Conference & Ex
HDDをSSDにしたらデータベースはどれだけ速くなるか？ オラクルと富士通が実験
リレーショナルデータベースを利用する際には、高い性能を引き出すために物理設計をし、スキーマを工夫し、パラメータのチューニングを行うことがつねに行われてきました。 性能のボトルネックはたいがいHDDにあり、いかにそのボトルネックを回避するかがチューニングのポイントですが、最近では性能向上のための武器として、HDDよりもずっとアクセス性能の高いSSDが注目されています。SSDはHDDと置き換えるだけで、アプリケーションにまったく手を加えずに性能向上を可能にする手段として非常に魅力的です。 HDDの代わりにSSDを利用したら、リレーショナルデータベースの性能はどれだけ向上するのでしょうか？ オラクルと富士通が共同検証を行い、その結果をホワイトペーパーとして先週発表しました（参考「日本オラクルと富士通 フラッシュ技術活用によるデータベース高速化を共同検証」）。 ホワイトペーパーでは、HDDの代わり
なぜTwitterは低遅延のままスケールできたのか 秒間120万つぶやきを処理、Twitterシステムの“今” − ＠IT
ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1～5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture
Twitterが分散フレームワーク「Gizzard」公開！ Scalaで書かれたShardingを実現するミドルウェア
Twitterが分散フレームワーク「Gizzard」公開！ Scalaで書かれたShardingを実現するミドルウェア Twitterは独自に開発した分散フレームワークの「Gizzard」をオープンソースとして公開しました。GizzardはScalaで書かれたJavaVM上で動作するミドルウェアで、PHPやRubyといったWebアプリケーションからの要求を自動的にデータベースに分散することで、大規模で可用性の高い分散データベースを容易に実現するためのものです。 Gizzard：フォルトトレラントな分散データベースを実現 The Twitter Engineering Blog: Introducing Gizzard, a framework for creating distributed datastores Twitterのブログにポストされた「Introducing Gizzard
�Linux/DB Tuning (DevSumi2010, Japanese)
1. 高性能・安定運用のための Linux/DB システム構築 / 運用技術 松信 嘉範 (MATSUNOBU Yoshinori) サン・マイクロシステムズ株式会社 プリンシパル MySQL コンサルタント 2. プロフィール 2006 年 9 月から MySQL->Sun(-> オラクル ) で MySQL コンサルタントとして勤務 主な著書 Linux-DB システム構築 / 運用入門 現場で使える MySQL Java データアクセス実践講座 Twitter: matsunobu Blog: http://opendatabaselife.blogspot.com * 今回の資料は公開します * MySQL 用語があちこちに出ますが、 経験の無い方にも分かるように配慮していくつもりです 3. 安定稼働と高性能を支える要素 アプリケーション層に関する技術 テーブル設計、インデックス設
ふぁぼったーの負荷分散の計画をあれこれ考えてみた。 - 2009-11-01 - 小野マトペの業務日誌(アニメ制作してない篇)
今日一日調べたこととかまとめてみる。 問題点 次回リリースの新機能はDB select負荷がかなり掛かるはずである。 現状でもデータLOADによる負荷が10に達し、selectにスロークエリ、接続エラーが出ている。DBの負荷分散が急務である。 参考: Load Average 参考: Slow Query あと、STATUSテーブルが2GBに達しようとしているので、デフォルトのサイズ制限4GBが見えてきた。再定義できるけど。 垂直分割対応案 日本語版DBと英語版DBのデータベースとクローラを別ホストに格納する 現状、favotterとfavotter_enはほぼ同規模のDBとなっている。 ただし、参照は圧倒的にfavotterが多い。 favotter_enのクローラを止めたら、スロークエリが激減した事がある。 参考: 小野マトペ on Twitter: "まる一日英語版のクローラ止めてた
プログラムのコード量を減らす MySQL 関数 | バシャログ。
みなさん琉球朝顔ってご存知ですか？朝顔の中でもとてもたくましい事で有名な種類ですが今年の夏から我が家の庭に植えた所、未だに花が咲き誇っていて季節外れな事この上ありません、、、なんか雑草化すると駆除は困難だとか、、、 さて今日は知っておくと何かと便利な MySQL 組み込みの関数たちをご紹介しようと思います。プログラムサイドに記述すると数行に及ぶ処理が、SQL ベースで行うとほんの数文字で済んでしまいます。 DATE, DATE_FORMAT 日付や時刻関連の関数はとても充実していますが、中でもよく使うのはこの辺りでしょうか。こんなレコードがある時、、、 mysql> SELECT created FROM users; +---------------------+ | created | +---------------------+ | 2009-06-05 13:33:26 | |
カラムナデータベース（列指向データベース）とデータベースの圧縮機能について、マイケル・ストーンブレイカー氏が語っていること
カラムナデータベース（列指向データベース）とデータベースの圧縮機能について、マイケル・ストーンブレイカー氏が語っていること データベースの高速化技術の1つに、データの圧縮があります。データを圧縮して扱うことでディスクアクセスとI/Oが減少し、データへのアクセス速度が向上するのです。最近のCPUコア数の増大やメモリ単価の下落はデータ圧縮と伸長にかかるオーバーヘッドのコストを相対的に小さくしており、それもこの技術に有利に働いています。 Ingresの開発者であり、InformixのCTOなどデータベースベンダの要職を歴任、データベース研究者として大御所ともいえるマイケル・ストーンブレイカー氏が、データベースにおけるこのデータ圧縮と伸長処理について、ブログ「The Database Column」のエントリ「"Just in Time" Decompression in Analytic Dat
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
まいり
まんが日本昔ばなし〜データベース〜 - 1975年〜1994年、TBS系列で放送されたTVアニメ「まんが日本昔ばなし」の全話総まとめ、全話あらすじデータベースです。
データベース設計の煩雑な作業を自動化する「ERMaster」
セカイカメラのバックエンドはPostGIS - 横浜スローライフ -- My slow life in Yokohama
