Private content!This content has been marked as private by the uploader.
class: center, middle, inverse # M.T.Burn の BigQuery 利用事例 ## #bq_sushi tokyo #2 ### 守山晃生 ([@cou929](http://twitter.com/cou929)) --- class: inverse # 自己紹介 - 守山晃生 ([@cou929](http://twitter.com/cou929)) - Software Engineer - [FreakOut, Inc.](https://www.fout.co.jp/) - [M.T.Burn](http://mtburn.jp/) ![](bq_sushi_img/profile.jpeg) --- class: inverse # 会社紹介 - [M.T.Burn 株式会社](http://mtburn.jp/) ![](bq_sus
と、いうものを作りました。BigQueryはGoogleのビッグデータサービスで、最近非常に脚光を浴びていて、何度もほってんとりやTwitterに上がってきたりしてますね。詳細はGoogle BigQuery の話とかGoogleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由あたりがいいかな、超でかいデータをGoogleパワーで数千台のサーバー並べてフルスキャンするから、超速くて最強ね、という話。で、実際凄い。超凄い。しかも嬉しいのが手間いらずなところで、最初Amazon RedShiftを検討して試していたのですが、列圧縮エンコードとか考えるのすっごく大変だし、容量やパワーもインスタンスタイプと睨めっこする必要がある。それがBigQueryだと容量は格安だから大量に格納できる、チューニング設定もなし、この手軽さ!おまけにウェブインターフェイスが中々優れ
tagomorisです。もうISUCON5決勝から1ヶ月が経ってしまいましたが、いくつか準備も整えまして、ISUCON5決勝で用いた環境のGoogle Cloud Platform用イメージを用意できましたので公開します。 HTTPS: https://storage.googleapis.com/isucon5-images/isucon5-final-1.tar.gzGCS: gs://isucon5-images/isucon5-final-1.tar.gz ISUCON5決勝では参加者用Webアプリケーションおよびベンチマークツールの他に外部APIのサーバプロセスも必要でしたが、このイメージはそれらを全て含んでいます。インスタンスを作成して起動すればベンチマークが通る状態で起動するはずです。 イメージの取り込みGoogle Cloud Platformでは上記URLからイメージとし
はじめに これは ドリコムAdventCalendar の4日目です 3日目は、@arihh さんによる 3年くらいお菓子神社運営してきた です 自己紹介 @ka_nipan ドリコムに新卒で入社し、Android開発、BtoBtoC のwebサービス開発を経て、現在は弊社アプリのログ収集から集計、可視化、その他周辺ツールといった分析基盤の面倒を見ています 本日はそのデータ基盤の話を書きます データ分析基盤全体図 弊社では Hadoop をオンプレで運用していて、そこにログや分析用のデータを置いています メリット 運用コストが安い Treasure Data、Big Query、Amazon Redshift 等の外部サービスを使うよりは安く済みます 自由度が高い 各サービスには容量をはじめ色々と制限があったり、こちらの要求仕様にマッチしない部分が少なからずありますが、自前の場合その辺は融
はじめに これは ドリコムAdventCalendar の7日目です 6日目は、keiichironaganoさんによる iTunes 使用許諾更新のとき一旦キャンセルしてほしい話 です 【その2】ドリコム Advent Calendar 2015 もあります 自己紹介 @ka_nipan 去年の ドリコムを支えるデータ分析基盤 に引き続き、今年もドリコムのデータ分析基盤を担当しています。 分析基盤をTreasure Dataに移行 オンプレ環境の Hadoop からTreasure Data に移行しました。 また、ジョブ管理ツールやBIツールといったサーバーもAmazon EC2 に移行しており、 徐々にオンプレ環境を離れつつあります。 背景 オンプレ環境で Hadoop を運用して3年も経つと考えなければならないのが HW の寿命です。 さてどうしようかとなった時に、ほぼ迷いなく外部
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く