第48回データマイニング+ WEB @東京（#TokyoWebminig 48th）- AWS上での分析基盤アーキテクチャ最前線祭り-「SmartNews の Webmining を支えるプラットフォーム」 speaker: Yuhei Nishioka @SmartNews
Cloud DatalabとBigQueryを使ったアドホックデータ解析
第48回データマイニング+ WEB @東京（#TokyoWebminig 48th）- AWS上での分析基盤アーキテクチャ最前線祭り-「SmartNews の Webmining を支えるプラットフォーム」 speaker: Yuhei Nishioka @SmartNews
Private Presentation
Private content!This content has been marked as private by the uploader.
データ分析基盤としての BigQuery 運用のベストプラクティス - ZOZO TECH BLOG
あけましておめでとうございます。データサイエンティストの金田です。現在 iQON では、データ分析の基盤として BigQuery を利用しており、データ分析や計算負荷の高いバッチ処理等に活用しています。しかしながら、通常のデータベースとは若干異なる点があり、効率的な運用ができるまでに様々な試行錯誤がありました。今回はそれらの試行錯誤によって得られた知見をベストプラクティスとして紹介したいと思います。 ログデータのテーブル名に日付を入れる BigQuery でログを保存する場合は、テーブル名の最後に yyyymmdd 形式で日付を入れることをお勧めします。理由は二つあり、１つ目はスキャン対象となるデータ量を抑えられるため、２つ目が Web UI でのテーブル管理が容易になるためです。 処理データ量の抑制 まず、スキャンするデータ量を抑えられるという点ですが、BigQuery ではクエリを発行
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
