メルカリのデータ分析基盤の紹介〜BigQuery周辺の話〜 | メルカリエンジニアリング
Mercari Advent Calendar 2017 の9日目はメルカリ SRE(Site Reliability Engineering) チームの @syu_cream がお送りします。 メルカリでは様々なデータを BigQuery に格納して、データ利用を可能にしています。 BigQuery に格納しているデータの具体例としては、 Web サーバや API サーバのアクセスログやアプリケーションのログ、 以前当ブログで紹介した Pascal のイベントログ などが挙げられます。 メルカリのデータ分析基盤に関する情報はこれまでに以下のようなブログやスライドで紹介しております。 Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 fluent-agent-hydraで省エネログ転送 メルカリのデータ分析基盤 / me
メルカリのデータサイエンスチームと分析エコシステムのはなし | メルカリエンジニアリング
※各プロダクト名の頭の”Google”は省略しています ※もちろん実際にはGoogle社のツール以外にも様々な分析用プロダクトが使われています 各ツールの詳細についてはWeb上の良質な情報がたくさんあるので、説明はそちらに譲るとして、ここではそれぞれの簡単な特徴とメルカリでの活用の仕方について主に述べていきます。 ◆ 1.BigQuery “弊社分析の中核的存在” 利用シーン： データの集計 どんなツールか Google BigQuery SQLの超速いやつ どんな大きなデータでも、複雑なクエリでも、高速で結果を返してくれる頼れるアニキ メルカリの分析での使い方 速いは正義 メルカリは多くのユーザを抱えているため、そのログデータも非常に巨大です。 そのため、通常のSQLでは計算に時間がかかりすぎるということが多々発生します。 BigQueryは とにかく「高速」の一言。なのでトライアンドエ
DMM inside
なぜDMMがweb3に参入したのか。Seamoon Protocolが目指す新たなエンタメ体験の未来とは
SaaSという巨人の肩の上に立つ - SmartNews Engineering Blog
こんにちは。スマートニュース株式会社の坂本 (@takus) です。 6月26日に開催された「インフラ系 SaaS カジュアルトーク at IPROS」 という勉強会で、「Why and How SmartNews uses SaaS?」というテーマでお話をしてきました。今回は、その内容についてご紹介いたします。 お話したこと 過去にも「インフラ専任エンジニアが一人もいない SmartNews におけるクラウド活用法」や「SmartNews Ads System - AWS Summit Tokyo 2015」で触れているように、スマートニュースでは、プロダクト開発において重要な部分にフォーカスするため、積極的に AWS のマネージドサービスや SaaS を利用しています。今回の発表では、より掘り下げた内容として「なぜ SaaS なのか」「どのように SaaS を使っているか」といったお話
BigQueryを簡単にグラフにするGoogle Apps Script : TORETA（トレタ） ブログ
アプリを作ると、ユーザなどへサービスを提供する部分以外に、管理画面やサービス統計などの裏方のページを作る必要がでてきます。
FluentdとGoogle BigQueryで遊ぶぞ！ - パルカワ2
という入門記事を書こうと思いましたが、最高の記事があったのでやめました。 こちらを参照すると良いです。 ちなみにこういうスクリプトをピッと書いたらデータが送れてることが確認出来ました。 use strict; use warnings; use Fluent::Logger; my $logger = Fluent::Logger->new( host => '127.0.0.1', port => 24224, ); $logger->post("access.log", { uri => "http://google.com", request => { addr => "test-addr", ua => "test-ua", referrer => "test-referrer", }, }); 触った感じ便利そうなので、なんかやりたい。 これも面白い感じがします。
第2回 システム部がデータ解析する理由とは──Googleアナリティクスとシステム部の役割
前回の記事では、Google の新サービス BigQuery の登場によるマーケティングの変化と、活用例、企業が取り組む姿勢についてまとめた。今回は、デジタルマーケティングの視点から、なぜいまデータ解析が必要なのか、ビッグデータとの関わりについてまとめていく。
Raspberry PiからFluentdでBigQueryにデータを送るウェザーステーションの作り方 - Qiita
最近なんだか個人的に電子工作ブームで、ついAmazonでRaspberry Piをポチってしまった。とりあえずウェザーステーション（気温・湿度・気圧を測るやつ）を作ってみた。 びろーんと伸びてるのは温度・湿度センサーDHT22で、基板上で青く光っているのが気圧センサーLPS331。丸くて黒いやつはなんとなくつけてみた圧電スピーカーで今回は使ってない。 そして、これらのセンサーデータを10秒おきにFluentd経由でGoogle BigQueryに送る簡単なPythonコードを書いた。Google SpreadsheetからBigQueryのクエリを実行して描いた俺の部屋のお天気環境グラフがこんな感じ。 単に1台分のグラフを書くだけならBigQueryにデータを入れる必要はなくてSpreadsheetに直接送れば済むのだけど、RasPi+Fluentd+BQの連携をいちど試してみたかったのだ
Google Enterprise Japan 公式ブログ: Google BigQuery を使って歴史事象パターンの関連を探しだす
2014年9月2日火曜日 Google BigQuery を使って歴史事象パターンの関連を探しだす 今年の6月、米国、ジョージタウン大学の Kalev Leetaru は 2.5 億レコードの完全な GDELT イベントデータベースが BigQuery で利用可能になったことを発表しました。このデータセットは、100 以上の言語に渡る世界中の放送、印刷、およびWebニュースメディアから配信された内容を監視するものです。これは世界で何が起こってるかを知ることができるデータベースです。 GDELT データベースは、BigQuery を通じてアクセスすることができます。2.5 億におよぶデータをリアルタイムでクエリ、さらに、掘り下げて調べることが可能です。BigQuery の使い方についてですが、GDELT では、相関を計算するために使っています。相関を計算すると、例えば、2011 年のエジプ
BigQuery と Google の Big Data Stack 2.0 - naoyaのはてなダイアリー
先日、有志で集まって「BigQuery Analytics」という書籍の読書会をやった。その名の通り Google BigQuery について書かれた洋書。 BigQuery を最近仕事で使い始めたのだが、BigQuery が開発された背景とかアーキテクチャーとかあまり調べもせずに使い始めたので今更ながらその辺のインプットを増やして以降と思った次第。 それで、読書会の第1回目は書籍の中でも Overview に相当するところを中心に読み合わせていった。それだけでもなかなかに面白かったので少しブログにでも書いてみようかなと思う。 BigQuery の話そのものも面白いが、個人的には Google のインフラが書籍『Google を支える技術』で解説されたものが "Big Data Stack 1.0" だとして、BigQuery は Big Data Stack 2.0 の上に構築されており
fluentdでnginxのログをElasticsearchとBigQueryに保存するお話 - ハウテレビジョンブログ
こんにちは。夏休みに長野に行って居酒屋で馬刺しをたらふく食べていたら 地元のおっさん人生の大先輩の絡み酒に付き合わされた祖山です。 4月に入社して以降、サーバサイドのWeb開発やスクラムの導入、サイト内検索の改善など様々な業務に 取り組んでいますが、最近の大きな案件としては、アクセスログ解析基盤の整備がありました。 nginxのアクセスログを分析しやすい環境を作るため、ElasticsearchとBigQueryにログを蓄積し始めたのですが、 その際に一番のキモとなるのは、みんな大好きfluentdです。 今回は、我々ハウテレビジョンがどのようにアクセスログを収集、保存しているのかについて、fluentdの設定を中心にご紹介します。 アクセスログ収集の目的 現在の我々のサービス環境を考慮すると、アクセスログの収集には下記2つの目的が存在します。 アクセス情報をもとにユーザーの行動を解析 閲
[社内向け]ぼくらの開発環境がベターになる（であろう）ツールたち - Qiita
社内チャットや連携 Slack Integrationと呼ばれるDockerhubリポジトリ的なものがユーザー間で流通していて、webhookなど使わずに簡単操作でサービス連携が可能っぽい。モダンなtodo管理環境などのイメージが沸いたらすぐ実行できるのでとても良い。 Qiita team マサカリ飛び交う世の中にではなくチーム内に散文を投げるときなどに良く、チャットに投下すると流されてしまったりノイズになったりする事例に対する解決策として良いと思われる。本来この駄文もQiita:teamに書かれるべきである。 継続的インテグレーション CircleCI 説明はココに譲る Wercker モダンなUIのOSSである。とにかく使いやすさと見た目の美麗さがある。そしてJenkinsのようにスクリプトを様々な場所に散在させず、ymlで設定できる点が強み。 参考：Githubのプライベートリポジト
![[社内向け]ぼくらの開発環境がベターになる（であろう）ツールたち - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/2f63ce6309028b087070a1ab3f776ddd6a1d5359/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJUU3JUE0JUJFJUU1JTg2JTg1JUU1JTkwJTkxJUUzJTgxJTkxJTVEJUUzJTgxJUJDJUUzJTgxJThGJUUzJTgyJTg5JUUzJTgxJUFFJUU5JTk2JThCJUU3JTk5JUJBJUU3JTkyJUIwJUU1JUEyJTgzJUUzJTgxJThDJUUzJTgzJTk5JUUzJTgyJUJGJUUzJTgzJUJDJUUzJTgxJUFCJUUzJTgxJUFBJUUzJTgyJThCJUVGJUJDJTg4JUUzJTgxJUE3JUUzJTgxJTgyJUUzJTgyJThEJUUzJTgxJTg2JUVGJUJDJTg5JUUzJTgzJTg0JUUzJTgzJUJDJUUzJTgzJUFCJUUzJTgxJTlGJUUzJTgxJUExJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xNDVhOTk5N2ZjY2YxYzM0NTUyYWM2NzA3NTliMGUzMg%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwc2d0biZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9Y2RhZmM3ZDQwMGE4MWY1YTkzYjc4ZmI4MzUzMDAyYjE%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D9ebbf6ae591035ea62b6e721080855ae)
BigQuery and the world after MapReduce
Tensor Processing Unit (TPU) Overview (July 6, 2018)
BigQueryにTwitterのタイムラインを入れる [Ruby]
Twitter のタイムラインを保存しておくとなにかと便利なので、色々と保存形式を変えながら 4 年くらい記録し続けている。ツイートの保存が便利すぎるので、ツイセーブというサービス化までした。かつてはテキストで、MongoDB や MySQL とか Groonga とかいろいろやってきた。どれも問題ないんだけど、増え続けるログデータを保存する場所として考えると BigQuery が現代にマッチしてるようなのでそちらに移行した。 BigQuery に TL を保存するとできること TL の全てのデータをフルスキャンできる。これはかなり便利で、今回このブログ記事を書くにあたっても ‘BigQuery’ を TL から検索すれば、信頼できるフォローイングの人々の声を見ることができた。これにより「某 CA 社では 5000 台の MongoDB クラスタで BigQuery に対抗している」という
![BigQueryにTwitterのタイムラインを入れる [Ruby]](https://cdn-ak-scissors.b.st-hatena.com/image/square/eb99bf7e3074ef0fe5df0ca25a644e696c62ad78/height=288;version=1;width=512/https%3A%2F%2Fs3-ap-northeast-1.amazonaws.com%2Fkksg%2Fblog%2F53b4ac19c38aa5513f47ea75.png)
fluentdとDockerとBigQueryで1時間でビッグデータ解析基盤を作る - Qiita
最近話題のDockerやGoogle Cloud Platformを用いて大規模データのための解析基盤を作ります。今回はデータソースとしてTwitter Streaming APIを利用しますが、アクセスログなどに応用することももちろん可能です。コードは一行も書きません。解析基盤をつくためにマシンを用意する必要はもちろんありません。 BigQueryについては、 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja が参考になります。 利用するプロダクト/サービス Google Cloud Platform Google Compute Engine BigQuery Docker fluentd fluent-plugin-twitter fluent-plugin-bigquery Twitter Streamping API 想
FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita
Googleの虎の子BigQueryをFluentdユーザーが使わない理由はなくなったとのこと。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita よし、Google BigQueryを使って超高速ログ解析だ!!!!と思っているとそこまでの道のりは長かった。 Google BigQueryの環境を構築する Google BigQueryはGoogle Cloud Platformのサービスの1つである。Google Cloud Platformには様々なサービスがあり、統合されているような、されていないような作りになっている。AWSのWebインターフェースも難しいけど、Google Cloud Platformもよくわからないので覚悟してかかろう。公式のドキュメントも記述が古いときもあるので疑ってかかろう。 プロジ
Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita
From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluentd Meetupのデモでは9億件を7秒程度で検索していたが、BigQueryの真の実力はこれより1〜2ケタ上だからだ。ちょっと手元で少し大きめのテーブルで試してみたら、120億行の正規表現マッチ付き集計が5秒で完了した。論より証拠で、デモビデオ（1分16秒）を作ってみた： From The Speed of Google BigQuery これは速すぎる。何かのインチキである（最初にデモを見た時そう思った）。正規表現をいろいろ変えてみてもスピードは変わらない。つまり、インデックスを事前構築できないクエリに対してこのスピードなのである。 価格も安い。さすがに120億行のクエリは1回で200円もかかって気軽に実行できなさそうであるが、1.2億
［速報］Google、AWS対抗をあらわにした値下げと新価格体系を発表。継続利用で自動値引き
Googleは3月25日（日本時間3月26日早朝）にイベント「Google Cloud Platform Live」を開催。クラウドに関する新価格および新価格体系を発表しました。 発表では名指しはしないものの、つねにAmazonクラウドよりも安価かつシンプルなものであることが強調されており、Googleがクラウド市場において本気で攻めの姿勢を見せたことが強く印象付けられました。 特に標的となったのが、予約金を払うことで利用料金が安くなる「リザーブドインスタンス」と、データ分析サービスの「Amazon Redshift」。リザーブドインスタンスについては、クラウドの価格体系を複雑にしていると切って捨て、よりシンプルな価格体系として継続利用値引きを提示。Amazon Redshiftに対してはBigQueryの大幅値下げと処理性能の向上で対抗しています。 クラウドの価格もムーアの法則に従うべき
「Google アナリティクス」とビッグデータ分析基盤「BigQuery」が連携、どうなる？これからのウェブ解析
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigQuery読書会#2資料