Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 | メルカリエンジニアリング
エンジニアではなくプログラマと呼ばれたい@cubicdaiyaです。今回はメルカリのログ分析基盤のお話です。 メルカリにおけるログデータ分析 メルカリでは初期の頃からログデータの分析をサービスの成長にとって重要なタスクとして位置づけ、そのための基盤作りに取り組んできました。ログの種類はいくつかありますが、中でも代表的なのがアプリケーションサーバで出力されるアクセスログやアプリケーション固有のログです。これらのログはサイズが大きいので効率良くログデータを転送するための工夫が必要になります。そこで活躍するのがFluentdです。 大雑把に説明するとアプリケーションサーバで出力されたログはFluentdから最終的にBigQueryやTreasure Dataといったクラウドサービスに転送されます。(上記の図は非常に簡単に済ませていますが、実際にはログの中継やフィルタリングをするためのFluent
Google Cloud、SQL文で機械学習ができる「BigQuery ML」を提供開始
Googleは2018年7月25日（米国時間）、Google Cloud Platform（GCP）で、ユーザーがSQL文を書くことにより機械学習が実行できる「BigQuery ML」を、ベータ版として提供開始したと発表した。 Googleは2018年7月25日（米国時間）、Google Cloud Platform（GCP）で、ユーザーがSQL文を書くことにより機械学習が実行できる「BigQuery ML」を、ベータ版として提供開始したと発表した。 Googleは新機能を、同社がGCPで進める「AIの民主化」の一環だと説明した。「データを活用した機械学習あるいは予測分析が、RやPythonの書ける人たちだけしかできないのでは、人材不足を解消できず、ビジネスの現場における機動的なデータ活用も妨げられる」としている。 GoogleはAIの民主化への取り組みとして、「Cloud AutoML」
OSSのデータ可視化ツール「Metabase」が超使いやすい - Qiita
Metabase、まじでイケてる。 1日で、Re:Dashから乗り換えました。 Metabaseとは OSSのデータ可視化ツール。Re:Dashとかと同じ類。 AWSとかに乗せて、誰もが見れるダッシュボードを作ったりする時に使うと、俺かっけーってなります。 スクリーンショット 実際に社内で運用している様子をモザイク付きでお見せします。 毎日みているダッシュボード。これの4倍くらいの数値見てる。 ダッシュボードの編集。マウスで簡単に位置や大きさの変更ができる。 クエリビルダー的なやつがあり、グルーピングとか超絶便利。SQL書けない人でも、単一テーブルとかだったら余裕かと。 グラフ化も簡単。 SQLでのクエリ編集画面。ちゃんと補完してくれる。 Metabaseの良い所 見た目が格好いい。 インストールが簡単。 openjdk-8-jdk入れて、jarファイル置くだけ。 豊富なデータソースに対応
アプリ開発をするなら使いたいおすすめサービス集 - pixiv inside
こんにちは、創作物のC to C ECサービス『BOOTH』のスマートフォンアプリ(以下BOOTHアプリ)ディレクターを担当しているwatasukeです。 私は2017年4月に入社して、当時開発中だったBOOTHアプリを担当することになりました。(8月中旬にリリースされています！ぜひダウンロードしてください。) ■BOOTHアプリ アプリのディレクションをするのは初めてでしたので、アプリの世界観や技術・周辺サービスを調査するところからはじめましたが、これが意外と難航しました。 アプリは新しい形態であるためか、「Webのアクセス分析だったらGoogle Analytics」というような「とりあえずこれ」というものがわかりにくいように思います。一方で、市場規模や期待度、開発コストは非常に大きいので、小さく失敗することもしにくく、なかなか悩まされました。 そこでこの記事では、いろいろなサービスを
ELT時代のワークフローにはData Lineage Trackerが重要になりそう | Secret Ninja Blog
ELT(Extract Load Transformation)が一般的になり、データの整形を行ったり、名寄せをしたり、非正規化をしたり、といったことをクラウドのSQLエンジン（BigQuery, Redshift, TreasureData, EMRなど）上で行うことも普通になってきた。 このときにSQLで冪等にワークフローを組むことを考えると、中間テーブルをReplaceしつつ色んな処理をするのが手っ取り早いので、 テンポラリの中間テーブルが数十といった単位で作られる様になってきた。 また、データ分析も1サービスの分析だけでなく、複数のサービスを横断して分析する必要が出ており、またその時のログを集めるにも多種多様なSaaSを利用して、収集するのが一般的になってきた。 イメージ図（SAP Hanaの資料だけれども。） Ref. https://blogs.sap.com/wp-conte
メルカリのデータサイエンスチームと分析エコシステムのはなし | メルカリエンジニアリング
※各プロダクト名の頭の”Google”は省略しています ※もちろん実際にはGoogle社のツール以外にも様々な分析用プロダクトが使われています 各ツールの詳細についてはWeb上の良質な情報がたくさんあるので、説明はそちらに譲るとして、ここではそれぞれの簡単な特徴とメルカリでの活用の仕方について主に述べていきます。 ◆ 1.BigQuery “弊社分析の中核的存在” 利用シーン： データの集計 どんなツールか Google BigQuery SQLの超速いやつ どんな大きなデータでも、複雑なクエリでも、高速で結果を返してくれる頼れるアニキ メルカリの分析での使い方 速いは正義 メルカリは多くのユーザを抱えているため、そのログデータも非常に巨大です。 そのため、通常のSQLでは計算に時間がかかりすぎるということが多々発生します。 BigQueryは とにかく「高速」の一言。なのでトライアンドエ
BigQueryとスプレッドシートとGASと。 - Qiita
BigQueryのフロントエンド BigQueryを使っていてフロントエンドのアプリケーションは何を使っているのか良く聞かれる。もちろん、BigQueryのwebインターフェイスでクエリを作って、CSVでダウンロードとかも良いと思うのですが、やっぱりちょっと違うなぁと。 どんなものがあるのでしょうか？ BigQueryの公式にはこんなものがありました。 https://cloud.google.com/bigquery/third-party-tools?hl=ja Tableau Googleの中の人も使ってるぐらい良いものです。 私自身も何度か使っているのですが、やっぱり良いです。ただし、複雑なことしたいなぁと思うととんでもなく遅くなったり。 後ほど書きますけど、Viewなんかで回避すれば良いし、ローカル（もしくはサーバ）にキャッシュデータを持っておけばかなり使えます。便利だし、可視化
BdashというBIツールをリリースしました - hokaccha memo
BdashというアプリケーションをElectronで作りました。 bdash-app/bdash: A simple business intelligence application. 以下からダウンロードしてインストールできます（現状まだMac版だけ）。 https://github.com/bdash-app/bdash/releases ざっくりとこんな感じのことができる。 SQLを書いて保存＆実行できる 結果を元にグラフを書ける gistで共有できる 現状で対応しているデータソースはMySQL、PostgreSQL（Redshift含む）、BigQuery 仕事でRedshiftを使って分析SQLを書くことが増えて、手元ではJupyter Notebookを使ってたんだけど、SQL書いてグラフを書くだけの用途には若干オーバースペックでもうちょっと簡単にできるといいなと思ったのがき
どのプログラミング言語で幸せなコメントor怒りのコメントが多いのかランキング
By Paul Inkles プログラマー向けQ＆Aサイト「スタック・オーバーフロー」では、さまざまなプログラミング言語に関する質問が投稿されているのですが、「ありがとう」などの幸せなコメントが多い言語ランキング、および「間違っている」「ばか」などの怒りのコメントが多い言語ランキングがBigQueryによって作成されています。 Which programming languages have the happiest (and angriest) commenters? https://hackernoon.com/which-programming-languages-have-the-happiest-and-angriest-commenters-ebe91b3852ed#.ldhgeh73j ◆幸せなコメントが多いプログラミング言語ランキング スタック・オーバーフローのコメントテー
チームを動かすデザイナー
Cookpad is developing a new iOS/Android app called Campfire Design #1. The app was created in 2015 and currently has 350 monthly active users and 47,000 total downloads. While the app functions well, the company is seeking a UX/UI designer to improve the visual design using tools like inVision and Flinto on Mac as well as React Native. Interested designers can apply for an open position on Cookpad
何をやっていたら「CTOになってしまった」のか
Repro.inc CTO Tomohiro Hashidate / joker1007 プロフィール joker1007 神戸大学 法学部卒 SIerから小規模な受託開発会社を経てフリーランスへ 2015/10ぐらいからフリーランスとしてReproに 2016/7からReproのCTO (3ヶ月ちょい ) パーフェクトRuby, パーフェクトRuby on Rails 共著者 人生における大事なことは「ジョジョ」に学んだ 今日話さないこと 組織論 チームマネジメント 業務フロー改善 スタートアップっぽい苦労話 今日話すこと 技術でビジネスを支えるとは そのために今まで為し遂げてきたこと 何を使って 何を解決したか (何をやった結果CTOになってしまったか ) プログラマーとしての姿勢 自分はマネージャーではない バリバリコード書いてるプログラマー では、CTOという肩書で何をやっているの
83億レコードを移行し、日々2,500万レコードのアクセスログをBigQueryに記録している話（インフラ編） - Money Forward Developers Blog
こんにちは。 インフラエンジニアの村上です。 マネーフォワードのインフラチームは、サービスに関わるインフラから、自社の作業環境、開発環境、さらにはサービスのインフラの中でも物理的なものからOS・ミドルウェア・アプリケーションのメンテナンス・ビルド・リリース・運用まで幅広く関与しています。 今回はGoogle Cloud PlatformのBigQueryを活用してアクセスログの分析環境を構築した時の話を紹介します。 この記事に書かれる事 データ分析基盤としてBigQueryを使用した話と データ量を例示しながら使用を開始した時のトラブルシュートとパフォーマンスについて紹介する。 データ移行のコツもうまく含めながら書いていく。 BigQueryを採用した訳 マネーフォワードの家計簿は350万人以上のお客様に利用いただき、 アクセスログは日々2.500万件程度増えております。 サービス開始から
BigQueryで150万円溶かした人の顔 - Qiita
※ かなり前の記事ですが、未だに引用されるので一応追記しておきます。タイトルと画像がキャッチーなのはちょっと反省していますが、これを見てBigQuery使うのを躊躇している人は多分あまり内容を読んでいないので気にする必要はないです。自分は当時の会社でも今の会社でも個人でも普通にBigQuery使っていて解析用データなどはBigQueryに入れる設計をよくしています。また、アドベントカレンダーだったのでネタっぽく書きましたが事前に想定できる金額です。 ※ 代役：プロ生ちゃん（暮井 慧） 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかし、使い方によってはかなり大きな金額を使
伊藤直也氏が語る、分散アプリケーションアーキテクチャの現在 ～Reactive SystemとMicroservices【デブサミ秋2015 基調講演レポート】
ストリームデータを即時にWebに反映する「リアルタイムWeb」は、TwitterやFacebookなどが普及したことでそう目新しい技術ではなくなった。しかしその実装は、まだまだ力業でなされていることが課題だ。「Developers Summit 2015 Autumn」のKaizen Platform 伊藤直也氏によるセッションでは、リアリタイムWebを実現する分散アプリケーションアーキテクチャの昨今について、「Reactive System」と「Microservices」という2つのキーワードから読み解かれた。 Kaizen Platform 技術顧問 伊藤直也氏 講演資料「分散アプリケーションアーキテクチャ 2015」 ストリーム処理は現状、まだまだ力業で乗り切っている まず、かつては大量トラフィックとデータを、どのように処理していただろうか。LAMP環境を作り、RDBにデータを溜め
Quipper の DevOps のお仕事と技術的課題 - hakobera's blog
技術的課題を書くと、それを解決してくれるエンジニアが採用できるって話は本当ですか？というのは冗談としても、今の技術的課題をブログにまとめて公開するノーガード戦法も良いかと思う。— Kazuyuki Honda (@hakobera) May 25, 2015 このツイートがそれなりに反応があったので、有言実行してみる。 最初に書いておくと、これはQuipperの採用のための記事です。Quipper では下記のようなお仕事、技術的課題の解決に興味がある DevOps エンジニアを絶賛大募集しております。興味のある方は、Wantedlyの募集ページ から「話を聞きに行きたい」をクリックしてみてください。応募までは行かないけど、もっと詳しい聞いてみたいという方は私個人にでも良いのでご連絡ください。（Twitter で @hakobera にメンション or DM、または hakoberaアットg
メルカリでのNorikraの活用、 Mackerelを添えて
世界中のオンラインゲームやスマフォアプリの分析をしてきたPlayFab。最近、従来のイベント分析に加えて様々なテレメトリーを包含したクラウド分析機能が備わりました。今回は、その裏の Azure Data Explorer a.k.a Kusto での構成や仕組みをご紹介します。Windowsのテレメトリー分析やAzureのログ解析基盤の裏側と共通した仕掛けが含まれているのでお楽しみに！ゲーム業界に限らず、ビックデータ運用を考えている大規模なSaaS事業やIoT事業にもご参考いただけたら幸いです。 at db tech showcase ONLINE 2020 https://db-tech-showcase.com/dbts/2020/online #dbts2020 #gamestackjp ＊本資料は ２０２０年１１月１１日に開催された DB Tech Showcase イベントにてお
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHubのすべてのオープンソースプロジェクトがGoogle BigQueryで検索可能に
BigQuery が Google Drive と統合
クラウド破産しないように git-secrets を使う - Qiita
TechCrunch | Startup and Technology News
