ペパボのログ活用基盤「Bigfoot」を Google Cloud Platform に移設しました - ペパボ研究所ブログ
研究員の @zaimy です。ペパボ研究所では、自社が運営するウェブサービスのユーザーの行動ログや属性情報を収集・分析・活用するための全社基盤「Bigfoot」を技術基盤チームと協力して開発・運用しています。 Treasure Data をバックエンドとして2016年に運用を開始したこのシステムを、今年 Google Cloud Platform（以下 GCP）を中心とした構成に移設しました。この記事では移設に至った理由、移設時の工夫、移設後の構成などについてお話します。 目次 Bigfoot とは 移設前の構成と移設に至った経緯 GCP の選定理由 BigQuery の存在 AI Platform の存在 コスト 移設時の工夫 データウェアハウスの並行運用 ワークフローの二段階移行 行動ログのスキーマ設計 移設後の構成 bigfoot/platform bigfoot/cloud-com
新しいアンケートシステムをつくった（Digdag・Embulk・BigQueryデータ同期編） - エムスリーテックブログ
「作れないものがない」アンケート作成システムを作成した、エムスリーエンジニアリンググループの岩本です。 今回は「新しいアンケートシステムをつくった（Goとシステム概要編）」のバッチ部分について説明します。 概要 アンケートシステムのIbisの内部表現として設問があります。例えば下記のように設問が定義されているとき 設問ID設問タイトルカラム名 1年齢age 2好きな食べ物favorite_food 分析時にTableauから参照するBigQueryでは、回答テーブルとして以下のように見えると処理しやすくなります。 回答番号agefavorite_food 137カレー 232スパゲッティ つまり、前回、滝安(@juntaki)が説明したとおりIbisで「設問の作成」を行うと、分析する際のカラムが1つ増えることになります。 縦持ちとなっている「設問」の情報を横持ちに変換し、BigQueryの
Real Time Data Engineering Pipeline for Machine Learning -
Our focus in this post is to leverage Google Cloud Platform’s Big Data Services to build an end to end Data Engineering pipeline for streaming processes. So what is Data Engineering? Data Engineering is associated with data specifically around data delivery, storage and processing. The main goal is to provide a reliable infrastructure for data which includes operations such as collect, move, store
AWS DevDay Tokyo 2018 Database トラック資料公開 | Amazon Web Services ブログ
Amazon Web Services ブログ AWS DevDay Tokyo 2018 Database トラック資料公開 Database フリークな皆様、こんにちは！AWS DevDay Tokyo 2018 Database トラックオーナーの江川です。 2018 年 10 月 29 日（月）〜 11 月 2 日（金）にかけて、AWS DevDay Tokyo 2018 が開催されました。本記事では、11/1(木)に実施された Database トラックのセッション資料をご紹介します。 セッション資料紹介に先立ち、お客様セッションとしてご登壇いただいた、Sansan株式会社間瀬様、株式会社ソラコム安川様、Amazon Pay 吉村様にお礼申し上げます。併せて、ご参加いただいた皆様、ストリーミング配信をご覧いただいた皆様ありがとうございました。 ●お客様セッション資料 AWSサービ
メルカリのデータ分析基盤の紹介〜BigQuery周辺の話〜 | メルカリエンジニアリング
Mercari Advent Calendar 2017 の9日目はメルカリ SRE(Site Reliability Engineering) チームの @syu_cream がお送りします。 メルカリでは様々なデータを BigQuery に格納して、データ利用を可能にしています。 BigQuery に格納しているデータの具体例としては、 Web サーバや API サーバのアクセスログやアプリケーションのログ、 以前当ブログで紹介した Pascal のイベントログ などが挙げられます。 メルカリのデータ分析基盤に関する情報はこれまでに以下のようなブログやスライドで紹介しております。 Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 fluent-agent-hydraで省エネログ転送 メルカリのデータ分析基盤 / me
Jupyter だけで機械学習を実サービス展開できる基盤 - Tech Blog - Recruit Lifestyle Engineer
こんにちは、CET チームの田村です。データ基盤を構築・運用したり、チャットボット（スマホ用です）を開発したりしているエンジニアです。 皆さん、実サービスで機械学習、活用できていますか？ 正直、難しいですよね。高精度なモデルを作ること自体も難しいですが、実際のサービスにそれを組み込むには、そこからさらに数々の難所が待ち構えているからです。 でも、そのほとんどはエンジニアリングで解消できます。 私たちのチームでは、数年にわたる経験をもとに難所とその対処法を整理し、すばやく成果をあげられる機械学習基盤を開発しはじめました。 本記事では、この基盤の設計とその背後にあるアイデアをご紹介します（機械学習工学研究会の勉強会での発表資料がベースです）。 イテレーションを何度も回せ 基盤そのものの前に、まず機械学習を成果につなげるためのポイントを説明させてください。 私たちは、機械学習の活用において必要な
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - wooga/airconditioner: Yaml based DAG configurator for Apache Airflow
Wantedly の機械学習プロダクト開発を支える機械学習基盤 / #d3m
作らない分析基板のススメ/DWH For Startup With YAGNI - Speaker Deck
リクルートライフスタイル流！分析基盤との賢い付き合い方