2019/04/25に開催された『データ分析基盤Developers Night〜3社3様分析基盤の変遷〜』の講演資料です。
ナビタイムジャパンに集まる移動ビッグデータの分析基盤
2019/04/25に開催された『データ分析基盤Developers Night〜3社3様分析基盤の変遷〜』の講演資料です。
Data Engineering at SmartNews
2019年3月8日のMachine Learning Casual Talks #9で話した資料です https://mlct.connpass.com/event/120451/
cookpad storeTV の広告配信を支えるリアルタイムログ集計基盤 - クックパッド開発者ブログ
こんにちは。メディアプロダクト開発部の我妻謙樹（id:kenju）です。 サーバーサイドエンジニアとして、広告配信システムの開発・運用を担当しています。 今回は、cookpad storeTV （以下略：storeTV ）の広告商品における、リアルタイムログ集計基盤の紹介をします。 storeTV における広告開発 storeTV とは？ storeTV は、スーパーで料理動画を流すサービスで、店頭に独自の Android 端末を設置し、その売り場に適したレシピ動画を再生するサービスです。 より詳しいサービス概要にについては、弊社メンバーの Cookpad TechConf 2018 における以下の発表スライドを御覧ください。 storeTV における広告商品の概要 storeTV では、imp 保証型の広告商品を提供予定です。imp 保証型の広告商品とは、例えば「週に N 回広告を表示す
メルペイ DataPlatform Team の設立とその背景 | メルカリエンジニアリング
こんにちは。入社してかれこれ 1 年経過した @syu_cream です。本記事では、メルペイにおけるログ収集の基盤となるチームの設立と、それに至った背景や課題感についてお伝えできればと思います。 基本的な背景は以前の記事で紹介させて頂いた通りなのですが、メルペイでは「信用を創造して、なめらかな社会を創る」ミッションを掲げ、それに則したサービスの展開の準備をしております。 また、メルカリにおけるプロダクト開発の課題感の文脈を受け継ぎつつ、メルペイとしてプロダクト開発をスピード感を持って実施していくために、プロダクトの機能はマイクロサービスアーキテクチャに従って行っています。 tech.mercari.com しかしマイクロサービス化は一言で言えるほど単純なことではないと考えています！マイクロサービスを運用するための技術スタックの変更や、マイクロサービスの境界線をどこに引くか、どのような責務
月間4.8億ユニークブラウザ、9,000万広告ID 国内最大級のDMPが語る、Treasure Dataの使い方
月間4.8億ユニークブラウザ、9,000万広告ID 国内最大級のDMPが語る、Treasure Dataの使い方 AudienceOneにおけるTreasureData活用方法 2018年5月23日、トレジャーデータ株式会社が主催するイベント「PLAZMA Data Engineer Day:TD Tech Talk」が開催されました。2日間に渡って、TreasureDataを活用する各企業が、運用上の知見やヒントを共有する本イベント。2日目となるDate Engineer Dayでは、カスタマーデータプラットフォームのTREASURE CDPを活用し、常日頃の課題をどう解決しているのか、企業の担当者たちがそのアイデアを披露します。プレゼンテーション「AudienceOneにおけるTreasureData活用方法」に登場したのは、デジタル・アドバタイジング・コンソーシアム株式会社の河原亮介
分析と改善 Gunosyの大規模ログ解析を支える2つのアーキテクチャの裏側
2018年6月22日、Architecture Nightが主催するイベント「Architecture Night #1」が開催されました。単一のAPIではなく、複数のAPIが絡まって成立するような複雑性の高いアーキテクチャをどのように構成し、運用しているのか？ 各社が自社の知見を披露します。第1回となる今回は、Gunosyとサイバーエージェントの2社が登壇し、自社で用いられるアーキテクチャを紹介します。プレゼンテーション「Gunosyのログ収集基盤」に登壇したのは、株式会社Gunosy、開発・運用推進部 SREの茂木大夢氏。ニュースアプリGunosyのログ収集基盤で用いられる大規模アーキテクチャについて解説します。 グノシーのアクセスログ解析基盤 茂木大夢氏（以下、茂木）：「グノシーのアクセスログ解析基盤」というタイトルで発表させていただきます、茂木と申します。mgi166という名前でや
リクルートライフスタイルが考える、万人に使ってもらえる分析基盤の作り方
リクルートライフスタイルでは大小３０ほどのサービスを提供しており、それらのデータを横断的に分析出来る分析基盤を有しています。 データの利活用が推進されている昨今ですが、分析基盤を作っただけでは分析者はなかなか使ってくれません。 また、使っている分析者の要求は日々増していきます。 継続的に使ってもらえる分析基盤を構築、運用するためにはどのようにすれば良いのか？ 弊社の事例を踏まえて紹介させていただきます。 リクルートライフスタイル 山田 雄(ヤマダ ユウ)Read less
なぜデータ基盤を作ったのか？「ゼクシィ縁結び・恋結び」で必要になった理由
システム、プロセス、カルチャーをいかにエンジニアリングするか 本連載『開発現場に“データ文化”を浸透させる「データ基盤」大解剖』では「データ基盤」の構築事例を紹介します。具体的には、オンライン婚活サービス「ゼクシィ縁結び」ならびにその姉妹サービス「ゼクシィ恋結び」の開発現場において、筆者が実際に行ったことを題材としています。 データ基盤を実際に構築するのは容易ではありません。構築したデータ基盤を実際に利用し続けてもらうのはさらに難しいことです。 多くの関係者がデータを加工すると、似ている意味を持っていても微妙に異なるデータが生成されてしまい、どのデータが正しいのか誰も分からなくなってしまいます。きちんと全員に使われるためにはデータの持つ意味や加工ロジックを誰かが整理しなければいけません。 また、モダンなツールを使って派手なダッシュボードを構築しても、それだけでは1週間後には誰も見なくなって
S3に保存したログファイルをストリーム処理するサーバーレスアプリケーションの紹介 - クックパッド開発者ブログ
インフラストラクチャー部セキュリティグループの水谷(@m_mizutani)です。 クックパッドでは現在セキュリティ監視の高度化に取り組んでおり、その一環としてセキュリティ関連のログ収集およびその分析に力を入れています。ログ収集の部分では可用性などの観点からAWSのオブジェクトストレージサービスであるS3に一部のサービスやサーバのログをまず保存し、後から保存されたファイルを読み込んで分析などに利用しています。分析のためにS3に保存したファイルを前処理する方法としてAWS Glueなどを用いたバッチ処理がありますが、到着したログをなるべくストリームデータのように扱いたい場合もあります。特にセキュリティ関連のログでは以下のようなユースケースで利用しています。 アラートの検出: ログを検査してその中から危険度の高いと考えられるログを探し出し、アラートとして発報します。アラートの具体的な例としては
データの民主化とサービスレベルについて話しました＠分析基盤Meetup #shinjukugl - 下町柚子黄昏記 by @yuzutas0
セプテーニ・オリジナル様が主催する新宿Geek Lounge#4 分析基盤MeetupでLTをしました。 スライド 『データ基盤を支える民主化とサービスレベル』 「いかにビジネス価値を最大化し続けるか」という本来の目的から、データ基盤1を見直すキッカケになればと思います。 PyCon JP 2017でベストトークアワード優秀賞を受賞した発表（構築編）の続き（運用編）をチラ見せです。 データ基盤は使われてこそ意味がある 世の流れは「やってみた」から「価値創出・運用」志向に推移しています（例：DataOps、機械学習工学、MLOps） 「俺の考えた最強のダッシュボード」では1週間で誰も見なくなります データの民主化 事務スタッフ（非エンジニア）がBigQueryを叩いています！すごい浸透！ チームごとの民主化状況をモニタリングして必要なアクションを実施しています 民主化には3つの壁があることが
スタディサプリを支えるデータ分析基盤 ～設計の勘所と利活用事例～
The document is comprised of technical documentation copyrighted by Recruit Marketing Partners Co., Ltd. It includes code snippets and configuration examples for tools like AWS Lambda, Kinesis, Presto, Hive, Embulk and Treasure Data. The documentation provides guidance on building data pipelines, ETL processes, and reporting solutions using these technologies.Read less
Kafka/Fluentd/Sparkを用いたデータ分析基盤の運用話 by ペンギン愛好家 さん - niconare
新宿Geek Lounge#4 分析基盤Meetup ver2での発表資料です。 https://shinjuku-geek-lounge.connpass.com/event/83127/
アプリを成長させるためのログ取りとログ解析に必要なこと
DroidKaigi2018の講演の「アプリを成長させるためのログ取りとログ解析に必要なこと」の発表資料です。Read less
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Registration: Machine learning & data conference | O'Reilly Strata
How SimilarWeb analyze hundreds of terabytes of data every month with Amazon Athena and Upsolver | Amazon Web Services
Gunosy のログ収集基盤
セキュリティログ分析基盤の構築 on AWS - Speaker Deck
Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp // Speaker Deck
データ基盤を支える民主化とサービスレベル #shinjukugl // Speaker Deck
ウェブサービスにおける行動ログ活用基盤を通したデータ駆動マーケティングの実践 / Practice of data driven marketing using behavior log foundation system on web service
