はじめまして。サーバサイドエンジニアの前西と申します。主にETL処理*1のバッチ開発を行っています。 マイクロアドでは、広告配信ログやアクセスログなどのデータを元にして、様々な加工を行った上で蓄積を行なっています。 今回の記事では、私が普段業務で扱っているデータの蓄積処理について、生ログが加工されてデータの利用者側へと渡るまでの流れをご紹介できればと思います。 データ基盤 以前の記事でも紹介されていますが、マイクロアドではデータ基盤にHadoopを利用しています。 developers.microad.co.jp 下図のように、Kafkaに集約された数TB規模の広告配信ログ・アクセスログはFlumeでHadoopクラスタへと転送された後、Hadoop内で加工や集計などの処理が行われています。 ログ変換 HadoopではJSON形式の生ログからParquet形式のデータへの変換がまず行われま
GCP環境にCloudera Altus Directorを入れてみた話 - MicroAd Developers Blog
Distributed computing (Apache Spark, Hadoop, Kafka, ...)のカレンダー | Advent Calendar 2019 - Qiita の 2日目（12/2）の記事になります！ qiita.com インフラエンジニアのN村です。子育て中につき時短で勤務中です。 今日は、育休開け早々にGCP環境にCloudera Altus Directorを導入した時の話をします。 なぜCloudera Altus Directorを？ なぜGCPに？ 前提 導入ステップ Directorでのデプロイ作業のなかで出てくる用語 「Environment」 「Deployment」と「Cluster」 「Instance Template」 悩んだ点 プリエンプティブルVMの使用 スペックについて Clouderaのドキュメントについて 良かったこと 最後に
京都研究所・TechLabの田中です。マイクロアドでは、先日正式提供を開始した*1UNIVERSE Adsの開発と並行して、UNIVERSE Adsのサービス監視用の基盤も整備してきました。 今回はそんなUNIVERSE Adsの監視基盤の概要をご紹介します。 サービス監視の必要性 監視対象となるサービスの構成 サービス監視の方針 監視基盤の構成 データの収集 ストレージ 可視化 アラート 監視の監視 最後に サービス監視の必要性 UNIVERSE Adsは、24時間365日稼働しており常に大量のトラフィックを高速に処理する大規模システムです。このシステムは、互いに疎結合な関係にある100個以上のコンポーネント（マイクロサービス）から構成されています。そのUNIVERSE Adsがサービスとして正常に機能していることを常に監視するには、ヒトによる目視確認だけは到底不十分で、監視用のシステム
はじめに マイクロアドでサーバサイドエンジニア 兼 システム開発部の副部長をしている奈良橋です。 今回は社内運用が(わずかにですが)安全になるようなChrome拡張機能を作成しました。 この経験を通じて（差し出がましく恐縮ですが） わずかな手間でもChrome拡張機能が作成できるといった知見や、様々なWebUIを安全に運用するためのきっかけを提供させて頂きます。 ※ 本ブログの内容はDigdagのWebUIを例に書かれていますが、WebUIが存在するものは全般応用できるものになっております。 話のきっかけ 軽く前提にも触れますと、マイクロアドではバッチ処理のワークフローやジョブスケジューラーとしてDigdagを利用しています。 ※マイクロアドでのバッチ開発を詳しく知りたい方はこちら developers.microad.co.jp プロダクション環境での利用はもちろんですが、検証環境用とし
Container/Presentational Component パターンの導入検討 - MicroAd Developers Blog
はじめに アプリケーションエンジニアの Edy です。 今回は、Vue.js での開発する上で、メンテナブルな設計するために、「Container/Presentational Component パターン」を部分的に適用できないか検討した話となります。 「完全に理解」して、少しでも設計力に活かしていきたい所存です。部分的に自身の意見も取り入れつつ考えていきます。 ダニング・クルーガー効果 はじめに きっかけ コンポーネント実装のコストパフォーマンスの悪さ コンポーネントを読み解くことによる疲労蓄積 Container / Presentational パターンとは？ Container Component Presentational Component 切り分け方法 実際の画面 UI にデザインパターンを適用してみる 設計する上で意識したこと まとめ - 構成を変えてどこにメリットを実
Pythonアプリから参照するデータをMySQLからBigQueryへ切り替える - MicroAd Developers Blog
はじめに マイクロアドでサーバサイドエンジニアをしているタカギです。 今回はPythonアプリから参照するデータをMySQLからBigQuery1へ切り替えた話になります。 背景 マイクロアドでは様々なデータを扱っています。 広告配信で発生するログはCDH2に蓄積および集計され、その後MySQL、Redis、分析用CDHクラスタ、BigQueryなど別のデータベースに転送され、分析や請求など様々な用途に利用されます。 その中の1つに、1日で1500万件弱のレコード数を扱うMySQLのテーブルがあり、とあるapiからの参照クエリのレスポンス速度が問題になっていました。 その対応策として、データソースをMySQLからBigQueryへ切り替えることになりました。 これまでもBigQueryへデータ転送することはありましたが、アプリケーションからBigQueryを参照するという点で新しい試みでし
こんにちは、Tech Labの中野(@tosametal)です。 本記事ではAkka(Scala)を利用して開発したクローラの紹介を行います。 ストリームデータに対してクロールをする上で工夫した、ドメインごとのクロール頻度制御などについて紹介します。 Akkaはメッセージ指向のアクタシステムがベースとなっており、スケーラブルで弾力性のあるシステムを構築することが出来ます。 Akkaの詳細な説明は本記事では省略するため、興味がある方は 公式ドキュメント を読んで頂ければと思います。 概要 マイクロアドで独自に定義した、あらゆる事柄を目的を軸に階層構造で分類したものをトピックカテゴリと呼びます。 今回紹介するのはサイトのページのトピックカテゴリを判定するための前処理として動くクローラです。 以下はページのトピックカテゴリ判定を行うシステムの一部で、クローラは赤枠で囲った部分です。 kafkaか
はじめに こんにちは. マイクロアドで機械学習エンジニアをしている福島です. 主にReal-Time-Bidding (RTB)におけるClick Through Rate/Conversion Rate(CTR/CVR)予測や入札最適化の研究・開発を担当しています. マイクロアドでは, UNIVERSE Adsというプロダクトで予算消化制御と配信効果の最大化を目的として, 数理最適化による入札関数選択を導入しました. 今回は, 新たに導入した入札最適化について紹介します. はじめに 問題設定・定式化 線形計画問題の設計 予算の分配 期待消化金額の算出 試験導入結果 終わりに 問題設定・定式化 RTBでは, 広告主とメディア間でリアルタイムにオークションが開催され, オークションに勝利したDemand Side Platform (DSP)がコストを支払い広告を表示する権利を獲得します.
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マイクロアドのログ蓄積の流れ - MicroAd Developers Blog
UNIVERSE Adsの監視基盤 - MicroAd Developers Blog
運用作業を安全にするChrome拡張のススメ - MicroAd Developers Blog
Akkaを利用したクローラ開発 - MicroAd Developers Blog
数理最適化による入札関数選択 - MicroAd Developers Blog