ML監視は従来のソフトウェア開発の監視要素に加え、モデルや予測値、データに関する監視が必要とされています。 監視の優先順位 上述のようにML監視項目は数多くあり、いきなり全ての監視項目を導入するのは難しいです。 クラウドベンダー各社のMLOpsの成熟度モデル [3]のように、ML監視も段階的に取り組んでいくことが望ましいと言えます。 A Comprehensive Guide on How to Monitor Your Models in Productionの記事ではGoogleのMLOps成熟度モデルに合わせた監視項目を取り上げています。 引用: A Comprehensive Guide on How to Monitor Your Models in Production [4] EVIDENTLY AIが公開してるMonitoring ML systems in product

※ DynalystではAWSを全面的に採用しているため、AirflowもManaged版を調査しています。 導入後の状態 Prefect導入後は、以下の構成となりました。 ポイントは以下の点です。 ワークフローをDocker Image化することで、開発・本番環境の差を軽減 staging・productionはECS Taskとしてワークフローを実行、開発ではローカルPC上でコンテナ実行 ML基盤のGitHubレポジトリへのマージで、最新ワークフローが管理画面であるPrefect Cloudへデプロイ 従来のyamlベースのdigdagから、DSに馴染み深いPythonベースのPrefectに移行したことで、コード量が減り開発負荷が軽減しました。 Prefect 入門 ~ 基礎 ~ 注意: 本記事ではPrefect 1系を扱います。Prefect 2系が2022年7月にリリースされてい

タップルで機械学習エンジニアをしている橋爪( @runnlp )と、AI Labでリサーチサイエンティストをしている冨田( @miitomi )です。9月18日から9月23日にシアトルで開催されたRecSys2022に現地参加してきましたので、その参加報告をさせていただきます。今回サイバーエージェントAI LabからはIndustryセッションでポスター発表を1件、Workshopで口頭発表を1件行いました。Industryセッションでの発表の紹介と、研究を日程順に紹介したのちに、現地の様子なども合わせてお届けします。 目次 RecSysとは サイバーエージェントからの発表 Tutorial ( 2つ紹介 ) Main Conference ( Keynoteと論文を紹介 ) Workshop ( 2つ紹介 ) 現地の様子 おわりに RecSysとは RecSysは、推薦システムのトップカ

こんにちは。AI事業本部の青山（@amsy810）です。 2020年版「おうちKubernetesインターン」を実施したため、事後レポートをブログにまとめたいと思います。 コロナ禍のため、機材一式を学生とメンター宅に郵送し、フルリモートでの実施となりました。 またそれに合わせて3 Daysだったものを7 Daysに伸ばして、初日と最終日以外は夕会だけをコアタイムとしたフレックス性で実施しています。 メンターは私以外に、徳田、川部、漆田、源波、中西、岩立、長谷川が参加しています。 概要 今回のおうちKubernetesは Raspberry Pi 4 の 8GB モデル 3台 を使ってクラスタを構成しました。 単純な仕様だと、12 core + 24 GB Memory のクラスタです。もはやノートパソコンに近しい性能ですね。 また、今回 Raspberry Pi 4 になってから最低 2.

こんにちは、株式会社サイバーエージェント 秋葉原ラボの高野です。2020年4月20日から24日に行われた「The Web Conference」（通称WWW）の論文読み会をお届けします。この論文読み会は2017年から開催しており、今年で4回目になります。 今回は非同期オンライン（つまりブログ）にて開催いたします。 The Web Conference (通称 WWW) は情報系トップカンファレンスのうちの一つで、その名の通りWebに関する国際会議でシステム・検索・機械学習から社会問題まで幅広いトピックを扱っています。 発表された全ての論文は以下のサイトで公開されています。 WWW2020 Proceedings この論文読み会は後述の弊社秋葉原ラボのエンジニアの6名がWWW2020の発表論文から各自のテーマに沿っていくつか選び、興味深いと感じた論文をいくつかご紹介するものです。論文紹介はテ

AI事業本部 Dynalystでデータサイエンティストをしている藤田です。 Dynalystの開発チーム内にはデータサイエンス（以降DS）チームがあり、そこにはデータサイエンティスト・機械学習エンジニア（以降まとめてデータサイエンティストと呼ぶ）たちが所属しています。私がこのチームで働く中で、「プロダクト所属のデータサイエンティストがどこまでエンジニアリングをすべきなのか」ということを考えることがあったのでまとめてみました。当然これは一般的な答えではなく、人・チーム・組織の現状や目指すべきところによって答えは変わるので、あくまで1チームの1個人が考えたこととして読んでもらえればと思います。 プロダクト所属と横断DS組織所属 エンジニアリング云々の話をする前に、まずプロダクト所属と横断DS組織所属のデータサイエンティストの違いについて軽く説明します。両者のメリット・デメリットについても書きた

こんにちは、AI事業本部 Dynalyst所属のデータサイエンティストをしている藤田です。今回は内定者バイトとしてDynalystにて働いて頂いた黒岩さんからの寄稿記事です。 以下本文です。 AI事業本部のDynalystで、機械学習エンジニアとして一ヶ月間内定者バイトをしていた黒岩です。広告配信の最適化手法と内定者バイトで取り組んだ課題について紹介します。 広告配信では、複数の候補の中から一つの広告を選んで広告枠に表示します。この時、ユーザのクリック数の合計を最大化するように広告を選びたい、というのが今回の問題設定です。 単純に考えれば、これまでのデータから計算されるクリック率（CTR）が最も高い広告を選べば良さそうなものです。しかし、CTRを計測するためには全ての広告をある程度の回数表示してデータを集める必要があるので、この過程でCTRの低い広告も表示することになります。したがって、C

はじめに AI事業本部Dynalystのエンジニアの加藤です。 2019年4月にサイバーエージェントに入社し、MLエンジニア・データサイエンティスト(以降DS)として主にPythonとSQLを用いて分析業務に携わっています。今回のブログでは既存の機械学習モデルの検証からモデルの精度改善についてのアプローチを通じて、本番環境で動く機械学習モデルの性能を追試することの重要性を伝えるとともに、DSがどういう切り口で問題を分析していくのか、DSはどの程度まで開発サイドに携わるべきか等の考えをお伝えできればと思います。 背景: オンライン広告配信の仕組みとDynalystの立ち位置 まず、オンライン広告業界で日々行われている Real-Time Bidding (RTB) という仕組みと、Dynalystの立ち位置についてざっくり説明します。 webサイトを訪れた際に広告が表示された経験はほとんどの

KubeflowとJupyter Enterprise GatewayでJupyter Notebook環境をさらに便利に AI事業本部のインフラ組織SIAでエンジニアをしている牧垣です。 はじめに Jupyter Notebookは機械学習・データ解析の分野ではすっかり空気のようなインフラになりました。仮説・実験・考察のサイクルを回しやすいので、科学分野では昔から人気があります。コードと結果が可視化できるという基本機能そのものに、作業ログや手順書・使い方ドキュメントなど、他分野での需要もあります。 夢を膨らませると用途はまだまだ思いつきそうですが、つまり「複数人で同じものを見て、同じ認識をすることができる」というのがJupyter Notebookの良いところです。「あの件、どうだった？」「あ、たぶん大丈夫だと思います」といったあやしげな状態になりにくくなります。また、可視化が容易な点も

今回は鮮度が高いまますぐに届く Amazon 産とヨドバシ.com 産の材料を使いました。�メイン食材のラズペリーパイについては RS コンポーネンツから購入しました。クラスタに彩りを添える CyberAgent のステッカーについては産地直送で取り寄せです。 さて鮮度が非常に高いまま到着しました。朝自席に来たときはダンボールの山が積まれた状態でしたが、一旦１つの大きな箱に詰め込みました。 今回は 12 人前の材料を用意しました。 なかなかこの量の Raspberry Pi を用意することも無いかと思います。圧巻の光景ですね。 作り方 さて、いよいよ作っていきたいと思います。 物理的構築自体はだいたい 1 時間ほどで完了するかと思います。 １．Raspberry Pi を開封します。 一番高い部品なので、壊さないよう丁寧に空けましょう。 ２．Raspberry Pi にヒートシンクを取り付

こんにちは。サイバーエージェント デザイナーの渡辺です。 今回はスピード＆クオリティをモットーに制作した脳トレパズル『monster block』のキャラクターデザインについてご紹介したいと思います。 『monster block』とは？ 新感覚の脳トレパズル。宇宙に散らばっている全てのブロックを、1球のボールで消すことが出来たらステージクリアです。クリアする毎に1体のモンスターに出会え、様々な難易度のステージを全てクリアすると100体以上のモンスターに出会えます。 [App Store] [Google Play] 『monster block』の開発チームはデザイナー1人、エンジニア1人、プロデューサー1人の3名体制。スピード＆クオリティ重視の開発ということで、アプリ1本を1.5か月くらいでリリースできるのが理想だと話し合っていました。 1.5か月で全て完成させてリリースをするためには

こんにちは、株式会社サイバーエージェント 秋葉原ラボの高野です。2017年11月30日に行われた「WWW2017論文読み会」のレポートをお届けします。 WWWは情報系トップカンファレンスのうちの一つで、その名の通りWebに関する国際会議でシステム・検索・機械学習から社会問題まで幅広いトピックを扱っています。 発表された全ての論文は以下のサイトで公開されています。 WWW2017 Proceedings この論文読み会では後述の弊社秋葉原ラボのエンジニアの6名がWWW2017のセッションからいくつか選び、各セッションを概観し、その中から特に興味深い論文を2つほどご紹介いたしました。また時間の都合上、当日は割愛いたしましたが以下のスライドでは他の論文についても2, 3文で簡単な解説をしています。当日は30名の方にお越しいただき、懇親会では紹介論文や国際会議の動向などについて議論が行われました。

neural が約1.7倍増えていて、ニューラルモデルを利用した研究が前年よりも多いことがわかります。 また、generation, extraction, prediction, framework, end-to-end などの単語が増えているので、基礎研究というよりも言語処理タスクをニューラルモデルで解決する応用研究な論文が増えているようです。たしかに、データセットやベンチマークが用意されている既存タスクに、ニューラルモデルを適用し既存手法よりも高い精度を実現していたものが多かったように感じました。 さらに、knowledge, attention, discourse などの単語が出現する論文では、知識ベースやアテンションモデルをどう対話システムに利用するかというものが多く、今とてもアツい領域なのだとわかります。 もちろん、上記には顕著に現れた傾向のみ挙げていますが、それ以外にも幅