次世代のワークフロー管理ツールPrefectでMLワークフローを構築する CyberAgent Developers Blog | サイバーエージェント デベロッパーズブログ
※ DynalystではAWSを全面的に採用しているため、AirflowもManaged版を調査しています。 導入後の状態 Prefect導入後は、以下の構成となりました。 ポイントは以下の点です。 ワークフローをDocker Image化することで、開発・本番環境の差を軽減 staging・productionはECS Taskとしてワークフローを実行、開発ではローカルPC上でコンテナ実行 ML基盤のGitHubレポジトリへのマージで、最新ワークフローが管理画面であるPrefect Cloudへデプロイ 従来のyamlベースのdigdagから、DSに馴染み深いPythonベースのPrefectに移行したことで、コード量が減り開発負荷が軽減しました。 Prefect 入門 ~ 基礎 ~ 注意: 本記事ではPrefect 1系を扱います。Prefect 2系が2022年7月にリリースされてい
「いつの間にか精度が落ちて慌てて直す」──“AI運用あるある”を成功に導く「MLOps」とは
第3次AIブームと言われて久しく、すでにさまざまな企業が画像認識や音声認識、自然言語処理などを生かしたAIサービスを提供するようになった。 AIを実装する機械学習アルゴリズム、特に深層学習は、従来のルールベースなアルゴリズムより高い精度を出せる場合があるのが利点の一つだ。しかし、内部はブラックボックスになりがちで精度改善が難しい場合や、機械学習モデルに学習させるべきデータが適切に整形されていないこともある。 こうした「AI開発」前後の運用を成功に導く取り組みとして、近年「MLOps」（エムエルオプス）という開発手法に注目が集まり始めている。 特集：MLOpsキホンのキ AIベンダーやノーコード／ローコードでのAIモデル作成ツールなどが増え、以前よりはAIを導入しやすい環境になった。しかし、AI導入の“前後”はおろそかになっていないか。開発体制は迅速に回るか。モデル精度はモニタリングできてい
検索アルゴリズム改善における機械学習の活用 〜MLOpsについて〜 - ぐるなびをちょっと良くするエンジニアブログ
はじめに こんにちは。 CX部門 データ・AI戦略室 データ戦略Gの田中です。 ぐるなびには2018年に新卒として入社し、レコメンドエンジンの開発や在庫・予約関連のデータ分析等に携わってきました。 現在は主に検索結果の並び順アルゴリズムの改善を行っています。 私たちのチームではアルゴリズム自体の改善に伴い、MLOps（機械学習の運用改善）にも取り組みました。 今回は、 MLOpsとは どうやって導入したか 導入で何が得られたか についてお話ししていきたいと思います。 検索アルゴリズム改善プロジェクトについて 検索の並び順アルゴリズム改善のプロジェクトが始まったのは約2年前でした。 それまでの並び順は複雑なルールベースで決められていました。 そこで機械学習のモデルを用いてより効果的な並び順を予測し、検索結果の改善・CVRの向上を試みました。 2020年の2月からプロジェクトがスタートし、3月
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習を実用化するエンジニアリングスキル
