大規模言語モデルで変わるMLシステム開発
GPTはじめ大規模言語モデルの登場により、MLシステム開発にもパラダイムシフトが起こっています。流れが速すぎてやや混沌としてきたので、プロンプトエンジニアリングの考え方をはじめとした新しい概念について有用な引用と共に交通整理をしてみました。 今から始めたい人はまずこれを読むと、どんな点に配慮すべきかが…
GPTはじめ大規模言語モデルの登場により、MLシステム開発にもパラダイムシフトが起こっています。流れが速すぎてやや混沌としてきたので、プロンプトエンジニアリングの考え方をはじめとした新しい概念について有用な引用と共に交通整理をしてみました。 今から始めたい人はまずこれを読むと、どんな点に配慮すべきかが…
機械学習システム開発と運用の落とし穴
クローズドで行われた勉強会の資料です、画像認識まわりでありがちなハマりどころについて解説しています
データ基盤チーム0人で運用は回るのか？！ 前人未踏チャレンジ・クックパッドデータ基盤のすべて2020 - クックパッド開発者ブログ
技術部データ基盤グループの青木です。 ここ1、2年はなぜか成り行きでBFFをでっちあげたり、 成り行きでiOSアプリリニューアルのPMをしたりしていたので あまりデータ基盤の仕事をしていなかったのですが、 今年は久しぶりに本業に戻れたのでその話をします。 突然の1人チーム、そして0人へ…… 今年のデータ基盤チームは消滅の危機から始まりました。 間違いなく去年末は5人のチームだったと思うのですが、 メンバーがイギリスへグローバルのデータ基盤チームを作りに行ったり、 山へ検索システムを直しに行ったり、川へレシピ事業の分析業務をやりに行ったり、 海へ広告のエンジニアリングをしに行ったりするのをホイホイと気前よく全部聞いていたら、 なんと4月から1人だけのチームになってしまいました。 事はそれで終わりません。 恐ろしいことに10月にはわたし自身も育休に入ることになったので、 10月はデータ基盤が0
さよならFlask ようこそFastAPI / goodbye Flask, welcome FastAPI
DeNA社内の技術共有会でFastAPIの便利さについて語った資料です。 ▼ 要点 ・機械学習の推論API立てる用途ならFastAPIが便利 ・型定義で開発UXばっちり ・ドキュメント自動生成でつなぎこみも円滑 ▼ ソースコード https://github.com/amaotone…
2020/3/31 Google Cloud Data Platform Dayでの、山田、佐伯、白鳥の講演資料になります
「Data Engineering Study #23 Data orchestration 特集」の発表資料です イベントページ: https://forkwell.connpass.com/event/310011/
CybagerAgent AI事業本部 2023年度新卒研修 MLOps 応用編で使用したスライドです。 ハンズオンで使用したGitHub Repository: https://github.com/nsakki55/aws-mlops-handson
機械学習なdockerfileを書くときに気をつけとくと良いこと - nykergoto’s blog
みなさん機械学習系の環境構築はどうやってますか? 僕は最近は Docker を使った管理を行っています。 特に師匠も居なかったので、ぐぐったり人のイメージを見たり手探りで docker をつかいつかいしている中で、最初からやっとけばよかったなーということがいくつかあるのでメモとして残しておきます。 大きく2つです。 キャッシュは消す テストを書く キャッシュは消す ライブラリをいろいろと install すると大抵の場合ダウンロードしたファイルを保存されている場合が多いです。何かのタイミングで再びそのライブラリをインストールする際にはダウンロードしたファイルを使って、素早くインストールすることができます (この仕組みがキャッシュです)。 キャッシュがあると容量が重くなるという欠点があります。重たいイメージは pull に単に時間がかかりますから、システムとしてデプロイする時にトラフィックが
はじめに こんにちは。データシステム部/推薦基盤ブロックの佐藤 (@rayuron) です。私たちはZOZOTOWNのパーソナライズを実現する推薦システムを開発・運用しています。推薦システムごとにKPIを策定していますが、データの欠損やリリース時の不具合によってKPIが意図しない値を取ることがあるため定常的に確認する必要があり、これをKPIのモニタリングと呼んでいます。 先日、推薦システムの実績をLookerでモニタリングするというテックブログで推薦システムのKPIをモニタリングする方法を紹介しましたが、運用していく中でいくつかの課題が見えてきました。本記事では、より効率的かつ効果的なKPIのモニタリングを実現するための取り組みについて詳しくご紹介します。 はじめに 改善の背景と課題 背景 課題 トレンドを考慮した異常検知が不可能 モニタリングの設定が面倒 アラート対応フローが不明確 サマ
「機械学習」という技術で価値を創出する技術 / techniques-to-create-values-with-ml-layerx
2022年10月15日、技育祭2022秋における講演資料です。 様々なコンテンツやクラウドサービスの充実により、機械学習という技術を利用するハードルは低くなりました。一方で、機械学習を用いて価値を生み出すことは容易ではありません。本勉強会では、プロダクト開発において「機械学習」という技術で価値を創…
このNOTEの使い方◯ビジネス観点でGenerative AIの考え方を養うため ◯ファクト集・投資動向・インプリケーション ✗生成AIとは・技術解説・技術動向など 注：サマリーはすべて生成AIで要約し翻訳したものです。 とりあえずこれを読め
データオーケストレーションとは データオーケストレーションという言葉をご存知でしょうか？日本ではまだ耳慣れない言葉ですが、data orchestrationでgoogle検索すると実に3000万件以上ヒットし、世界的には十分に市民権を得ている言葉です。Databricksではデータオーケストレーションを以下のように説明しています。 データオーケストレーションとは データオーケストレーションとは、複数のストレージからサイロ化したデータを取り出し、組み合わせて整理し、分析に利用できるようにするための自動化されたプロセスです。 このプロセスでは、レガシーシステム、クラウドベースのツール、データレイクといったあらゆるデータセンターが接続されます。データは標準形式に変換されるため、理解しやすく、容易に意思決定に利用できます。 オーケストレーションとは、コンピュータシステム、アプリケーション、および
(最新SSD IOはPCIe x4でした。ご指摘ありがとうございます。） はじめに どの処理で律速しているか調べる 各処理の速度改善方法 データ読み込み速度の改善 データ前処理速度の改善 GPU処理速度の改善 コンピューティングについての他記事 はじめに Kaggle Advent Calendar 2022 8日目です。 突然ですが、あなたはDNN学習時にどの処理で学習速度が律速しているか把握してますか？ DNN学習には図に示すように大きく3つの要素があります： （SSDからの）データ読み込み （CPUによる）データ前処理 （GPUによる）DNN計算 学習時のデータの流れとしては SSDからデータが読み込まれ、CPUに送られる(SATA or PCIe) CPUにてaugmentationや正規化などの前処理が行われ、GPUにデータが送られる(PCIe x16) GPUにてDNNの計算・
毎回ご好評頂いているアーキテクチャ特集の今回のテーマは、機械学習です。 機械学習に特に力を入れている日本のIT企業8社にご協力頂き、それぞれの技術的な挑戦と今後の展望についてご寄稿頂きました。各社のアプローチと最新の技術動向を通じて、次世代のイノベーションを紐解いていきましょう。 ※ご紹介は企業名のアルファベット順となっております 株式会社ABEJA ABEJA Insight for Retailについて ABEJA Insight for Retailは、お客様の店舗訪問から購入までの行動をデータから分析する、ABEJAが提供するDXツールです。店舗にIoTデバイス（カメラや来客カウンター等）を設置し、取得データを顧客企業に提供することで小売店舗の運営を支援しています。「リアル世界のGoogleAnalytics」をご想像いただけるとわかりやすいかもしれません。ABEJAが取得・提供す
Google Cloud、ジェネレーティブ AI を 開発者、企業、政府に提供 | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 3 月 14 日に、Google Cloud blog に投稿されたものの抄訳です。 ジェネレーティブ AI は、インタラクティブなマルチモーダル体験の新しい波の到来を告げるものであり、情報、ブランド、そして互いとの関わり方を変えるものです。Google Cloud は、AI に対する Google の数十年にわたる研究、革新、投資の力を活用し、企業や政府に対して、シンプルな自然言語のプロンプトからテキスト、画像、コード、動画、音声などを生成する機能を提供します。 この技術の可能性を実現することは、すべての開発者、企業、政府の手にこの技術が提供されることを意味します。これまで、組織がジェネレーティブ AI にアクセスすることは難しく、カスタマイズはおろか、時には信頼を損ないかねない不正確な情報が生成されることもありました。10 年前、企業や開発者が新しい
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
Preferred Networks（PFN）は深層学習などの最先端の技術を最短路で実用化することで、これまで解決が困難であった現実世界の課題解決を目指しています。コンピュータビジョン、自然言語処理、音声認識、ロボティクス、コンパイラ、分散処理、専用ハードウェア、バイオインフォマティクス、ケモインフォマティクスといった幅広い分野で研究開発を行っており、それを支えているのが Kubernetes を用いて構築しているオンプレミス/ベアメタルの GPU クラスタです。 本セッションでは、PFN が Kubernetes を用いてクラスタを運用するなかでどのような障害が起きるのかを紹介し、また障害対応をどのように自動化しているのかを具体的に使用/開発したソフトウェアを含めてご紹介します。また Kubernetes クラスタの管理、アップグレードの自動化にも取り組んでおり、それを実現する Clus
WebAssemblyでの機械学習モデルデプロイの動向
本記事はMLOps Advent Calendar 2020の 2 日目の記事です。 WebAssembly（Wasm）は機械学習モデルをデプロイする新たな手段になりうるでしょうか。 この記事では、機械学習モデル（特に Deep Learning）を Wasm でデプロイする周辺技術の動向や内部の仕組みをざっくりと説明します。 Table of Contents tkat0 です。WebAssembly(Wasm)面白いですね。 私も最近はyewでフロントエンドを書いて遊んでいます。Rust で React っぽいことできるのは新鮮で面白いです。 Wasm は、なんとなく速い JavaScript？とか機械学習で何に役立つの？とか思ってる方も多いと思います。 しかし、Wasm はブラウザでの推論時に使えるだけでなく、機械学習モデルのサービングやエッジデバイスでの推論にも使えると知ったら驚き
サイバーエージェントではこれまでも、新卒エンジニア向けに「チーム開発の進め方」や「良いコードとは何か」といった資料や、Unityエンジニア向けのゲームシステムの高速化に関するノウハウなどを無償公開している。 関連記事 ミクシィ、新卒向け研修資料を無償公開 「Git」と「テスト・設計」 今後も随時公開 MIXI（旧社名ミクシィ）は、同社の新入社員向け技術研修で使用した資料を無償公開した。 日経新聞、新卒エンジニア向けセキュリティ研修資料を無償公開 日本経済新聞社は、新卒エンジニア向けセキュリティ研修資料を無償公開した。同社が4月の新人研修で使用したもので、ページ数は30ページ以上。 ゲームシステムを高速化する社内ノウハウを無償公開 Unityエンジニア向けに サイバーエージェント サイバーエージェントは社内研修用の書籍「Unity パフォーマンスチューニングバイブル」のPDFを公開した。 3
こんにちは、Wantedlyで推薦システムを開発している樋口です。Kaggleや実務での機械学習の開発にて、過去に下記のような失敗がありました。 精度改善のために実験を繰り返し追加したら、PRが巨大になり、レビューに時間がかかった 学習結果を確認したら、パラメータを一部だけ間違えていて、再度長い実験をやり直した このような悩みを解決するために、書籍や経験で学んだプラクティスを取り組んできました。例をあげると以下のようなのものがあります。 小さい単位でPRを作成する パラメータを設定ファイルに切り出して、ヌケモレを減らす 学習データをサンプリングして、実行時間を短縮して結果を素早く確認する これらのプラクティスに取り組む中で、もっと "高速で正確な開発を行うための知見や方法が体系化されているのではないか" という疑問が湧きました。 この疑問を解決するべく"継続的デリバリーのためのソフトウェア
LLMを用いたLLMの自動評価について 〜可能性と注意点〜 - NTT Communications Engineers' Blog
こんにちは、イノベーションセンターの杉本（GitHub：kaisugi）です。普段はノーコードAI開発ツール Node-AI の開発に取り組む傍ら、兼務1で大規模言語モデル（LLM:Large Language Model）について調査を行なっています。特に、日本語を中心に学習された LLM への関心があり、awesome-japanese-llm という日本語 LLM をまとめた Web サイトのメンテナンスにも取り組んでいます。 今回は、LLM に LLM の評価そのものを行わせるという新たなアプローチ（LLM-as-a-judge）についてご紹介します。 ChatGPT の登場以降、国内外で LLM の開発競争が進行しており、モデルの重みが公開されたオープンなモデルも続々と現れています。そのような中で、新しいモデルの構築だけでなく、どのモデルが優れているかを比較検討することが今後ます
はじめに こんにちは。データシステム部推薦基盤ブロックの佐藤（@rayuron）と住安（@kosuke_sumiyasu）です。私たちはZOZOTOWNのパーソナライズを実現する推薦システムを開発・運用しています。 ZOZOTOWNでは、様々な改善施策の効果を検証するためにA/Bテストを実施していますが、そのプロセスには多くの工程があり、効率化の余地がありました。本記事では、A/Bテストの工程を自動化・標準化し、効率化を図った取り組みについてご紹介します。 はじめに 背景 課題 1. A/Bテスト設計書のテンプレートがない 2. A/Bテストの開催期間が決め打ち 3. 有意差検定をするために手動運用が必要 4. チーム間で集計定義とダッシュボードが複数存在している 5. 施策ごとに新しいダッシュボードを作り直す必要がある 6. システム改修漏れが発生する 解決策 1. A/Bテスト設計書の
Hidekazu Konishi - Profile / Biography | hidekazu-konishi.com
Hidekazu Konishi - Profile / Biography | hidekazu-konishi.com About Hidekazu Konishi Hidekazu Konishi is a Japan AWS Top Engineer, Japan AWS All Certifications Engineer (having passed All AWS Certification Exams), Cloud Engineer (with a focus on Architecting, DevOps, MLOps and AIOps), Application Engineer, Prompt Engineer, and Tech Blogger. After gaining experience as an application engineer, he w
AI Labの岩崎(@chck)です、こんにちは。今日は実験管理、広義ではMLOpsの話をしたいと思います。 MLOpsはもともとDevOpsの派生として生まれた言葉ですが、本稿では本番運用を見据えた機械学習ライフサイクル（実験ログやワークフロー）の管理を指します。 https://www.slideshare.net/databricks/mlflow-infrastructure-for-a-complete-machine-learning-life-cycle 参考記事のJan Teichmann氏の言葉を借りると、 エンジニアがDevOpsによって健全で継続的な開発・運用を実現している一方、 多くのデータサイエンティストは、ローカルでの作業と本番環境に大きなギャップを抱えている クラウド含む本番環境でのモデルのホスティングが考慮されないローカルでの作業 本番のデータボリュームやス
学びを仕事に繋げる / 外貨を稼ぐ / 継続的に成長する - Sansan Tech Blog
「公立はこだて未来大学」にお招きいただき、学生さん向けに講義をさせていただきました。 講義で用いたスライドは公開済みで、既にTwitterやはてブでも反響をいただいております。 スライド内には埋め込み動画やリンク等、Speaker Deckでは再現されないものもあるので、講義資料をあらためて「記事形式で」全ページ公開したいと思います。 講義のテーマ／構成について 講義のタイトルは「学びを仕事に繋げる」としていますが、 「海外進出」（外貨を稼ぐという選択肢を持つ） 「成長サイクル」（継続的に成長する） と併せた 3本立て 1 にしています。 講義のテーマは非常に悩んだのですが、私の経験から学生さん向けに話せるもっとも価値のある内容はなんだろう？どうやったら90分飽きずに聞いてもらえるだろう？と考えた結果このようになりました。 2 学生さん向けの講演ではありますが、現場でバリバリ活躍されている
Here I plan to share my technical knowledge and experience, as well as my interests in the subject. Please note that this tech blog is a space for sharing my personal views and ideas, and it does not represent the opinions of any company or organization I am affiliated with. The main purpose of this blog is to deepen my own technical skills and knowledge, to create an archive where I can record an
信頼性の高い機械学習
Cathy Chen、Niall Richard Murphy、Kranti Parisa、D. Sculley、Todd Underwood 著、井伊 篤彦、張 凡、樋口 千洋 訳 TOPICS System/Network 発行年月日 2024年10月 PRINT LENGTH 388 ISBN 978-4-8144-0076-8 原書 Reliable Machine Learning FORMAT Print PDF EPUB 本書では、ソフトウェアシステムの信頼性と安定性を保つことに優れたアプローチであるSRE（サイトリライアビリティエンジニアリング）の原則を適用し、信頼性が高く、効果的で、責任のある機械学習システムを構築し運用するための方法を紹介します。毛糸を販売している仮想のオンラインストア「yarnit.ai」を例に用いつつ、本番環境でのモデルモニタリングの方法から、製品開
Four Keysを活用してチームの開発生産性を改善した時のふりかえりの考え方と手法を紹介します - ZOZO TECH BLOG
はじめに こんにちは、データシステム部MLOpsブロックの薄田（@udus122）です。 この記事ではFour Keysなどの指標を活用して、定量的な根拠に基づきチームの開発生産性を改善する考え方とふりかえり手法を紹介します。 Four Keysとはデプロイ頻度、変更のリードタイム、変更障害率、平均修復時間の4つの指標からなるソフトウェアデリバリーや開発生産性の指標です。 Four Keysなど開発生産性の指標を計測し、定期的にふりかえっているけれど、なかなか具体的な改善につながらない。 そんな悩みはないでしょうか？ 実際に私たちのチームで抱えていた開発生産性の改善に関する課題と解決策を紹介します。皆さんのチームで開発生産性を改善する際のご参考になれば幸いです。 目次 はじめに 目次 開発生産性の改善に取り組んだ背景 チームの改善に取り組む上での課題 Four Keysの考え方に対する理解
PythonでApache beam 入門
2020-12-26 TensorFlowの勉強をしていたら、Apache beam を前処理に採用していたケースがあり、興味を持ったので深堀りしてみます。 興味が湧いたモチベーションとしては、 データ量が増加しても前処理部分を難なくスケールできそう(前処理部分をスケールさせて高速に実験を回したい、並列化などはすべて良い感じにbeamに任せれそうバッチとストリーミングの両者に対応可能なので、柔軟な機械学習の推論サービスが提供できるのでは? (GCPの参考資料 Data preprocessing for machine learning: options and recommendations)Apache beam を触りつつ分散データ処理を学びたいhttps://github.com/jhuangtw/xg2xg#services を見てみるとGoogle 内部のFlume という並列
JX通信社シニア・エンジニア兼データ基盤担当大臣の@shinyorke（しんよーく）です. 最近やった「ちょっとした贅沢」は「休日, 自宅で🍺片手に野球を見ながらUberEatsで注文したランチを楽しむ」です. ⚾と飲食を提供してくださる皆さまに心から感謝しております🙏 JX通信社では, 機械学習を用いたプロダクト開発・施策 プロダクト・サービスの改善に関する分析 日々のイベントをメトリクス化して可視化（いわゆるBI的なもの） を円滑かつ効率よく行うため, 昨年からデータ基盤を整備・運用しており, 現在では社員のみならず（スーパー優秀な）インターンの皆さまと一緒に活用し, 成果を出し始めています. ainow.ai なぜデータ基盤が必要か?どういった事をしているのか?...は上記のインタビューに譲るとして, このエントリーでは「データ基盤を支える技術 - ETL編」と称しまして, Py
マルチモーダル / AI Agent / LLMOps 3つの技術トレンドで理解するLLMの今後の展望
最近登壇で使っていたLLM関連技術の今後について触れた50ページほどの資料を公開します。 (予測や展望は個人の見解を多分に含む点をご容赦ください。) 細かい技術説明というよりみんな気になるAgent、LLMOps周りの実際に立ち向かって死にかけた経験を赤裸々に書いた感じです。取り組む前にこの屍を…
「仕事ではじめる機械学習 第2版」を読んで思った「ソフトウェアエンジニアとデータサイエンティスト, ML Ops」のこと - Lean Baseball
このエントリーのテーマです このエントリーは, 「仕事ではじめる機械学習 第2版」出版お祝いのエントリーとなります. 仕事ではじめる機械学習 第2版 作者:有賀 康顕,中山 心太,西林 孝オライリージャパンAmazon 私自身, 第1版登場の2018年頃*1から「機械学習エンジニア」「企画・提案のフェーズから機械学習プロジェクトを回すマン」など, まさに機械学習を仕事とするロール・立ち位置で働いたり個人開発をしたりしていた身として, 色んな場面で参考にしていた書籍の待望の第2版登場で嬉しいです. 待ちに待った仕事ではじめる機械学習第2版、戴きました🙏 週末読んで感想書くぞ📕 pic.twitter.com/66mcTzxja5— Shinichi Nakagawa / 中川 伸一 / Senior Engineer (@shinyorke) 2021年4月15日 縁あって著者の皆様およ
はじめに 自分は Martin Kleppmann が言うデータ指向アプリケーションやそれを実現する周辺の技術領域が好きで、業務としてそのような領域のエンジニアリングを引き続きやっていけたらなと思っています。 世の中には関連する職種の求人が多々ありますが、同じ名前のロールでも職務内容がコンテキストによって異なることが多かったりします。 ここではそれぞれの職種の違いについて自分の観点からまとめます。 1. データエンジニア 求人を眺めていると、データエンジニアは企業によって割と役割がぶれるので分けて説明します。 1-1. 小さめの事業会社のデータエンジニア まずは、小さめの事業会社のデータ分析基盤の構築・運用をするロールです。 ここでは ETL 処理の実装・運用のほかに、各種ツールを使ったデータ基盤の構築・運用知識やクラウド上のアプリケーション構築の知識などが求められることが多いです。 さら
おまたせしました この度、ついにこの記事を完成させることができました。これは私が数年前からずっと書きたいと思っていた、ウェブのアクセスログに対する、機械学習を使った異常検知の実例です。私は事あるごとに(※1)「情報セキュリティ分野でもデータサイエンスの技術は非常に重要だ」と繰り返していますが、この記事の内容はまさにその1つの証となると思います。この記事で示される内容を見れば、「うわ、機械学習、マジでヤバイい(語彙力)んだな...」となるでしょう。以下に心当たりのあるセキュリティエンジニアはぜひ読んで、そして実践してみてください。 機械学習に興味はあるものの、どこから手を付ければよいのかイメージがわかない 本当にAIやデータサイエンス、機械学習がセキュリティの分野で役に立つのか、確信がもてない データサイエンスや機械学習は難しそうだと思っている ログ解析において、grepや単純な統計処理より
※この投稿は米国時間 2021 年 6 月 25 日に、Google Cloud blog に投稿されたものの抄訳です。 ML システムを構築および運用化する成熟した MLOps 手法の確立に際しては、適切な手法が得られるまで数年の歳月を要する場合もあります。Google ではこのほど、この重要な作業の時間短縮を支援する MLOps フレームワークを公開しました。 MLOps の使用を開始する際に、これらのプロセスと機能を必ずしもすべて実装する必要はありません。ワークロードのタイプおよびそれにより生み出されるビジネス価値や、プロセスもしくは機能の構築または購入にかかるコストとのバランスによって、プロセスや機能の中で優先順位の差が生じます。 フレームワークを実用的手順に変換しようとする ML 担当者を支援するため、このブログ投稿では、お客様をサポートした経験を元に、何から始めるべきかを左右す
同年度のMLOps研修資料はこちらです。 (1/4) CyberAgent AI事業本部2024年度MLOps研修Container編: https://speakerdeck.com/szma5a/container-for-mlops (2/4) CyberAgent AI事業本部2024年度M…
産総研：機械学習品質マネジメントガイドラインを公開
発表・掲載日：2020/06/30 機械学習品質マネジメントガイドラインを公開 －AIを用いた製品やサービスの品質を安全、安心に管理するために－ ポイント マネジメントが困難とされる機械学習を用いたAIシステムの品質管理方法をガイドラインとして公開 機械学習AIシステムの品質要件を分類・整理し、開発者が客観的に評価できる枠組みを構築 企業での利用とそのフィードバックにより有用性を高めながら、国際標準化を目指す 国立研究開発法人 産業技術総合研究所【理事長 石村 和彦】（以下「産総研」という）サイバーフィジカルセキュリティ研究センター【研究センター長 松本 勉】ソフトウェア品質保証研究チーム【研究チーム長 大岩 寛】と人工知能研究センター【研究センター長 辻井 潤一】は、民間企業・大学などの有識者と共同で、AIシステムの設計開発における品質マネジメントについて体系的にまとめた「機械学習品質マ
次世代のワークフロー管理ツールPrefectでMLワークフローを構築する CyberAgent Developers Blog | サイバーエージェント デベロッパーズブログ
※ DynalystではAWSを全面的に採用しているため、AirflowもManaged版を調査しています。 導入後の状態 Prefect導入後は、以下の構成となりました。 ポイントは以下の点です。 ワークフローをDocker Image化することで、開発・本番環境の差を軽減 staging・productionはECS Taskとしてワークフローを実行、開発ではローカルPC上でコンテナ実行 ML基盤のGitHubレポジトリへのマージで、最新ワークフローが管理画面であるPrefect Cloudへデプロイ 従来のyamlベースのdigdagから、DSに馴染み深いPythonベースのPrefectに移行したことで、コード量が減り開発負荷が軽減しました。 Prefect 入門 ~ 基礎 ~ 注意: 本記事ではPrefect 1系を扱います。Prefect 2系が2022年7月にリリースされてい
CyberAgent AI事業本部新卒研修「MLOps」の資料を公開します | CyberAgent Developers Blog
はじめに 近年、様々な分野で機械学習の利用が進む中、モデルの品質を担保し、継続的な学習を行うための施策が重要視されています。そのため、機械学習のためのDevOpsであるMLOpsの必要性が高まっており、AI事業本部でも研修内容に取り入れています。 より良いMLOpsを構築するためには、アプリケーションやインフラの知識も必要です。そのため、今年は昨年までと異なり、MLエンジニアだけでなくソフトウェアエンジニアも講義に参加しました。また、新たに実践編が加わり、より業務を意識した講義が追加されました。 Container編 基礎編 応用編 実践編 そこで、今回は研修で行われた各講義の資料を公開したいと思います。 Container編 Container編では、コンテナにまつわる技術に対しインデックスを張ることと、イメージ作成や運用時のTipsを学び実業務に役立てることを目的としています。 そのた
本日ついに待望のGKE Autopilotがリリースされましたね！ この記事では、GKE Autopilot上で動いているリアルタイム推論基盤でなぜ我々がGKE Autopilotを利用することにしたのかについてお話しします。
2021-05-29 先日、同僚に「機械学習プロジェクトに興味があるんだけど、おすすめの資料があったら教えてほしい」と言われたので、Blog 記事に現時点でのおすすめの資料としてまとめておいたら、数年後見返したら面白そうだと思ったので記事として公開しておく。 おすすめの資料プロジェクトマネジメントや考え方、思想How Google does Machine Learningこれは機械学習を実応用する人たちにはぜひ見てほしいビデオ講義。前半が、機械学習プロジェクトの計画や、優先順位、よくあるアンチパターンについて GCP で機械学習について多く関わってきたエンジニアが解説してくれていて、非常に勉強になる。 感想記事リーン・スタートアップ ムダのない起業プロセスでイノベーションを生みだす顧客が求めるものを作ろう。機械学習にこだわったらまずだめなので… (詳しくは後述の Rules of ML
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
![[備忘録] PowerShellでExcelのようなグリッド画面を作成してみた - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/db071715b5a5a4fca1cf11d0aaf09950f0f5607a/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnMzLWFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkZxaWl0YS1pbWFnZS1zdG9yZSUyRjAlMkYyNjQ4MDY5JTJGMGU0YTU4OTYzNzI5ZTIyYjkwODM5NDY4YjkzYWNkMGNmNWM4YWFhOCUyRmxhcmdlLnBuZyUzRjE2NTE1ODc2MzQ_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9ZmQxZmIxNGYyM2JiYTE1NTZmMzQ4YmYxZGE3YzFmMjc%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D4e21d6c99ffd21130be46a8d859f162c%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCJUU1JTgyJTk5JUU1JUJGJTk4JUU5JThDJUIyJTVEJTIwUG93ZXJTaGVsbCVFMyU4MSVBN0V4Y2VsJUUzJTgxJUFFJUUzJTgyJTg4JUUzJTgxJTg2JUUzJTgxJUFBJUUzJTgyJUIwJUUzJTgzJUFBJUUzJTgzJTgzJUUzJTgzJTg5JUU3JTk0JUJCJUU5JTlEJUEyJUUzJTgyJTkyJUU0JUJEJTlDJUU2JTg4JTkwJUUzJTgxJTk3JUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgxJTlGJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9ZTNkOGNmMmZlYjZhZDY0N2QxZjc4MTQ5OGFkNDA0YTM%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBUYWRhdGFrYV9UYWthaGFzaGkmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz01YWM4MmFhMTM4Y2ZkZDI1MzAyNzNkMmI1YzJiNDBhMQ%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3De1a89f4eec75abb221fa7053884807d8)
GCPで構築する、これからの変化に対応出来るデータ分析基盤の作り方
ワークフローオーケストレーション入門
CyberAgent AI事業本部MLOps研修応用編
KPIのモニタリング自動化と運用体制の整備 - ZOZO TECH BLOG
Generative AIのビジネス動向を把握する20のレポート集｜k1ito
データオーケストレーションツールDagsterの紹介
学習が何で律速してるか、把握してますか？ - arutema47's blog
機械学習基盤のアーキテクチャ特集 〜8社の設計意図と今後の展望〜 - Findy Tools
サイバーエージェント、AI開発手法「MLOps」の研修資料を無償公開 全140ページ
高速で持続可能な開発のためのソフトウェア工学と機械学習への適用
ZOZOTOWNの推薦システムにおけるA/Bテストの標準化 - ZOZO TECH BLOG
小さく始めて大きく育てるMLOps2020 | | AI tech studio
Personal Tech Blog | hidekazu-konishi.com
データ基盤を支える技術 - ETLフレームワークの実践的な選び方・組み合わせ方 - JX通信社エンジニアブログ
データ系エンジニアの職種の違い - satoshihirose.log
本物のウェブアクセスログを使用した、機械学習による異常検知(全データ/ソースコード公開)
MLOps の利用を開始: ユースケースに適した機能の選択 | Google Cloud 公式ブログ
CyberAgent AI事業本部2024年度MLOps研修基礎編 / MLOps Basic
GKE Autopilotで作るMLリアルタイム推論基盤 | PLAID engineer blog
2021年05月時点で自分が実践している MLOps の情報収集方法
ameblo.jp/ohohohoho12345
share.google
myhome-style.com
www.keyakizaka.com
internet.watch.impress.co.jp
www.smartnews.com