ちっちゃいMLOpsやってみた（手書き文字認識アプリ＋kedro） - GMOインターネットグループ グループ研究開発本部
ご覧いただきありがとうございます。次世代システム研究室、新卒の N.M と申します。 前回のブログ記事は GMO インターネットグループの新卒技術研修（GMO Technology Bootcamp）での成果物に関する紹介でしたので、実質今回が初投稿となります。仕事に活かせるような実用的な先端技術の研究してきたわけではなく題材選びに苦労しましたが、今回は個人的に勉強してみたいと思っていた MLOps を触ってみようというテーマで書かせていただきたいと思います。ご覧いただけると幸いです。 今回行ったこと ブラウザ上で手書き文字を認識するアプリを作ってみる そのアプリで用いている機械学習まわりのコードに kedro を導入してみる ちゃっちいちっちゃい MLOps を体験して勉強した気分になる 背景
Kedroで機械学習パイプラインに入門する - Qiita
はじめに Kedroという機械学習向けパイプラインツールを使ってみたので備忘までに記事を書きます。 とりあえずパイプラインを組んでみて動いたところまで、です。もう少し使い込んで、別途投稿できればと思っています。 公式のチュートリアルの差分は、以下くらいかなと思います。（どっちもちょっとしたことですが） ホストを汚さないようにDockerコンテナ内でKedroプロジェクトを作成・開発していること node.pyは使わず、普段慣れ親しんだディレクトリ構成で普通にスクリプトを書いていること（それらをノードとしてパイプラインでつないでいる） パイプラインツールの必要性 依存関係が複雑になりがちな処理処理フローを管理したい データ取り込み→データ前処理→モデルのトレーニング→チューニング→デプロイメント、etc ジョブを並列実行したい コンポーネントごとにマシンスペックを柔軟に設定したい 前処理は高
The importance of layered thinking in data engineering
Looks a bit like a data lake right? (Tangled wires by Cory Doctorow on Flickr (CC BY-SA 2.0) )Who is this for?Are you a data scientist or data engineer keen to build sustainable and robust data pipelines? Then this article is for you! We’ll walk through a real-world example and by the end of this article you’ll understand why you need a layered data engineering convention to avoid the mistakes we
Tom Goldenberg: Kedro + MLflow - Reproducible and Versioned data pipelines at scale | PyData LA 2019
www.pydata.org PyData is an educational program of NumFOCUS, a 501(c)3 non-profit organization in the United States. PyData provides a forum for the international community of users and developers of data analysis tools to share ideas and learn from each other. The global PyData network promotes discussion of best practices, new approaches, and emerging technologies for data management, processin
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
