ちっちゃいMLOpsやってみた（手書き文字認識アプリ＋kedro） - GMOインターネットグループ グループ研究開発本部
ご覧いただきありがとうございます。次世代システム研究室、新卒の N.M と申します。 前回のブログ記事は GMO インターネットグループの新卒技術研修（GMO Technology Bootcamp）での成果物に関する紹介でしたので、実質今回が初投稿となります。仕事に活かせるような実用的な先端技術の研究してきたわけではなく題材選びに苦労しましたが、今回は個人的に勉強してみたいと思っていた MLOps を触ってみようというテーマで書かせていただきたいと思います。ご覧いただけると幸いです。 今回行ったこと ブラウザ上で手書き文字を認識するアプリを作ってみる そのアプリで用いている機械学習まわりのコードに kedro を導入してみる ちゃっちいちっちゃい MLOps を体験して勉強した気分になる 背景
The importance of layered thinking in data engineering
Looks a bit like a data lake right? (Tangled wires by Cory Doctorow on Flickr (CC BY-SA 2.0) )Who is this for?Are you a data scientist or data engineer keen to build sustainable and robust data pipelines? Then this article is for you! We’ll walk through a real-world example and by the end of this article you’ll understand why you need a layered data engineering convention to avoid the mistakes we
Tom Goldenberg: Kedro + MLflow - Reproducible and Versioned data pipelines at scale | PyData LA 2019
www.pydata.org PyData is an educational program of NumFOCUS, a 501(c)3 non-profit organization in the United States. PyData provides a forum for the international community of users and developers of data analysis tools to share ideas and learn from each other. The global PyData network promotes discussion of best practices, new approaches, and emerging technologies for data management, processin
MLFlowと他ツールの組み合わせ - Retrieva TECH BLOG
こんにちは。カスタマーサクセス部 リサーチャーの坂田です。 レトリバでは、固有表現抽出、分類、PoC用ツール作成に取り組んでいます。 PoC用ツール作成は、研究成果をより迅速にPoCで試せることを狙いとしています。 実験結果の可視化UIが充実しているMLFlow を中心に、足りないところを補うため、その他のツールとの組み合わせについて考えていきます。 MLFlow MLFlow は、実験管理からデプロイまでカバーしたツールです。特定のツールに依存しないということに重きを置いています。 4つのコンポーネントに分かれており、必要な機能のみを使えるようになっています。 MLflow Tracking : パラメータ、コードのバージョン管理、生成物の捕捉などを行う機能など。 MLflow Projects : 再現性を担保するための機能など。 MLflow Models : デプロイの支援機能など
ML Pipeline事始め – kedro(+notebook)とMLflow Trackingで始めるpipeline入門 – - GMOインターネットグループ グループ研究開発本部
2020.07.06 ML Pipeline事始め – kedro(+notebook)とMLflow Trackingで始めるpipeline入門 – こんにちは。次世代システム研究室のT.S.です AI/機械学習が不可欠となった昨今、数多くの方がKaggleなどの分析コンペ参加から機械学習モデルの実験、そして本番環境への適用まで色々実施してらっしゃると思います。 私もその一員で、日々モデルの実験から本番機械学習基盤の構築まで色々な分野の機械学習関連業務に従事しております。 そうした中で（皆様も同じ悩みを抱えているかと思いますが）実験->本番適用->運用に渡って、色々な悩みを抱えています。 一例ですが、こん悩みがあります 実験を複数回繰り返した結果、実行結果とハイパパラメータの組み合わせがゴチャゴチャになる 実験時の処理がモジュール化していないため、処理順序の入れ替えや追加が困難 実験時
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Level Up Your MLOps Journey with Kedro
Deploying a Recommendation System the Kedro Way
Kedro Pipelines With Optuna: Running Hyperparameter Sweeps
GitHub - dataengineerone/de1-python: Curated collection of DE1's favorite kedro pieces.
Deployment with Kubeflow Pipelines — Kedro 0.17.7 documentation