機械学習プロジェクト向けPipelineライブラリgokartを用いた開発と運用 - エムスリーテックブログ

こんにちは。前回書いた突撃！隣のキーボード M3 2019という記事が、HHKBの公式Twitterアカウントにツイートされ、舞い上がっているエムスリーエンジニアリングGの河合 (@vaaaaanquish) です。 今回はエムスリー AIチームが開発、運用している機械学習プロジェクト向けのPythonライブラリである「gokart」の説明と、その周辺ライブラリとなる「cookiecutter-gokart」「thunderbolt」「redshells」について紹介したいと思います。よろしくお願いします。 はじめに Pipeline化のメリット・デメリット Pipeline化のメリット Pipeline化のデメリット gokart 共通化のための出力ファイル形式の制約と拡張 強力かつ簡易な再現性のためのデータ保持 クラウドサービスやSlack通知のサポート gokartのメリット、デメリ

[sh19910711]

Luigiのラッパー / "「データ、モデルの再現性」「開発とprod運用移行のしやすさ」を大きく前に押し出したライブラリ"

[fukumura]

良い話。OSS化してプロダクトとともに育てるの素敵です。

[somemo]

“再現性のために、全てのタスクの結果とパラメータ、モジュールバージョン、ログを保存する機能があったり、タスクを出来るだけ細かく簡易に書けるよう設計されている”

[inductor]

gokartという命名から、ばんくしが満を辞してgolangを書き始めたのかと思った。

[natsutan]

AutoML破産を忘れた頃に思い出させて、さらなる犠牲者を減らす動き。