今日から使えるgokart小技集 - エムスリーテックブログ
こんにちは！ エムスリーエンジニアリンググループ AI・機械学習チームの氏家です。 AI・機械学習チームでは多くのMLプロダクトを開発・運用していますが、そのうちのほとんどがgokartという機械学習向けパイプラインライブラリを使って実装されています。 gokartはとてもMLプロダクトの開発に便利な反面、gokartを100%活用する方法が確立、普及しているとはいえません。 そこで、本記事では、実際にエムスリーで活用しているTipsなどを紹介していこうと思います。 これを機にどんどんgokartの知見がネット上に溢れるようになっていければ嬉しいです。 なお、本記事は「gokartで爆速開発！MLOps勉強会」の発表をもとに加筆したものとなります。 www.m3tech.blog 発表資料も公開していますのでそちらもご参照ください。 speakerdeck.com gokart Param
データオーケストレーションツールDagsterの紹介
データオーケストレーションとは データオーケストレーションという言葉をご存知でしょうか？日本ではまだ耳慣れない言葉ですが、data orchestrationでgoogle検索すると実に3000万件以上ヒットし、世界的には十分に市民権を得ている言葉です。Databricksではデータオーケストレーションを以下のように説明しています。 データオーケストレーションとは データオーケストレーションとは、複数のストレージからサイロ化したデータを取り出し、組み合わせて整理し、分析に利用できるようにするための自動化されたプロセスです。 このプロセスでは、レガシーシステム、クラウドベースのツール、データレイクといったあらゆるデータセンターが接続されます。データは標準形式に変換されるため、理解しやすく、容易に意思決定に利用できます。 オーケストレーションとは、コンピュータシステム、アプリケーション、および
Luigiで行うパイプライン処理をより円滑に！gokartについて紹介 - Qiita
これなに? Luigiのラッパーライブラリであるgokartについてのまとめ記事です。 開発の動機や、基本的な使い方はM3さんのブログにとても丁寧にまとまっており、基本的な使い方はここを読めばよいやんという話ですが、逆引きリファレンス的にまとめたかったので、記事にしました。 なお、Luigi本体の機能についてはあまり説明しません。 Luigiとは? Spotifyが開発しているPipelineフレームワークのOSSの一種です。Pythonで実装されており、luigi.Taskを継承して requires(): 依存しているTask run(): 実行する処理 output(): 出力先 の３つのメソッドを記述するだけで、簡単にワークフローが作れます。 名前の由来は Also it should be mentioned that Luigi is named after the pipel
PythonはJavaやC ++に比べて非常に遅いのに、なぜ機械学習のような高速アルゴリズム処理にPythonが使われるのですか？ - Quora
機械学習でPythonで行うというのは、Pythonで計算処理をすることではなくて、C++等で書かれた（Python向けの）の計算処理の外部ライブラリを使うことを意味しています。Pythonを使うのは簡単なデータの前処理や後処理（結果をログファイルに書き出すなど）だけです。メインの計算処理をPythonで書くことはありません。というか、Pythonはそもそも機械学習みたいな重い計算に用いることは全く想定されていない言語なので、メインの計算処理は書きたくてもPythonでは書けません。 こう書くとPythonは不便な言語だなと思われるかもしれませんが、実際には、深層学習などの、GPUや並列計算機をブン回すような重い計算を必要とするような処理は、JavaだろうがC++だろうが、基本的に、素人（機械学習の専門家は、普通、計算機の高速化(HPC)に関しては全くの素人です）が書いたコードは、遅すぎて
【保存版・初心者向け】独学でAIエンジニアになりたい人向けのオススメの勉強方法 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 追記 【2020年版・初心者向け】独学でAIエンジニアになりたい人向けのオススメの勉強方法 【保存版・初心者向け】独学でAIエンジニアになりたい人向けのオススメのAI勉強方法 また、Pythonや機械学習がオンライン上で学べるAI Academyをnoteでも書きましたが、3/17日からほとんどのコンテンツを永続的に無料で利用できるよう致しましたので、是非使って頂けますと幸いです。 AI Academy Bootcamp 我々が提供している個人向けオンラインAIブートキャンプのご紹介です。 AI Academy Bootcamp AI
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データマイニング入門