機械学習システムの運用課題とコンテナオーケストレーションがもたらすもの - yubessy.hatenablog.com
最近仕事では機械学習を使ったアプリケーションをKubernetes上で運用することが多くなっています。 MLOpsのような言葉も次第に浸透してきたりと、システムとしての機械学習をどう運用していくかが活発に議論されるようになってきました。 運用に頭を悩まされてきた身としては心強い限りです。 この記事ではKubernetes(以下k8s)のようなコンテナオーケストレーション技術が、機械学習システム(以下MLシステム)の実行基盤としてなぜ適しているのかについて考えてみました。 注意点として、私はMLアルゴリズムの専門家ではなく、またLinuxやコンテナ技術の専門家でもありません。 あくまで仕事としてMLシステムを運用するためにk8sを利用している立場からの考察です。 TL; DR: MLシステムの運用には次のような課題が存在する 目的によって求められるワークロードの形態が異なる 一時的・断続的に
エンジニアとしての機械学習との付き合いかた - yubessy.hatenablog.com
社内のLT大会にて表記のタイトルで発表しました。 資料は以下に公開しています。 speakerdeck.com 最近仕事ではもっぱら機械学習システムの開発を行っていますが、モデルは作れても継続的な運用や実環境での安定稼働にはまだまだ苦労することが多く、いろいろと模索しているところです。 そんな中で今なんとなく考えていることをまとめてみた、という程度の内容ですので、わかったように書きつつわかっていないこともあります（ご容赦ください）。 スライドでも紹介している以下の２つの資料は、運用まで面倒をみる機械学習エンジニアとして非常に参考になる内容で、おすすめです。 Machine Learning: The High Interest Credit Card of Technical Debt Rules of Machine Learning: Best Practices for ML Eng
学習アルゴリズム以外のscikit-learn便利機能と連携ライブラリ - yubessy.hatenablog.com
Pythonで機械学習を使う場合、scikit-learnには何かとお世話になる。 豊富な学習アルゴリズムの実装を利用できるのが長所だが、実はアルゴリズムそのもの以外にも、前処理や評価のための様々な便利機能を有している。 これらを知らずに使っていると，車輪の再発明をしてしまうことになる。 また、機械学習関連のPythonライブラリはscikit-learnと連携できるAPIをもつものも多い。 scikit-learnを中心とするエコシステムが成立しているとも言える。 中にはコードをほとんど書かずに簡単なモデリングができるようなツールまである。 この記事では個々の学習アルゴリズムではなく、scikit-learnに予め用意されている便利機能やscikit-learnと連携できるライブラリなどを紹介する。 便利モジュール・パッケージ 前処理や評価で使われる一般的なテクニックの多くは既に実装され
Coursera の機械学習コースを完走して修了証を取得した話 - yubessy.hatenablog.com
昨年の10月から12月にかけて Cousera の機械学習オンラインコース "Machine Learning" を受講し、無事完走することができた。 www.coursera.org コースは無料で受講できるが、修得したことを公式に認定する修了証 (verified certificate) を取得するためにはお金がいる。 機械学習コースの取得料は$49と安くはないが、記念と思って取得してみた。 取得すると以下のようなパーマリンクがもらえて、修了証が閲覧できるようになる。 https://www.coursera.org/account/accomplishments/verify/WX835R39AB77 もともとアルバイトをしていたはてなでこのコースを利用した勉強会が開催され、それに参加させてもらったのが受講のきっかけだった。 運営の id:takuya-a さんをはじめ皆様にはお世
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
