clavierのブックマーク - はてなブックマーク

[MLOps Tips] 社会実装・業務適用に向けた機械学習プロジェクトの進め方 - Qiita
はじめに昨今、様々な機械学習（深層学習を含む。以降、ML）の手法が提案されるとともに、社会実装や業務適用に向けたプロジェクトが開始されています。しかし、現実問題をMLで解き、社会的・実務上の価値に繋げることは容易ではなく、多くのプロジェクトがPoC（Proof of Concept, 技術の概念検証）で止まっています。（PoC疲れ、PoC地獄、PoC貧乏といった単語すら登場しています...）ここ数年で多くのPoCが行われた結果、様々な反省点や改善手法が提案されてきており、本記事では、特に有意義だった下記の2論文+個人的な経験を踏まえて、社会実装・業務適用に向けた機械学習プロジェクトの進め方について、まとめてみたいと思います。参考文献 Using AntiPatterns to avoid MLOps Mistakes How to avoid machine learning pi
clavier 2021/11/03
設計

development

study

機械学習

machinelearning

MLOps
リンク
Pytorch Template 個人的ベストプラクティス（解説付き） - Qiita
はじめに Pytorchでコードを書き始めるとき、乱数固定やデータローダー、モデルの訓練や学習結果の取得等、毎度色々なサイトを参照するのは面倒だと思い、現時点の個人的ベストプラクティス・テンプレートを作成してみました。今後のバージョンアップや便利なライブラリの登場で変わるかもしれませんげ、現在はこれで落ち着いています。個人的な備忘録も兼ねて、前半に簡単な解説付きのコードと最後に全コードを載せています。もっと便利な書き方やライブラリなどあれば、コメントいただけると嬉しいです。テンプレート（解説付き） 1. ライブラリインポートと初期設定 torchやよく利用するライブラリ(numpy, matplotlib)のインポートモデルの訓練時（for文）の進捗を表示するtqdmライブラリ（jupyter notebookとコマンドライン版）進捗表示は待ち時間の見積もりやエラーに気づくこと
clavier 2021/10/18
model

data

machinelearning

PyTorch

python

template

あとで読む
リンク
【厳選】Python実務データ分析でよく使う手法（分析手法編） - Qiita
はじめにデータ分析実務において、前処理や集計・可視化後によく行う分析手法をまとめました前処理編とデータ集計・可視化編の続きですここでいう「実務」とは機械学習やソリューション開発ではなく、アドホックなデータ分析や機械学習の適用に向けた検証（いわゆるPoC）を指します領域によっては頻繁に使う手法は異なるかと思うので、自分と近しい領域のデータ分析をしている方の参考になればと思います今回紹介する分析手法パレート分析線形回帰時系列解析（季節成分分解）時系列解析（時系列データの相関）ランダムフォレストによる特徴量の重要度 1. パレート分析対象データ：カテゴリカルデータ用途：各カテゴリの全体に対する構成比率ケーススタディ：製品カテゴリ別の売上データ（A~H）に対して、各製品カテゴリの売上傾向を把握したいサンプルデータの生成 A = np.repeat('Cat_A', 15
clavier 2018/11/13
あとで読む
リンク
1