Papermillでノートブックをバッチ実行して分散環境におけるハイパーパラメータ探索を効率化する方法 - Qiita
1. はじめに こんにちは，(株) 日立製作所 Lumada Data Science Lab. の露木です。 今回はJupyterノートブックで引数付きのバッチ実行を可能にし，ハイパーパラメータ探索などを効率化するPapermill というOSSを紹介します。Papermillの設計思想や他ツールと組み合わせたシステムの全体像については，開発元のNetflixが詳細な記事 を公開しているのでそちらもぜひご覧ください。 1.1. Jupyterの利点 データサイエンス分野の方々であれば，機械学習スクリプトの試作やレポート作成のためにJupyterノートブックの形式でコーディングをすることはよくあるかと思います。Jupyterノートブックであれば，図1のようにMarkdownの形式の説明文とともにソースコードと実行結果をまとめられるため，第三者に計算の内容と結果をわかりやすく伝えられます (
ラベル伝播法・拡散法による半教師あり学習で少量のラベル付きデータから分類モデルを作る - Qiita
はじめに こんにちは，(株)日立製作所 研究開発グループ サービスコンピューティング研究部の露木です。 機械学習で一般的な教師あり学習の問題として，正解ラベルの付いているデータを大量に準備しなければならないことが挙げられます。この問題を解決するために，ラベルなしデータを活用することで必要なラベル付きデータの数を削減する半教師あり学習の分野があります。そして，半教師あり学習の一種にグラフベースのラベル伝播法があります。 ラベル伝播法は，あるデータのラベルをその近傍にあるラベルのないデータにコピーする (伝播させる) ことで，少量のラベル付きデータからモデルを学習します。また，「グラフベース」と呼ばれる理由は，ひとつひとつのデータをノード，データの類似度をエッジ (の重み) としたグラフを構成して，このグラフ上でラベルを伝播するからです。このとき，類似度の計算にカーネル法を組み合わせることで非
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
