timmのModelEmaについて（ISIC2024コンペ振り返り①）
先日のKaggleのISICコンペは結構時間をかけて参加しましたが、惨敗でした…。（1088位/2739チーム） 上位解法で気になったものをいくつかまとめようと思います。まずは4thが画像モデルに使っていたtimmのModelEMAについてです。 timmのModelEmaとは？ ModelEMA（Exponential Moving Average）は、モデルの重みの移動平均を保持するテクニックで、モデルの安定性や汎化性能を向上させるために用いられます。先日の関東kaggler会でもちょろっと紹介されていたようです。 1. EMAの基本的な考え方 EMAは、現在のモデルの重みと過去の重みの指数関数的な移動平均を計算します。これにより、学習中に過度に更新された重みを平均化し、より滑らかな更新結果を得ることができます。一般的には、次の式で表されます。 EMAの重み更新は次の式で表されます：
Entity Embeddings を使ってタイタニック号生存者を予測する深層学習モデルを作る - Qiita
Entity Embeddingsという深層学習の手法があります。深層学習がよく使われる画像分析や音声分析などのデータとは違う、カテゴリ変数や順序変数の特徴量を学習する時に使います。 Entity Embeddingsが広く知られるようになったきっかけは、KaggleのRossmann Store Salesコンペでした。１位と２位のチームがドメイン知識をフル活用したアプローチをしたのに対し、この手法を活用したチームはドメイン知識の無い中なんと３位に入賞しました。コンペの説明と、使われた手法については、３位のNeokami Incのインタビュー記事、使われたソースコード、コンペ後に発表した手法に関する論文などで学ぶことができます。 タイタニック号生存者予測コンペのサンプルデータに対し、このEntity Embeddingsを実装するにはどうすれば良いのでしょうか。 0. 環境構築 環境構築
分散深層強化学習ライブラリHandyRLをコンペで使ってみた。 - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。ブログ書きながら、当チームのガチョウを見守っています。 最近までHungryGeeseに参加しており、このコンペでHandyRLライブラリには大変お世話になりました。 このコンペでHandyRLを改造して使ったので、そのポイントを記録として残しておきます。 HandyRLとは HandyRLの使い方 基本編 Tips 自己対戦以外でエージェント作成 様々なエージェントで評価 自己対戦モデルを一定期間保存する 学習済モデルの実行 決定的動作で動かす 感想 HandyRLとは 一言で言えば、PyTorchで利用できる軽量な深層分散強化学習用のフレームワークです。 実際に使ってみた感想としても、これまでの強化学習のFWより直感的に理解しやすいものでした。 github.com 分散深層強化学習ではこの2つの処理を同時に行っています。 1. エージェントを自己対戦さ
Google Colaboratory で始める Kaggler 生活(データ入手と提出編) - Qiita
Google Colaboratory で Kaggle コンペに参加したいときの データの入手方法や提出方法についてまとめました。 実際の学習を行う部分は省略していますのでご注意ください。 記事よりも下記の成果物とリンク見たほうが早いと思います。 リンク 今回の成果物 | google Chrome 以外のブラウザだとうまく開けない可能性あります https://github.com/Kaggle/kaggle-api https://github.com/google/google-api-python-client Using kaggle datasets into Google Colab - Stack Overflow Kaggle API with Colab | Colab notebook 必要なもの Google アカウント Google Chrome 各手順 お好き
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
