小ネタ：Pytorch で Automatic Mixed Precision (AMP) の ON/OFF をするときの話 - 俵言
最近気付いたのでメモ。長くなってしまったので、結論だけ見たい場合はまとめまで読み飛ばしてください。 まえおき NN を学習する際の GPU メモリの使用量軽減や学習速度の向上手段として混合精度学習(Mixed Precision Training) は欠かせません。pytorch では torch.cuda.amp モジュールを用いることでとてもお手軽に使うことが可能です。 以下は official docs に Typical Mixed Precision Training と題して載っている例ですが 、 model の forward と loss の計算を amp.autocast の with 文中で行い、loss の backward と optimizer の step に amp.GradScaler を介在させています*1。 # Creates model and opt
感想文：Pythonトリック ～真に効果的なPythonプログラミング手法～ - 俵言
最近全くブログを書いてないのでリハビリとして読書感想文を書くことにしました。よくよく考えると本をちゃんと全部読み切ったのもかなり久々かも。 最近まで「Kaggle！」「機械学習！」みたいなテンションを続けていたのに少し疲れてしまった感があり、こう、すぐ役立つかわからないけど興味本位で基礎的な知識を入れるという行為をしたくなったんだと思います*1。 読んだ本 Pythonトリック 作者:Dan Bader発売日: 2020/04/15メディア: 単行本（ソフトカバー） 去年の４月に発売された本です。その少し前に出た 自走プログラマー ~Pythonの先輩が教えるプロジェクト開発のベストプラクティス120 と一緒に買ったのですが、気づけば積んだまま一年経ってました😇 あらゆる場面で活躍するプログラミング言語、Python。 本書はそんなPythonをマスターし、日々のプログラミングに活用した
効果検証入門 1章の個人的最難関だった t 検定の話 - 俵言
はじめに 巷で話題になっているアイツを僕も読み始めてます。(他の本も読まないといけないのに) 効果検証入門〜正しい比較のための因果推論/計量経済学の基礎 作者:安井 翔太出版社/メーカー: 技術評論社発売日: 2020/01/18メディア: 単行本（ソフトカバー） 初歩的な所から理解したいという気持ちで輪講で1章の担当になり資料を作っていたのですが、有意差検定のあたりで頭がバグったので t 検定の復習をして行間を埋めることになりました。 これのせいもあって1.3節だけスライドのボリュームが多い— 俵 (@tawatawara) February 20, 2020 おそらく1章で一番( 無駄に*1 )頑張ってしまったので、その内容を備忘録がてら書くことにします*2。統計全然わからんので、変なこと言っててもつよつよ勢はどうかヤサシクシテホシイ.... 介入(ガチ勢からのいいね)によって急激に書
kaggle で初めてメダル(silver) を取ったものの、お詫びせざるを得ない件 - 俵言
チーム(AgroDesign) で参加していた Human Protein Atlas Image Classification で22位になり、silver medal を獲得しました！ Private Leaderboard 前参加した台風コンペ(@SIGNATE)では被災して 最下位に落ちたため、この結果は本当に嬉しかったです。正直言うと gold 取りたかったですが 「全部やる」努力が足りませんでした...。 kaggle 自体はずいぶん前に登録していたものの、過去に何度かやろうとしては放置するを繰り返していたので、ちゃんと諦めずに完走できたのは本当に良かったです。そしてそれが最後二日での「脳汁ドバア」(Public で 100位、Private では150位 程の更新) に繋がりました。 というわけで何をやったかと、今回は計算資源的にかなり支援を受けてたのでそこら辺の経緯を書こう
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
