Kaggle Grandmasterになるまでの7年間の軌跡 - のんびりしているエンジニアの日記
皆さんこんにちは お元気でしょうか。冬だというのに、GPUと暖房で半袖装備でも過ごせています。 今年、長きにわたるMaster生活の終演を迎え、ようやくGrandmasterになることができました。 そこで、Grandmasterになるまでの経験をこちらに書き記しておこうと思います。 この記事はKaggle AdventCalendar2021カレンダー2、25日目になります。 qiita.com 著者の背景 Kaggleへの取り組み 1-3年目 4年目 IEEE's Signal Processing Society Avito Demand Prediction Challenge Home Credit Default Risk 5年目あたり 6年目 Global Wheat Detection 7年目 Shopee - Price Match Guarantee Hungry Ge
Google Cloud Storage（GCS）でうっかり30万以上溶かした話 - のんびりしているエンジニアの日記
皆さんこんにちは。 コンペで頑張ったので疲れました。 さて、Google Landmark 2021が終了し、Retrieval5位（金）、Recognition12位（銀）となりました。 本日は自戒と反省により、クラウドで30万円消失した話を 記録として書こうと思います。皆さん私を見て反面教師にしてください。 事象 9月入ってからLandmark2021に参加し、Google Cloud Platform、通称GCPを利用していた。 主な利用はGoogle Cloud Storageのみで、ほぼ容量課金だろうと高をくくっており、課金請求の上限など入れ忘れてました。 すると9/18に久々に請求額を確認すると32万ほどの請求額がありました。 さすがに目玉が飛び出て、調査にあたったといったものになります。 課金内容を確認したら原因はすぐにわかり、チームで対策を打ちました。（私が慌てて学習にスト
TensorFlowにdefine by run（TensorFlow Eager）がやってきた - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。今回の三連休は二郎食べて満足しました。 Chainerにはじまり、PyTorchなどdefine by runで ニューラルネットワークを計算するフレームワークがあります。 このdefine by runは非常にRNN系のニューラルネットワークを書く際に重宝しています。 そして、10月末にTensorFlowからもdefine by run用の インターフェースが試験的に提供されました。それがTensorFlow Eagerです。 ※define by runが不明な方はこちらへ s0sem0y.hatenablog.com TensorFlow Eager TensorFlow Eagerは次の公式の記事で紹介されています。 ただし、この機能はPreview段階です。 通常使う場面では問題ないと思いますが、念のため何か起こっても問題ない環境で利用してくださ
Dockerを使ってGPUも使える分析環境を構築してみた - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。Kaggle Meetup面白かったです！またあいましょう。 今日はDockerを使った分析環境構築の話をしようと思います。 Dockerを使って何を作ろうかと思ったら、分析環境さっさと作りたい・・・ cudnn等の更新が面倒であることが思い浮かびました。 なんとなく、Dockerを使えば解消できるのではないかといったことを思いつき遊んでみました。 Dockerとは Dockerはコードやシステムライブラリ、システムで利用するのを実行するために 必要な全てが含まれているものをラップするソフトウェアらしい。 OS上で仮想環境を立ち上げ、ソフトウェアなどの実行ができます。 www.docker.com Dockerのメリット 公式サイトによれば、次のとおりです。 階層化されたファイルシステムから構築されるので、ディスクやイメージが効率的 DockerコンテナはL
ChainerのTrainerを使ってみた - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。最近、Chainer便利でびっくりしたような頃合いです。 頻繁に更新することで有名なChainerですが、久々にupgradeすると以前よりも シンプルなタスクについて、簡単に学習ができます。 Trainer Chainer version 1.11.0よりTrainerと呼ばれる機能が実装されています。 以前まで学習用バッチ処理を自前で書くようなことが 必要でしたが、これを使うことによってバッチ処理を書く必要がなくなります。 実際の機能としてはある処理をhockしたり、グラフを出力したり レポートを表示したりと学習中に確認したいグラフは沢山あります。 それらのグラフを可視化したいといったことは往々にしてあります。 Trainerの基本的な使い方 Trainerを使うと、Progress Barやlogを自動的に吐き出すことができます。 通常のモードでは、T
高速化のためのPython Tips - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか？私は元気です。 Pythonにおける高速化手法を掲載してみます。 簡単なコード並びに索引のような感じで引けるようなイメージで作成しました。 本日の目次です。 Pythonにおける高速化の必要性 Pythonの高速化 高速化の手順 Profiling 基本的な条件 計測コード Pythonの基本的な書き方部分 rangeよりxrangeを（Python2.7） リストの生成 文字列結合 Import文のコスト 関数呼び出しのコスト ドットを避ける yieldを使う Numpyに関するTips Numpyを使用して基本演算を高速化する Numpyの要素にアクセスする演算をしない Numbaで手早く高速化 その他高速化ツール Cython Dask PyPy 感想並びに展望 参考文献 Pythonにおける高速化の必要性 PythonはC++やJavaと比較すると非
強化学習とは何か、調べてみた - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 今日は強化学習の勉強がてらメモを書いてみました。 個人的には最近、注目している分野で、ゴールがあるような（クラス分類やRegression） 機械学習と異なり、汎用的に色々問題が解けそうだからというのが理由です。 （なんか色々語弊を生みそう） 間違っていれば教えて下さい。 強化学習 強化学習における要因 Policy Reward Function Value function model of the environment 強化学習で解ける問題 参考文献 強化学習 強化学習はある環境ないにおけるエージェントが、 現在の状態を観測し、取るべき行動を決定する問題を扱う 機械学習の一種 by wikipedia この中で登場するのは、「状態」と「行動を決定する」といったところでしょうか。 つまり、「ある状態の時に、どう行動をするか」といったこと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
