[Kaggle]メラノーマコンペ参加記 - Qiita
0.はじめに KaggleのSIIM-ISIC Melanoma Classificationという医療画像コンペで銅メダル(191 place, top 6%)を獲得し、Kaggle Expertになったのでその参加記を投稿します。 メラノーマコンペの概要、新しく学んだ理論、試した手法、上位solutionが含まれます。 特に手法に関しては参考になる部分はないかと思われますので、読み飛ばしていただいて構いません。 この記事ではある程度機械学習, Kaggleについての知識を前提としていますが、ニュアンスだけでも読めますので軽く読み流して頂けると幸いです。 0-1.ざっくり結論 ・非常にシンプルなタスクで、時間がない中でも取り組みやすかった ・データのかさ増しと、upsamplingが重要なコンペであった(が、upsamplingに関してはできなかった) ・Data Augmentatio
![[Kaggle]メラノーマコンペ参加記 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/5469c62b2726aac512507ed6a9664b461d1dc950/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCS2FnZ2xlJTVEJUUzJTgzJUExJUUzJTgzJUE5JUUzJTgzJThFJUUzJTgzJUJDJUUzJTgzJTlFJUUzJTgyJUIzJUUzJTgzJUIzJUUzJTgzJTlBJUU1JThGJTgyJUU1JThBJUEwJUU4JUE4JTk4JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz0zYTkwZDliNDQzYjgxY2JiNDBjZGIzNjQ1YTA1MTdlNw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0YWNoeW9uNzc3JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1lM2NmZTlmMmU1YzFmNGMyYWQyNmY5MzZiNTZkM2RkMQ%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D717c50e7ecfe14071f4156c6a0e3cfdf)
日本から参加可能な「データ分析コンペ」一覧【世界版まとめ】 | AIDB
今、データ分析コンペが熱い！ 人工知能（AI）の発展に伴い、データサイエンスの分野はますます盛り上がりを見せています。同時に、企業や研究者から出される課題に対して、世界中のデータサイエンティストたちが競い合う「データ分析コンペティション」 の数も増えてきました。 コンペの参加者たちは、 機械学習などの分析技術を駆使して、課題をクリアする最適解の発見を目指します。最も良い成果を上げた参加者には賞金が授与され、課題を出した企業がそのアルゴリズムを買い取るようなしくみになっています。コンペは実力試しになるだけでなく、上位成績を収めることで仕事のオファーにつながる場合もあります。 データ分析コンペティションプラットフォームの中で最も有名なのは「Kaggle」ですが、実はKaggle以外のプラットフォームもいくつか存在します。この記事では、そんな世界のデータ分析コンペティションプラットフォームを一覧
Kaggle入門 | フューチャー技術ブログ
春の入門祭りの第11弾です はじめにTIGの伊藤真彦です、第10弾に続いての投稿です。 フューチャーではAI教育・認定のオリジナルプログラムFuture AI Certificationが実施されています。私も入社早々に本プログラムでGoogle Colaboratoryを用いてノートブック形式でのドキュメントを作成、実行する形での学習しました。入社以前からAI関連の技術に興味を持っており、AWSの機械学習認定資格に合格するなど勉強していたので、とても嬉しかったです。 このFuture AI Certificationプログラムで学習した勢いで、この度Kaggleにチャレンジしてみました。 この記事の内容実際にKaggleに挑戦する上で自分が知りたかったこと、やってみたことを書いていきます。 kaggleとは Kaggleは企業や研究者がデータを投稿し、世界中の統計家やデータ分析家がその最
【無料】ゼロからはじめる機械学習講座「Kaggleに挑戦」（テックジム・オープン講座）
【募集期間】 2019/10/29(火) 20:58 〜 2019/12/17(火) 21:00 会場：デイズ赤坂見附 東京都港区赤坂3-9-1 紀陽ビル ［地図を表示］ 主催：テックジム赤坂見附校 Numpy,Pandasライブラリを使って機械学習のデータ処理を体験し、線形回帰の問題を解いていきます。 ラストは学んだことを活かして、Kaggleに挑戦してみましょう。 対象者エンジニア歴数年以上の方。 プログラミング初心者は「ゼロからはじめるパイソン入門講座」をオススメします。 ご用意いただくもの・ノートPC持参 ・言語はPythonを使います。 今回学ぶこと・numpyライブラリ ・matplotlibライブラリ ・ヒストグラム ・データフレーム ・データ分析 ・要約統計量を表示する ・単回帰分析 ・散布図の上に計算した回帰係数と切片が示す直線を上書き表示 ・モデルの決定係数 ・Kagg
Kaggle参戦記 〜入門からExpert獲得までの半年間の記録 & お役立ち資料まとめ〜 - ML_BearのKaggleな日常
これはなに？ デジタルマーケター 兼 プロダクトマネージャー 兼 データアナリスト (肩書長い…) の私が Kaggle に挑戦した約半年間の記録です。現時点で2つのコンペに真面目に取り組んで2つの銀メダル(入賞)を獲得出来ています。 Kaggle挑戦期間を通して、有識者の素晴らしい資料に助けられたのでとても感謝しています。同じような志を持つ方に自分の記録が少しでも役に立てばと思い、有用な資料のリンク集に私のKaggle参戦記ポエムをつけてまとめてみました。 自分の得意領域で勝負しようと思ってテーブルデータのコンペばかり選んでいるのでDeepLearning系の話は全然ないです、すみません。 目次 プロローグ Kaggleへの興味の芽生え 初参戦 → 即撤退 ガチ参戦に向けた修行 初ガチコンペデビュー 初ガチコンペ…、のはずが。 初ガチコンペ参戦 ベースモデル作成 特徴量エンジニアリング
Kaggleに入門したい人におすすめするアプローチ法 - Drumatoの独り言
注意: 2019年11月12日追記. 非常に多くの方にご覧頂いているこの記事ですが, 私が機械学習･データサイエンスの勉強をし始めた時期に執筆したものであり, また現在は低レイヤー,システムプログラミングの勉強をしており,この分野についてはノータッチです. 内容については 信憑性に欠ける記事 というのを念頭に置きつつ, あくまでKaggle入門者が ｢どうやってKaggleを始めるか｣を考えていく記事だと考えていただければ幸いです. 目次 目次 概要 簡単な経歴 Kaggleに対するアプローチ 結果よりもプロセスを意識する Python､R関係無く読む コミュニティに入る オススメ環境 高スペックマシンを扱えるカーネル NoteBookの管理にGit 実際の流れ 参加するコンペを選ぶ Kernelを見る 高スパンにカーネルを訪れて､最新の手法を真似し続ける Tips よく使われるアルゴリズ
kaggle初心者の私が3ヶ月でソロゴールドを獲得した方法 | リクルート
リクルートデータ組織のブログをはじめました。※最新情報はRecruit Data Blogをご覧ください。 Recruit Data Blogはこちら こんにちは。今年2018年4月より新卒でRCOに入社した松田です。 kaggle というデータ分析のコンペティション運営サイトが昨今世間に注目されていますが、 今回 TalkingData AdTracking Fraud Detection Challenge において2月にkaggleを始めた私が単独で金メダル(ソロゴールド)を獲得できたのでそれまでにやったことなどをシェアしたいと思います。 図: kaggleサイト( https://www.kaggle.com/ )のプロフィール画面より 図: kaggleでの活動ログ。中2ヶ月はやってないので実質の活動期間は1ヶ月ほど コンペの具体的内容やテクニックの話は 別記事 にまとめたので、
Kaggle TalkingData Fraud Detection コンペの解法まとめ(基本編) | リクルート
のようになっています。 click_time以外はカテゴリカルデータで、始めから整数で表現(Label Encoding)されたものが与えられています。 これはデータとしては非常にシンプルでここからいかに情報を引き出すかがポイントとなります。 アンバランスな目的変数 以上を用いて予測する対象がis_attributedというアプリダウンロード有無の指標です。 is_attributedが1のデータは広告クリック後にアプリがダウンロードされたクリックイベント、0のデータはそうでないものです。 約1.8億件の訓練データ全体に対してis_attributed=1のデータは50万件弱で、割合にして約0.2%と非常に少ないです。 このように、目的変数の分布がアンバランスであることがこのコンペの特徴のひとつです。 ちなみにアプリがダウンロードされた時刻attributed_timeも与えられていますが
Kaggle IEEEコンペ 上位解法まとめ - Tak's Notebook
目次 IEEE コンペ 所感 上位陣に共通しているポイント 異なる点 1st Place Solution チーム リンク 要点 時間特徴は重要でない Magic Feature Fraud な顧客 過学習の防止 詳細 Final Model UIDの見つけ方 EDA Feature Selection Validation Strategy 2nd Place Solution チーム リンク 要点 Data Cleaning CV Feature Engineering Final Blend 6th Place Solution チーム リンク 要点 User IDs CV Features Models Blending Post-processing Final submission 9th Place Solution チーム リンク 要点 ユーザーID CV Model 11
Kaggle音コンペで銅メダル獲得したときの手法解説 - Qiita
今年3月頃から機械学習（主にDeepLearning）とKaggleを始め、賞金のあるコンペ「Freesound Audio Tagging 2019（以下FAT2019）」に初めて挑戦しました。やるならばと金メダルを目指していましたが、結果はPrivateLB 89位で銅メダルに落ち着きました。苦労・工夫した点や、参考にした論文、記事、カーネルなども交えてここに記録したいと思います。 ちなみに以下が最終提出カーネルです。 定数で学習モードと推論モードを切り替えていたので、少し読みづらいですが…。なお、MixMatchなど一部の実装は実験的なもので、最終提出には使っていません。 モデルAの学習カーネル モデルBの学習カーネル（A→B 転移学習） モデルBを使った推論カーネル コンペの内容 FAT2019は、環境音データに対して「エンジン音」や「男性の歌声」などのタグを付ける認識モデルを開発
機械音の異常検知チャレンジ DCASE 2020 Task 2 - Qiita
(DCASEホームページより) はじめに 音を題材とした異常検知のデータセットによる機械学習コンペが始まりました。 音に関するコンペ自体が珍しいなか、タスクとして一般的な分類などでもなく、更に難しい異常検知が設定されました。 個人的に2019年に画像の異常検知に積極的に取り組んだのですが、音声は周波数領域に変換すると画像のように取り扱えることから、チャレンジしたい題材でした。下記は画像にチャレンジしたときの記事です。 欠陥発見! MVTec異常検知データセットへの深層距離学習(Deep Metric Learning)応用 深層距離学習(Deep Metric Learning)各手法の定量評価 (MNIST/CIFAR10・異常検知) この記事では、そのコンペ「DCASE 2020 Task 2 Unsupervised Detection of Anomalous Sounds for
Kaggleデータセットまとめ - Qiita
Fintech Santander Customer Transaction Prediction https://www.kaggle.com/c/santander-customer-transaction-prediction/data Kaggle datasets in finance category (ファイナンス系kaggleデータ一覧) https://www.kaggle.com/tags/finance Bitcoin Price Prediction (LightWeight CSV) https://www.kaggle.com/team-ai/bitcoin-price-prediction Uniqlo (FastRetailing) Stock Price Prediction https://www.kaggle.com/daiearth22/uniqlo
Kaggle上位ランカーの5人に聞いた、2019年面白かったコンペ12選と論文7選 | 宙畑
2019年も様々なデータサイエンス関連のコンペが実施され、論文が発表されました。その中でも面白かったものはどれか、5人のkagglerの方に直接お伺いしました。 2019年はTellusxSIGNATEで実施された衛星データコンペの解説(第1回・第2回)が、データサイエンティストの方に読んでいただいた宙畑のヒット記事としてランクイン。 では、データサイエンティストの方は他にどのようなコンペや論文に興味を持たれていたのか……と気になった宙畑編集部。 今回、以下5名のKagglerの方に協力いただき、2019年の振り返りとして面白かったコンペと論文、そしてその理由を教えていただきました。 あきやま様(@ak_iyama) jsato様(@synapse_r) Hiroki Yamamoto様(@tereka114) smly様(@smly) ※順不同 ※1名、非公表 Kaggleについては「世
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kaggleコンペで惨敗したけど、最高に楽しかった話
【機械学習】さあ、Kaggleを始めよう！ – Getting Startedに挑戦してみる | SECAT
「プログラミング未経験」だった私がKaggle参加までにしたこと｜みんなのマーケット株式会社｜note
完全初学者がKaggleの「入門」を高速で終えるためのおすすめ資料などまとめ（2019年12月版）｜カレーちゃん
Ta Feng Grocery Dataset
飯田産業 土地の販売価格の推定 | SIGNATE - Data Science Competition
Freesound Audio Tagging 2019 | Kaggle