Kaggleで10年遊んだGrandMasterの振り返り | ho.lc
2011年2月16日に Kaggle アカウントを取得して10年が経過した。長い間 Kaggle Ranking 世界 1 位を目指してきたが、この目標やモチベーションが大きく変化してきたと感じたため、一区切りつけるためにもこの10年+αを振り返る。今の目標は対象を問わずアルゴリズムで資産を最大化すること。エンジニアリングを駆使してデータからアルファを探し、システム化して運用する。実利的で定量評価できる最高に楽しいタスクです（記事では触れません）。 競技プログラミングからKaggleを始めるまで¶ Kaggle ができる前は ICPC や ICFP Programming Contest といった競技プログラミング系のコンテストに参加していた。ICPC ではアジア地区会津大会 2007、アジア地区東京大会 2008 に出場したが大敗して悔しくて仕方がなかった。コードゴルフも嗜む程度に遊んで
2018年のKaggleの"leak"を眺めてみる - u++の備忘録
はじめに 2018年のKaggleでは、何かと "leak" という単語が話題になった印象があります。 https://www.kaggle.com/docs/competitions#leakage 今回は、Meta Kaggleのデータを分析し、2018年のコンペで話題になった "leak" を眺めてみました。 Meta Kaggle 分析の概要 2018年に公開された全てのdiscussionから、タイトルに "leak" を含むものを抽出 ただし対象コンペは、2018年に開始したレート変動を含むものとする 対象コンペの抽出 discussionに関するデータセットには、コンペ名が記載されていませんでした。今回は "ForumId" をキーに結合することで、discussionとコンペ名を紐づけます。 compe = pd.read_csv("Competitions.csv") #
Feature scaling - Wikipedia
Feature scaling is a method used to normalize the range of independent variables or features of data. In data processing, it is also known as data normalization and is generally performed during the data preprocessing step. Since the range of values of raw data varies widely, in some machine learning algorithms, objective functions will not work properly without normalization. For example, many cl
Leakage in Data Mining
データマイニングの現場で頻発する Leakage という問題について本気出して考えてみた、的な論文を読んだ： Leakage in Data Mining: Formulation, Detection, and Avoidance. KDD 2011. 概要 Leakage とは、モデルを作るときに、本来知らないはずの情報（変数やデータ）を不当に使ってしまうこと 手元のデータではメッチャ高い精度が出たのに、本番環境ではまったく精度が出ない、といった事態になる その問題について定式化を試みると同時に、Leakage を検知・回避する方法を考える こういう議論がまじめにされてこなかったせいで、KDD Cup 2008 のようなプロが企画・主催したコンペでさえ、問題の不備による Leakage が発生している おもしろ事例集 はじめに、データマイニングコンペでの Leakage 事例が幾つか紹
雑記 - クッキーの日記
機械学習で Leakage ってよく聞きますけど、結局 Leakage の語義というか具体的に言い切ると何なのかよくわからないんですよね。漏れてはいけない情報が漏れていること、のようではあるんですが、何が漏れてはいけないんでしょう？ 我々は総力を挙げてテストデータの正答を予測するモデルの構築に取り組まなければならないのではないんでしょうか？ ここ https://www.kaggle.com/docs/competitions に What is Leakage? とあるから読んでみたらどうかな。「予期せぬ混入した情報」であって以下のようなタイプがあるって書かれているね。 テストデータに対する正答が漏れてしまっている。 テストデータであるはずのデータが訓練データに混ざってしまっている。 上の2つは言うまでもないね。自分でデータ分析をするときはバグでこれらの漏洩をしないように注意だね。コンペ
Million Song Dataset Challenge | Kaggle
Predict which songs a user will listen to.
kaggle初心者の私が3ヶ月でソロゴールドを獲得した方法 | リクルート
リクルートデータ組織のブログをはじめました。※最新情報はRecruit Data Blogをご覧ください。 Recruit Data Blogはこちら こんにちは。今年2018年4月より新卒でRCOに入社した松田です。 kaggle というデータ分析のコンペティション運営サイトが昨今世間に注目されていますが、 今回 TalkingData AdTracking Fraud Detection Challenge において2月にkaggleを始めた私が単独で金メダル(ソロゴールド)を獲得できたのでそれまでにやったことなどをシェアしたいと思います。 図: kaggleサイト( https://www.kaggle.com/ )のプロフィール画面より 図: kaggleでの活動ログ。中2ヶ月はやってないので実質の活動期間は1ヶ月ほど コンペの具体的内容やテクニックの話は 別記事 にまとめたので、
社内でKaggleの布教活動をやっている話 - yasuhisa's blog
最近、社内勉強会で機械学習についてエンジニアに説明する機会があり、その際にKaggleについても説明しました。一方で うーん、「Kaggler はパラメータチューニングやアンサンブル等の自明でインクリメンタルな改善『しか』できない」というような誤解はどうやって解いていけばいいんだろう。— im132nd (@im132nd) 2018年4月4日 という話もあり、(特にデータサイエンティスト以外の職種の人が)Kaggleをやる意義/メリットについてまとめてみました。ガッと勢いで書いたので、項目に結構被りがあります。なお、書いている本人はKaggleほぼ初心者であまり説得力がないです。Kaggle Masterの人がもっといいエントリを書いてくれるのを期待しています、議論の叩き台エントリです!! Kaggleをやる意義/メリット 様々なデータセットを触ることができる kernelでデータ分析の
実践多クラス分類 Kaggle Ottoから学んだこと
Kaggleのコンペに参加することで�色々な実践的ノウハウを学んだので�そのノウハウを共有する p.3～53 コンペ中に自分がやったこと�p.54～99 ハイランカーがやっていたこと�p.100～ ハイランカーかやっていたことを�自分も実際にやってみるRead less
Rで簡単な変化点検知(changepointパッケージ) - RigelのR言語メモであーる(主にpython)
最近kaggleをやりはじめました。 その時に、簡単な変化点検知が必要となった。 changepointパッケージを使った簡単な変化点検知のメモ。 changepointパッケージは、 change in variance change in mean change in mean and variance の三つがある。 今回の目的には、change in meanが合ってる。 以下Rコード y=data ansmean=cpt.mean(y) plot(ansmean,cpt.col='blue',type="o") abline(v=ansmean@cpts[1]+0.5,col=3) print(ansmean) 結果 Class 'cpt' : Changepoint Object ~~ : S4 class containing 12 slots with names cptt
Kaggle Tokyo Meetup #3 開催レポート - tkm2261's blog
こんにちは。tkm2261です。 今日は10/28に開催したKaggle Tokyo Meetup #3の模様をレポートします。 connpass.com このmeetupは@threecourseさんや@smlyさんが2年前ぐらいから始めて不定期で開催しており、 私もニートの有り余る労働力を活かして今回運営をして来ました。 開始前 今回はsmlyさんの勤め先であるアドバンステクノロジーラボさんに会場をお借りすることが出来ました。 いよいよKaggle Tokyo Meetup当日です！ 入り口入って右手のエレベーターで4Fです お待ちしております! pic.twitter.com/80r6soIJ9H— Takami Sato (@tkm2261) 2017年10月28日 渋谷の超良いところにあって、美術館の上という超良いところのオフィスでした。 今回、Youtubeのチャネル登録者数が
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データ分析コンテストの
勝者解答から学ぶ
Google Analytics Customer Revenue Prediction
Data Cleaning Challenge: Scale and Normalize Data