はてなブックマーク

これは何？ '20/10-'21/01にKaggleで開催されていた Riiid! Answer Correctness Predictionの参加記録です public 51st (0.801) → private 52nd (0.802) と順位は奮いませんでしたが、現実世界での予測タスクに即したコンペの設計(後述)や、1億行を超える豊富なデータを扱えるといった内容が非常に勉強になるコンペでした。 Discussionに投下した内容と被りますが、自身の備忘録(と解法の供養) のためにまとめておきます。 コンペ概要 ざっくり言うと TOEIC勉強アプリでのユーザーの正答確率を予測するコンペ Code Competition (コードを提出する形式のコンペ) trainデータは約1億、testデータは約250万。 ただし次項で述べるようにtestデータは見ることができない SANTA TO

はじめに 自分は元々pandasが苦手でKaggleコンペ参加時は基本的にBigQuery上のSQLで特徴量を作り、最低限のpandas操作でデータ処理をしていました。 しかし、あるコードコンペティションに参加することになり、pythonで軽快にデータ処理をこなす必要が出てきたので勉強しました。 そこで、当時の勉強メモをもとに「これだけ知っていればKaggleでそこそこ戦えるかな」と思っているpandasの主要機能をまとめました。 注記 実戦入門 のつもりが ほぼ辞書 になってしまいました orz pandasとはなんぞや的な内容は書いていません (import pandasやDataFrameとは何かなど) pandas1.0系でも動くように書いたつもりですが間違ってたらすみません 目次 はじめに 注記 目次 Options DaraFrame 読み書き CSVファイル 読み込み 書き出

編集履歴 '20/01/28: 3rd solutionを追加 これはなに？ Kaggleで10/24-1/23に開催されたData Science Bowl 2019コンペの上位解法まとめです。 1/27時点で公開されている10位以内の解法をまとめてみました。 Shake-up/downの激しいコンペでしたが、上位入賞されている方の解法には学ぶところが多く、上位に入るべくして入った方が多い印象でした。 流し読みしてまとめたので、間違っているところとかお気づきの点あればご指摘ください。 金メダル圏内のものがあと4つぐらい公開されていたので後で足そうと思います。 1st 1st place solution Stats private 0.568 / public 0.563 要約 LightGBMのシングルモデル(!) Foldごとにシードを変えた5Fold 詳細 Validation L

これはなに？ Kaggle Days Tokyo 2日目に開催されたオフラインコンペの参加記録です。 参加88チーム中 25位(ソロ)と微妙な順位でしたが、これまでのkaggle参加の経験がとても活きて嬉しかったのと、コンペ後の懇親会が非常に楽しかったので、記録を書き留めておきます。 どんなコンペだった？ NIKKEI電子版のサイト閲覧ログを元に、ユーザーの年齢を推定するというお題でした。 与えられたデータの種類は以下の2つでした。(情報はざっくりで書いてます) ユーザーの記事閲覧ログ 記事ID / user_id 読了率/閲覧時間 接続元情報(地域/法人IP等) 接続デバイス/OS/ブラウザ/通信 記事データ 記事ID カテゴリ/ジャンル/ラベル/キーワード タイトル/本文/文字数 ユーザー別に記事閲覧ログを集約して、そのデータをモデルに突っ込むというのが基本戦略になります。 イベントロ

これはなに？ kaggle本を読んで血肉になった/したい点をなぐり書きにしたただの個人用メモです。ちゃんとした書評を書こうと思い続けてはや半月以上経過したので一旦書きました。 この箇条書きの記事だけ読んでも多分内容わからないと思うので、気になった点があればぜひ購入しましょう！読後すぐに書いた推薦ツイートは以下のとおりです。 kaggle本読み終わりました。初心者にも良い本だと思いますが、ExpertやMasterなりたての人が最も恩恵を得られそうだなと感じました。自分の今までのコンペ経験を思い返しつつ、その中では経験できなかった内容を学ぶことができ「賢者は歴史に学ぶ」が可能になった感があります。著者の方々に感謝です！— ML_Bear (@MLBear2) October 23, 2019 リンク Chap. 2 - タスクと評価指標 「しきい値の最適化」という概念 正例か負例のラベルを提

これはなに？ MalwareコンペはKernelやDiscussionから学ぶべき点が非常に多いコンペで、個人的にとてもコミュニティに感謝していました。(おかげさまでソロ銀メダルも取れました) なので、終わったらコミュニティに恩返ししようと思ってKaggleのDiscussionに投下するべく Malware コンペの解法や工夫していた点をサラッと箇条書きにしていました。 が、コンペの最終結果がKaggleの歴史的に見ても大荒れの結果(参考)になってしまって、真面目に英訳するのが面倒になったのでブログにサクッと起こしたものです。 これから肉付けしたり加筆しようと思ってたものをほぼそのまま出したのでヌケモレ多数あります笑 Malwareコンペのきっかけ Malwareの前はEloコンペをやっていましたが、1月下旬ごろからコンペに飽きていました。(その後raddar神が降臨して面白くなるのです

この記事は Product Manager Advent Calendar 2018 の5日目の記事として書かれました。 "たった3つ" のポイント 最近、仕事で久しぶりにLPやメルマガをがっつり書く機会がありました。 何を作るのか決めるのがプロダクトマネージャーの仕事ではありますが、作ったものの価値をユーザーに分かりやすく伝えるように文章を書く機会がしばしばある方も沢山いらっしゃるかと思います。 文章を書くのって大変ですよね。最近はそうじゃないものの、WEBの仕事を始めたばかり頃はLPの構成を決めたり、文章を書いたりするのがとても苦手でした。 そんなときに教えてもらったのが、3つのNOTを越えろ というライティングのフレームワークです。このフレームワークに沿って文章を構成すれば 70点ぐらいのクオリティ を量産することができます。 トライ・アンド・エラーが比較的容易なWEBの業界では、1