Kaggle画像コンペでやっていること① - Qiita
前者は非常にベーシックですが、一通りできることが上位を狙うためには必須なのではないかと思います。後者はコンペ次第ではありますが、上位からさらに差別化して抜け出すためには、そのデータのドメインを考えることが重要になってきます。 以下、まずは『いつもやること』について、あくまで私のケースですが、最低限このぐらいは見るという内容を書き下します。 いつもやること 例えばどんなことをするか？ 以下のようなものはざっと確認していると思います。 データを見る バリデーションの切り方を考える 解像度を変えてみる 数値を0-1範囲にノーマライズしてみる。Logスケールとってみる Dropoutなどregularizationを追加してみる OptimizerやLossをちょっと変えてみる 学習epochを長くしてみる/短くしてみる Augmentationを色々試してみる Modelやハイパラを変えてみる
松尾研究所のデータサイエンティストが今年の業務に役立ったと思う本10選
こんにちは、株式会社松尾研究所シニアデータサイエンティストの浮田です。本記事は、松尾研究所 Advent Calendar 2024の記事です。 私は今年、業務周辺のビジネス書や技術書を読むのに時間を割くよう心がけてきました。これはビジネススキルにしろ技術にしろ、業務ドリブンに都度調べるだけでは習得できるスキルに限界があり、しっかりと本を読んで体系的に学ぶことも大事だと思っているためです。そこで今回は、私が今年の松尾研究所で業務をする中で、何かしら業務の役に立ったことがある本を紹介したいと思います。 この記事では、まず私の松尾研究所での業務内容について簡単に記した後に、「仕事の進め方」「チームマネジメント」「クライアントワーク」「機械学習」「エンジニアリング」の5カテゴリに分けて紹介していこうと思います。 私の業務について 松尾研究所では、1) 様々な企業様とのAIの共同開発、2) 社内プ
2023-24年（上期）のKaggleコンペから学ぶ、NLPコンペの精度の上げ方
LLM関係のコンペがかなり多かったですね。 ベースラインノートブック 最近はほとんどのコンペがHuggingfaceのTrainerを使って学習が行われます（テーブルデータにおけるscikit-learnのような立ち位置です）。ChrisのNotebookは非常にシンプルにまとまっているのでぜひ参考にしてください。 分類（＋RAG） 回帰、分類 固有表現抽出 NLP・精度上昇で検討すること データを増やす LLMによるデータ生成 + ラベリング（CommonLit2 1st, DAIGT 1st, LLM Sci Exam 5th, PIIDD 1st） LLMによるデータ生成は必ずしも効果があるとは限らない データ生成方法も現状はベストプラクティスはない Mistral, Mixtral系列でデータ生成がよさそうな感じはする なお、LLMがラベル付けできないタスクでは厳しい印象です TT
Kaggle learnで学ぶ機械学習の基礎（初級編） - Qiita
Kaggleで始める機械学習入門でKaggleのアカウントを作成して、一通りの操作ができました。次はKaggle learnの以下の初級講座を使って機械学習の基礎を学習します。 この初級講座は７回のレッスンで構成されており、各回は解説パート(tutorial)と実践パート(exercise)に分かれています。実践パートでは、コンペと同様のNotebookでコードを動かす形になります。 実際にやってみた感想です。 ＜良かった点＞ ・１回１時間程度でサクッとできる ・１回あたりの内容は比較的かんたんで理解しやすい ・解説パートで学んだコードを実践パートで入力し、答え合わせできるので達成感がある ＜悪かった点＞ ・すべて英語… 英語なのは仕方ないですね。DeepLに頼りながら読み進めました。 内容としては、まず決定木を使ってシンプルなモデルを構築します。次にその結果を評価する方法を学び、良いモデ
番外編：VS CodeでKaggleしよう！
kaggleパッケージをインストールして、VS Codeの統合ターミナルからKaggle APIにkaggleコマンド を使ってアクセスし、ローカル環境でKaggleノートブックを実行してみましょう。
ポイントを押さえればTime-seriesコンペは怖くない 堅牢で速いコードを書くためのテクニックと心構え | ログミーBusiness
「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。能見氏は、「Time-series code competition」で生き残るために重要な4つのポイントについて発表しました。全2回。後半は、コード構成とエラーハンドリングについて。前半はこちら。 コード構成とデバッグ能見氏（以下、能見）：次はコード構成とデバッグの話です。Time-seriesコンペに関して、Kaggle環境でコードを書き切るのは、コード量が多くなるのでけっこうつらくなりがちです。そのため、手元で書いてGitで管理することをおすすめします。ただ、Time-seriesコンペでは信頼性の高い、わりと複雑なコードを書かなければいけないので、デバッグやテストの管理がしやすいように書きたいというのもあるかなと思っています。 自分がやりやすい方法で書くのが
Kaggle Grandmasterになるまでの7年間の軌跡 - のんびりしているエンジニアの日記
皆さんこんにちは お元気でしょうか。冬だというのに、GPUと暖房で半袖装備でも過ごせています。 今年、長きにわたるMaster生活の終演を迎え、ようやくGrandmasterになることができました。 そこで、Grandmasterになるまでの経験をこちらに書き記しておこうと思います。 この記事はKaggle AdventCalendar2021カレンダー2、25日目になります。 qiita.com 著者の背景 Kaggleへの取り組み 1-3年目 4年目 IEEE's Signal Processing Society Avito Demand Prediction Challenge Home Credit Default Risk 5年目あたり 6年目 Global Wheat Detection 7年目 Shopee - Price Match Guarantee Hungry Ge
State of Data Science and Machine Learning 2021
Download our executive summary for a profile of today's working data scientist and their tools
Catboostとは？XgboostやLightGBMとの違いとPythonでの使い方を見ていこうー！！｜スタビジ
当サイト【スタビジ】の本記事では、XgboostやLightGBMに代わる新たな勾配ブースティング手法「Catboost」について徹底的に解説していき最終的にPythonにてMnistの分類モデルを構築していきます。LightGBMやディープラーニングとの精度差はいかに！？ こんにちは！ 消費財メーカーでデジタルマーケター・データサイエンティストをやっているウマたん(@statistics1012)です！ Xgboostに代わる手法としてLightGBMが登場し、さらにCatboostという手法が2017年に登場いたしました。 これらは弱学習器である決定木を勾配ブースティングによりアンサンブル学習した非常に強力な機械学習手法群。 計算負荷もそれほど重くなく非常に高い精度が期待できるため、Kaggleなどのデータ分析コンペや実務シーンなど様々な場面で頻繁に使用されているのです。
Kaggleで学んだBERTをfine-tuningする際のTips①〜学習効率化編〜 | 株式会社AI Shift
こんにちは AIチームの戸田です 近年、自然言語処理タスクにおいて、BERTを始めとするTransformerをベースとした事前学習モデルを感情分類や質問応答などの下流のタスクでfine-tuningする手法が一般的になっています huggingfaceのTransformersなど、事前学習モデルを簡単に使うことのできるライブラリもありますが、Kaggleなどのコンペティションで上位に入るには素のモデルのままでは難しく、ヘッダや損失関数などの工夫などが必要です 本記事では私がKaggleのコンペティションに参加して得た、事前学習モデルのfine-tuningのTipsを共有させていただきます 書きたい内容が多くなってしまったので、今回は学習の効率化について、次回精度改善について、と２回に分けて書かせていただきます 事前準備 学習データとして、先日終了したKaggleのコンペティション、C
Google ColabとVSCodeを用いた分析環境運用方法 〜kaggle Tipsを添えて〜 - ギークなエンジニアを目指す男
こんにちは。takapy（@takapy0210）です。 本エントリは下記イベントでLTした内容の元に、補足事項やコードスニペットなどをまとめたものになります。 kaggle-friends.connpass.com ちなみに今回LTしようと思ったきっかけは以下のような出来事からだったので、みなさんのTipsなども教えていただけると嬉しいです！ 情報出回ってる感あるけど、colab pro × vscode ssh のオレオレ運用方法を晒すことにより、もっと良い方法のフィードバックもらえるのではドリブンでLTするのはありなのかもしれない・・・？— takapy | たかぱい (@takapy0210) 2021年8月1日 LT資料 当日みなさんから頂いたコメント 環境構築手順 ngrokアカウント作成と認証キーの取得 ColabにGoogleドライブを接続、ngrok、sshサーバー起動
ルールベース画像処理のススメ
データ分析LT会第二回で発表した際の資料です。 youtube: https://www.youtube.com/watch?v=jDZwX3jxhK4 conppass url: https://kaggle-friends.connpass.com/event/214854/ gi…
【挑戦者求ム】ぼくの考える最速のData LoadingとData Augmentation（Kaggle notebook） - Qiita
はじめに まぁタイトルの通りなのですが、Kaggle notebook上で行う最速のData LoadingとData Augmentationを考えてみたので紹介します。より速い方法を知っている方は教えてください！ 今回の題材は以下のように設定します。 データ こちらのコンペのデータを使います。10.2k枚のjpg形式の犬の画像です。 https://www.kaggle.com/c/dog-breed-identification/data 実行環境 GPUをenableにしたKaggle notebookで行います。 2 CPU cores 13 GB RAM Tesla P100 条件 trainデータ(画像とラベル)をすべてTensorにしてGPUにLoadするのにかかる時間を計測する バッチサイズは64 前処理 & Data Augmentationとして以下の処理をかける。（
Kaggleで戦いたい人のためのpandas実戦入門 - ML_BearのXじゃ言えない話
はじめに 自分は元々pandasが苦手でKaggleコンペ参加時は基本的にBigQuery上のSQLで特徴量を作り、最低限のpandas操作でデータ処理をしていました。 しかし、あるコードコンペティションに参加することになり、pythonで軽快にデータ処理をこなす必要が出てきたので勉強しました。 そこで、当時の勉強メモをもとに「これだけ知っていればKaggleでそこそこ戦えるかな」と思っているpandasの主要機能をまとめました。 注記 実戦入門 のつもりが ほぼ辞書 になってしまいました orz pandasとはなんぞや的な内容は書いていません (import pandasやDataFrameとは何かなど) pandas1.0系でも動くように書いたつもりですが間違ってたらすみません 目次 はじめに 注記 目次 Options DaraFrame 読み書き CSVファイル 読み込み 書き出
機械学習初心者がKaggleの「入門」を高速で終えるための、おすすめ資料などまとめ（2020年3月版）｜カレーちゃん🍛専業kaggler｜note
面倒なことはChatGPTにやらせよう・Kaggleスタートブック・Kaggleのチュートリアルを執筆/ KaggleGrandMaster / 毎週月曜配信 / 要望や質問などなんでも：http://marshmallow-qa.com/currypurin / サンリオ
Kaggle上位ランカーの5人に聞いた、2019年面白かったコンペ12選と論文7選 | 宙畑
2019年も様々なデータサイエンス関連のコンペが実施され、論文が発表されました。その中でも面白かったものはどれか、5人のkagglerの方に直接お伺いしました。 2019年はTellusxSIGNATEで実施された衛星データコンペの解説(第1回・第2回)が、データサイエンティストの方に読んでいただいた宙畑のヒット記事としてランクイン。 では、データサイエンティストの方は他にどのようなコンペや論文に興味を持たれていたのか……と気になった宙畑編集部。 今回、以下5名のKagglerの方に協力いただき、2019年の振り返りとして面白かったコンペと論文、そしてその理由を教えていただきました。 あきやま様(@ak_iyama) jsato様(@synapse_r) Hiroki Yamamoto様(@tereka114) smly様(@smly) ※順不同 ※1名、非公表 Kaggleについては「世
Kaggleで世界11位になったデータ解析手法～Sansan高際睦起の模範コードに学ぶ｜ハイクラス転職・求人情報サイト アンビ（AMBI）
Kaggleで世界11位になったデータ解析手法～Sansan高際睦起の模範コードに学ぶ Kaggleの上位入賞者であるKaggle Grandmasterを獲得した、Sansan株式会社のデータサイエンティスト高際睦起さん。模範となるソースコードをもとに考え方や解析手法を教えていただきました。 「Porto Seguro’s Safe Driver Prediction」とは？ 【技法1】前処理 【技法2】特徴抽出 【技法3】予測モデルの作成 Kaggle初心者は何から始めるべき？ データサイエンティストを目指す若き人たちへ 世界中のデータサイエンティストたちが集まり、企業や研究者が投稿したデータに対する高精度なモデルを競い合うプラットフォーム・Kaggle。メンバーは100万人を超えており、良問の多さや参加者のレベルの高さゆえに、機械学習を学ぶ者にとって優れた研鑽（けんさん）の場となって
社内でKaggleの布教活動をやっている話 - yasuhisa's blog
最近、社内勉強会で機械学習についてエンジニアに説明する機会があり、その際にKaggleについても説明しました。一方で うーん、「Kaggler はパラメータチューニングやアンサンブル等の自明でインクリメンタルな改善『しか』できない」というような誤解はどうやって解いていけばいいんだろう。— im132nd (@im132nd) 2018年4月4日 という話もあり、(特にデータサイエンティスト以外の職種の人が)Kaggleをやる意義/メリットについてまとめてみました。ガッと勢いで書いたので、項目に結構被りがあります。なお、書いている本人はKaggleほぼ初心者であまり説得力がないです。Kaggle Masterの人がもっといいエントリを書いてくれるのを期待しています、議論の叩き台エントリです!! Kaggleをやる意義/メリット 様々なデータセットを触ることができる kernelでデータ分析の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
今日からすぐできる Kaggleのススメ
pythonで気軽にパッケージを作るのは良いという話。
