kaggleコンペに参加した時に行った特徴管理方法を公開します - kaggle全力でやります
この記事は、kaggle Advent Calendar 2018 - Qiitaの24日目の記事です。 この記事では、先日終了したkaggleのPLAsTiCC コンペで私が行った、特徴の管理の仕方を紹介します。 コンペを約2ヶ月ほど戦い、数千の特徴を作り特徴管理が破綻しなかったので、最低限の管理はできていたとは思います。 ただし、これがベストだとは思っていなくて、強い方からマサカリ・アドバイスをもらって、より良い管理方法を模索したいという思いもあり、この記事を書いてみました。アドバイスなどあれば、是非コメントお願いします。 参考にした方法など コンペでの特徴管理にあたり、次の２つのブログを参考にしました。 Kaggleで使えるFeather形式を利用した特徴量管理法 feather - pandasの読み書きを高速化 基本的にこの記事の方法は、1.のブログで紹介されている方法を前提とし
機械学習初心者が約10ヶ月でメダルより大切なものを獲得できた話【kaggle Advent Calendar 17日目】 - ギークなエンジニアを目指す男
本記事は、kaggle Advent Calendar 2018の17日目の記事です。 qiita.com 何を書くか直前まで悩んでいましたが、16日に参加したAIもくもく会の中で、 機械学習に興味はあるけど、どのような手順で、何から勉強していったら良いかわからない という方が数名いたので、自分が今年の3月くらい〜今日に至るまで勉強してきた中から 今の自分ならこのような手順で勉強することをオススメする！という記事を書いてみようと思います。 ※自分の勉強した教材の中からのオススメになるので、偏った内容になることをご了承ください。 ※これもオススメ！というものがありましたら、ぜひ教えていただけると嬉しいです。 タイトルにあるメダルより大切なものについては最後に記載しております。 対象読者 2018年3月時点の筆者スペック 2018年3月〜今日に至るまで勉強したこと羅列 書籍 動画 udemy
線形回帰 -入門 Kaggle House Pricesで試してみる- - fukuの犬小屋
回帰（Regression）とは 教師あり学習には回帰と分類があります。 回帰は出力が連続値、分類は離散値という違いがあります。 線形回帰（Linear Regression）とは 線形回帰とは下の画像のように、与えられたデータからそれを表現するもっともらしい式を導き出す回帰の一種です。 特に線形でざっくりと表現するものを指します。 In statistics, linear regression is a linear approach for modelling the relationship between a scalar dependent variable y and one or more explanatory variables (or independent variables) denoted X. 引用: Linear regression – Wikipedia
KaggleのHouse Pricesに挑戦 その１ - Masser’s Blog
今回kaggleの初心者向き課題の一つであるHousingPriceに挑戦しました。とはいいつつも項目数が70以上もあり、参加している人もレベルがかなり高いので前回挑戦したタイタニックに比べればはるかに難しいです。 HousingPriceとは 米国アイオワ州のエイムズという都市の物件価格を予測する問題となります。データは、”築年数”、”設備”、”広さ”、”エリア”、”ガレージに入る車の数”など79個の項目数および1460戸の学習データが与えられます。そのデータをもとに、残りの1459戸の家の価格を予測します。 はじめに 今回課題を取り組むにあたって以下のkernel、ブログを参考にしました。 Stacked Regressions : Top 4% on LeaderBoard | Kaggle こちらのリンクでは欠損値の埋め方等を参考にしました。 KaggleのHousePrices問
KaggleのHousePricesで学ぶアンサンブルとパラメータチューニング - mirandora.com
本記事のコード/ご参照 ・本記事の全体のコードのnotebookを以下にアップしております。あわせてご参照くださいませ。 “Kaggle houseprices-tutorial-code” ・本記事含むKaggleやデータ分析初学者向けのチュートリアル解説本を執筆しました。あわせてご参照くださいませ。 ※本記事のコードや環境構築の詳細手順を記載した書籍となります。 『Pythonで動かして学ぶ！Kaggleデータ分析入門』 ※はじめに 本記事は2020年の上記書籍発売に合わせて内容を加筆・修正しました。そのため執筆当初と内容が異なる箇所がございます。 データサイエンティストの業務は華やかなPythonでの機械学習よりもBigQueryなどでの地道なデータ収集・データ集計に時間が割かれるのではと思います。もちろん、機械学習とデータ集計、どちらが華やかなのかには異論があり、芸術的なQuery
Kaggleのtitanic問題で上位10%に入るまでの環境構築とデータ分析 - mirandora.com
本記事のコード/ご参照 ・本記事の全体のコードのnotebookを以下にアップしております。あわせてご参照くださいませ。 “Kaggle titanic_tutorial_code” ・本記事含むKaggleやデータ分析初学者向けのチュートリアル解説本を執筆しました。あわせてご参照くださいませ。 ※本記事のコードや環境構築の詳細手順を記載した書籍となります。 『Pythonで動かして学ぶ！Kaggleデータ分析入門』 ※はじめに 本記事は2020年の上記書籍発売に合わせて内容を加筆・修正しました。そのため執筆当初と内容が異なる箇所がございます。またKaggleあるいはデータ分析における最初のチュートリアルとしてtitanicは長らく親しまれておりましたが、下記3点の現状があることをご認識いただいた上で取り組まれるのが良いかと思います。 ・データ数が少なくOverfit（過学習）しやすい ・
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Titanic
??????????:Prediction(??) House Prices EDA