はてなブックマーク

はじめに Kaggleのタイタニック GitHubリポジトリ 執筆の経緯 大まかな方針 参考にした情報 フォルダ構成 configs data input output features logs models notebook scripts utils 計算の実行 Git管理 おわりに はじめに 本記事では、Kaggle用フォルダ構成や管理方法について、現時点での自己流の方法をまとめます。「現状自分はこういうやり方を試している」という話なので、よりよい方法などあれば、ぜひTwitterなどで教えてください。 具体例がないと抽象的で分かりづらいと思ったので、Kaggleのタイタニックを題材にしました。GitHubのリポジトリも公開しています。 Kaggleのタイタニック Kaggleのタイタニックとは、Kaggleのチュートリアル的な問題として認知度の高いコンペティションです。タイタニッ

今回は、KaggleのWinner solutionにもなった「K近傍を用いた特徴量抽出」を紹介します。 Rでの実装は公開されていますが、Pythonでの実装は確認できなかったので、自前のPython実装も公開しています。 github.com アルゴリズムの概要 Pythonでの例 可視化のためのパッケージ読み込み サンプルデータの生成 可視化 K近傍を用いた特徴量抽出 可視化 iris での例 追記20180624 実装の修正 はてなホットエントリ入り アルゴリズムの概要 近傍数を、分類するクラス数をとした場合に、アルゴリズムは個の特徴量を生成します。生成される特徴量は下記のように、観測値と各クラス内の最近傍点との間の距離から計算されます。 とあるクラスに属する訓練データの中の第1近傍までの距離を1つ目の特徴量とする とあるクラスに属する訓練データの中の第2近傍までの距離の和を2つ目の

このたびご縁があり、Pythonを用いたKaggle入門書を講談社から出版する運びとなりました*1。現在デザインや校正などを進めている段階で、発売開始は2020年3月17日を予定しています。 https://www.amazon.co.jp/dp/4065190061 同人誌ながら累計2500部以上を売り上げている『Kaggleのチュートリアル』*2を執筆したカレーさんとの共著です。 私がQiitaに投稿した「Kaggleに登録したら次にやること ～ これだけやれば十分闘える！Titanicの先へ行く入門 10 Kernel ～」*3と、カレーさんの『Kaggleのチュートリアル』を基にした書籍です。この2つのコンテンツを土台に、さらなる内容も盛り込みながら「初学者向けのKaggle入門書の決定版」を目指して執筆を進めています。 本書の前半では、初学者向けチュートリアルの「Titanic

限定の先行販売*1で紙版を入手した『Kaggleで勝つデータ分析の技術』（技術評論社）を読みました。なお電子版をご恵贈いただく予定です。 gihyo.jp 10月7日の発売を待たずして Amazon*2のベストセラー1位になるなど、注目を集めています。 既に著者の一人である threecourse さんは、執筆者視点で見どころを紹介しています*3。 本記事では一人の読者、そして Kaggler の視点で書評を記します。なお私は既に1年以上 Kaggle に取り組んでおり、一定程度の知識を有している視点からの書評になります*4。 本書の魅力 1. データ分析コンペのテーブルデータコンペに注力して書かれた「教科書」である 2. 技法のみならず筆者および関係者の実体験に基づいた集合知も言語化されている 3. コードが公開されている どんな人に本書はお勧めか Kaggleに取り組んだ経験があり、更

共著で執筆した、3月17日発売の『PythonではじめるKaggleスタートブック』（講談社）が手元に届きました。 本記事では、本書の関連リンクをまとめました。以前に書いた告知記事については、補足情報も付与します。 Amazon www.amazon.co.jp サンプルコード github.com 告知記事 upura.hatenablog.com 告知記事の補足 1. 私がレビューをお願いした方々のご紹介 告知記事のタイミングではレビューが完了していなかったため積極的に公表していませんでしたが、私が優勝したKaggle「PetFinder.my Adoption Prediction」コンペ*1のチームメイト4人に、本書のレビューにご協力いただきました。Kaggle GrandmasterやKaggle Masterの称号を持っている方々に深く議論に参加していただき、より良い書籍に仕上

Kaggleなどのデータ分析コンペでテーブルデータを扱う場合、最近は取りあえずLightGBMを利用する場合が多いです。 本記事では、初手の機械学習アルゴリズムとして「LightGBM」*1を採用する理由を紹介します。あくまで2019年10月末時点での個人の主観なので、ご参考までにご覧いただければと思います。 1. 欠損値をそのまま扱える 2. カテゴリ変数の指定ができる 3. 特徴量のスケーリングが不要 4. feature importanceが確認できる 5. 精度が出やすく最終的なモデルとして残る可能性が高い 6. 比較的大きいデータも高速に扱える 7. 過去の経験からハイパーパラメータの勘所がある おわりに 初手としては、手の混んだ特徴量を作らずに、まずは何かしらの予測結果を生成したい場合も多いです。LightGBMは既存のデータセットを極力加工せずに利用するという観点で、特徴量

Metric Learning について Metric Learning は、データの教師情報を基にデータ間の距離や類似度などの Metric を学習する手法です。日本語で手軽に読める記事だと、*1, *2 などが詳しいです。 このたび、phalanx さんの tweet *3で、 Metric Learning の基礎的なアルゴリズムのいくつかが scikit-learn-contrib *4に搭載されていると知りました。 本記事では、scikit-learn-contrib の metric-learn パッケージを用いて、簡単にMetric Learning を試します。 インストール README や PyPI *5 に記載のある通り、次の通りにインストールします。 pip install metric-learn 利用するデータセット 今回は、sklearn に含まれている lo

「言語処理100本ノック 2020」が4月6日に公開されました。2015年以来、5年ぶりの改訂です。昨今の自然言語処理の研究動向を鑑み、深層ニューラルネットワークに関する問題追加などの変更があります。 nlp100.github.io 実装のためのプログラミング言語としては、Python3系を利用します（バージョンは3.6.8）。ソースコードは、GitHubで公開しています。 github.com 第1章: 準備運動 00. 文字列の逆順 01. 「パタトクカシーー」 02. 「パトカー」＋「タクシー」＝「パタトクカシーー」 03. 円周率 04. 元素記号 05. n-gram 06. 集合 07. テンプレートによる文生成 08. 暗号文 09. Typoglycemia 第2章: UNIXコマンド 10. 行数のカウント 11. タブをスペースに置換 12. 1列目をcol1.txt

本記事は、kaggle Advent Calendar 2018の11日目の記事です。 qiita.com 執筆のきっかけ 先日参加したKaggle Tokyo Meetup #5 の ikiri_DS の発表「Home Credit Default Risk - 2nd place solutions -」にて、遺伝的プログラミングで生成した特徴がLocal CV、Public LB、Private LBの全てで精度向上に貢献したという話がありました。 connpass.com 遺伝的プログラミングや遺伝的アルゴリズムは、大学の学部時代から興味があり、ブログでも何度か取り上げてきました。しかしKaggleなどで試したことはなかったので、自分で手を動かして検証してみようと考えた次第です。 upura.hatenablog.com upura.hatenablog.com 遺伝的プログラミン

本記事は、kaggle Advent Calendar 2018の3日目の記事ということにします。本日、このAdvent Calendarに空きがあると気付いたので、穴埋めの形で急遽記事を執筆しました。僕が遅刻したわけではありません。 qiita.com TwitterでこのAdvent Calendarに書く話題を募集したところ、次のようなリプを頂きました。 めぇっちゃ個人的な戯言なので適当に流して頂いて良いのですがバリデーションの切り方の話とか読みたいなぁと思います。— icebee (@icebee__) December 4, 2018 本記事ではまず、そもそも「Cross Validationはなぜ重要なのか」について言及しようと思います。 Cross Validationの重要性 validationがない場合 パッケージやデータの準備 訓練と予測 精度の検証 ホールドアウト検

はじめに データセットの作成 LightGBM downsampling downsampling+bagging おわりに はじめに 新年初の技術系の記事です。 年末年始から最近にかけては、PyTorchの勉強などインプット重視で過ごしています。その一環で不均衡データの扱いも勉強しました。 クラス比1:99の人工的な不均衡データ使ってダウンサンプリングを試してるけど、バカみたいに負例を捨てちゃっても意外と大丈夫なんだな。計算時間が圧倒的に減るので、その時間でアンサンブル的なことすれば精度も確保できそう。— u++ (@upura0) January 8, 2019 上記のツイートを契機に多くのリプライなどで情報を頂戴しましたが、以前に話題になった「downsampling+bagging」の手法が良さそうでした。本記事では、模擬的に作成したデータセットにLightGBMを使い、「down

データアナリスト/データサイエンティストの登竜門 (Gateway to Success) となることを目指した勉強会「Data Gateway Talk vol.5」に参加しました。 data-gateway-talk.connpass.com 対象を絞った勉強会で以前から関心はあり、今回が初参加です。 本記事では、全発表について概要と所感を述べます。 データ分析業務を1年間やって実感したこと 発表資料 概要 所感 「データ分析」の解像度を上げたい 発表資料 概要 所感 GBDTアルゴリズム Gradient Boost Decision Tree with Iris Data 発表資料 概要 所感 Hivemallを使ってSQLで機械学習 発表資料 概要 所感 SHAP(SHapley Additive exPlanations)で機械学習モデルを解釈する 発表資料 概要 所感 リサー

はじめに 2018年のKaggleでは、何かと "leak" という単語が話題になった印象があります。 https://www.kaggle.com/docs/competitions#leakage 今回は、Meta Kaggleのデータを分析し、2018年のコンペで話題になった "leak" を眺めてみました。 Meta Kaggle 分析の概要 2018年に公開された全てのdiscussionから、タイトルに "leak" を含むものを抽出 ただし対象コンペは、2018年に開始したレート変動を含むものとする 対象コンペの抽出 discussionに関するデータセットには、コンペ名が記載されていませんでした。今回は "ForumId" をキーに結合することで、discussionとコンペ名を紐づけます。 compe = pd.read_csv("Competitions.csv") #

Adversarial Text Generation Without Reinforcement Learning どんなもの？ 強化学習を使用しないGANによる文生成モデル「LaTextGAN (latent-space GAN for text)」を提案 オートエンコーダを利用して文の低次元表現を学習させて生成器に伝播させることで、現実的なレベルでの文生成を実現 論文リンク https://arxiv.org/abs/1810.06640 著者/所属機関 David Donahue, Anna Rumshisky / University of Massachusetts Lowell 媒体 arxiv 投稿日付 [v1] Thu, 11 Oct 2018 22:50:38 GMT 先行研究と比べてどこがすごい？ テキストのシーケンスが離散的で勾配が識別器から生成器に伝播できないため

はじめに データの概要 データの取り出し方 ヘルスケアアプリからXMLファイルを書き出す XMLファイルをcsvファイルに変換する 分析例 おわりに はじめに 本記事では、iOS標準アプリ「ヘルスケア」からデータを書き出し、csvに変換する方法をまとめます。 データの概要 ヘルスケアアプリはiOSに標準で搭載され、日常の歩数などが記録されています。自分に身近なデータなので、分析の仮説も立てやすく、データ分析の題材として便利かと思います。 データの取り出し方 手順は以下の通りです。 ヘルスケアアプリからXMLファイルを書き出す XMLファイルをcsvファイルに変換する ヘルスケアアプリからXMLファイルを書き出す まずはヘルスケアアプリからデータを書き出します。この時点でcsv形式になっているPythonなどで扱いやすいのですが、XMLファイルでしか書き出すことはできません。 まずは、カレン

はじめに 感情分析とは Rのパッケージ 般若心経を感情分析 データの準備 分析結果 おわりに はじめに 本記事は、hiro.is(@youjo_DS)さんの以下のブログを読んで着想を得ました。 loveshome.hatenablog.jp 感情分析とは 感情分析とは、その名の通り単語や文章内の「感情」を分析する手法です。事前に単語ごとに[-1, 1]で感情に値を付けた辞書を用意しておきます。値が正に大きいほどポジティブ、負に大きいほどネガティブな感情を意味します。文章の場合は単純に足し合わせで「文章としての値」を算出しているようです。 head(dic) # V1 V2 V3 V4 #1 優れる すぐれる 動詞 1.000000 #2 良い よい 形容詞 0.999995 #3 喜ぶ よろこぶ 動詞 0.999979 #4 褒める ほめる 動詞 0.999979 #5 めでたい めでたい

本記事は、kaggle Advent Calendar 2018の4日目の記事です。 qiita.com はじめに 重要な視点 scikit-learnに用意されている関数 KFold StratifiedKFold GroupKFold ShuffleSplit GroupShuffleSplit StratifiedShuffleSplit TimeSeriesSplit 回帰問題の場合 必ずしも「Trust CV」ではない Adversarial Validation おわりに はじめに 本記事では、3日目の記事で重要性を説明したCross Validationについて、「良いCV」となるvalidationのデータセットはどのようなものか考えてみたいと思います。 upura.hatenablog.com この話題については、scikit-learnのドキュメンテーションが非常に充実

2018年10月8日に池袋サンシャインシティで開催される技術書典5に、弊社のエンジニア有志で執筆した書籍を頒布します。 techbookfest.org 私は第1章「機械学習を用いた日経電子版Proのユーザ分析」を担当しました。 私は弊社にて、営業・マーケティング向けのデータ分析や、業務効率化のための環境整備を担当しています。 本章では、機械学習を用いた「日経電子版Pro」のユーザ分析事例を紹介しました。課題設定から始め、データの前処理や予測モデルの構築など一連の過程を、Pythonのコードと合わせて掲載しています。 pr.nikkei.com 以下のような読者を想定して執筆しました。Kaggleでテーブルデータを処理するような過程が含まれているので、Kaggleに興味がある方なら楽しんでお読みいただける内容になっていると考えています。 データ分析に興味がある PythonのPan

「Kaggle Tokyo Meetup #6」に参加し、チーム Wodori の一員として「PetFinder 2nd Place Solution」の題目で発表もしました。 connpass.com 本記事では、各発表の簡単な感想などを述べます。twitterの #kaggle_tokyo や kaggler-ja slackの #event-live にも情報が転がっています。 togetter.com 「PetFinder 2nd Place Solution」（Wodori） 「iMet 7th Place Solution & 画像コンペのアプローチ」（phalanxさん） 「Quora Insincere Questions 10th Place Solution & 昔話」（tksさん） 「PLAsTiCC 3rd Place Solution」（nyanpさん） スポンサ

Grounding Interactive Machine Learning Tool Design in How Non-Experts Actually Build Models Machine Learning (ML)の「非専門家」が実際にMLソリューションを構築する方法を調査 非専門家特有の可能性と、陥りやすい落とし穴が明らかになった 例えば、accuracyがパフォーマンスの単一の尺度として認識され、問題あるモデルがデプロイされた 調査結果から、初心者向けのMLツールを設計する上では簡便性だけでなくロバスト性も同様に重要な目標だと示唆された 非専門家がロバスト性のあるソリューションを容易に構築できるよう促すための設計理論を作成した 論文リンク https://www.microsoft.com/en-us/research/publication/grounding-inter

はじめに 12月22日に開催された「第43回阪大AIメディカル研究会」にて「野球データ分析ハッカソン準優勝解法と特徴量重要度」の題目で発表しました。 下記の記事で取り上げたハッカソンのについての発表です。 upura.hatenablog.com 12月21〜23日に京都・大阪に独り旅をしているのですが、ご縁あって発表の機会を頂くことになりました。 ［第43回の開催について] 日時:12/22(土)12:30〜 場所: 阪大吹田CP　産学共創本部C棟３F 発表内容:@namamono02go ~「可視化ライブラリplotlyの布教」 nさん～「ニューラルネット生成モデル(GAN)について」@Py2K4 ~「二分探索の解説」(内容変更?) <特別ゲスト>@upura0 今回は4人発表します。— 阪大AIメディカル研究会 (@AI49064710) December 13, 2018 発表資料

Kaggle特集に惹かれ、今月の『Software Design』を購入しました。 gihyo.jp 特集の目次は、以下のとおりです。 第1特集 Kaggleで知る機械学習 前処理から学習モデルの構築，スコアの上げ方までわかる 第1章：Kaggleにエントリーしよう 登録からSubmitまでブラウザ上で完結 第2章：自然言語処理のコンペに挑戦① データの前処理・学習・推論の流れ 第3章：自然言語処理のコンペに挑戦② モデル変更でスコアを底上げする 第4章：くずし字認識のコンペに挑戦① パラメータチューニングの奥深さに触れる 第5章：くずし字認識のコンペに挑戦② さらなるスコアアップのためにKagglerがやっていること まずは、広くソフトウェアエンジニア向けの雑誌にKaggleの特集が掲載されたのが印象的でした。その中で第1章では、Kaggleの概要や機能をスクリーンショットと共に紹介して

本記事は、kaggle Advent Calendar 2018の7日目の記事です。 qiita.com TwitterでこのAdvent Calendarに書く話題を募集したところ、次のようなリプを頂きました。 あと Kaggle で多用される Ensemble のテクニックに関する記事も読んでみたいです。特に Stacking は巷に資料が少ない気がします。やるときの注意点などもあるとめっちゃ嬉しいです。— もみじあめ (@momijiame) December 5, 2018 この話題については、私自身が記事を書くよりも、既にKaggleの一部界隈の人はご存知？の有名エントリ『Kaggle Ensembling Guide』があります。 https://mlwave.com/kaggle-ensembling-guide/ 正直言って、これ以上のまとめを書くのは相当に骨が折れそうなの

先日公開した「IEEE-CIS Fraud Detection」コンペの解法*1の中で、Adversarial Validationの考え方を用いた特徴量選択について何回か質問がありました。 本記事では、Adversarial Validationの考え方を用いた特徴量選択を解説します。 Adversarial Validationとは いつ使う？ 解決策 Adversarial Validationを用いた特徴量選択 CPMPさんの「Microsoft Malware Prediction」の解法 具体的なやり方 おわりに Adversarial Validationとは 以前に書いた自分の記事*2から抜粋します。 いつ使う？ TrainデータとTestデータの分布が異なる場合 → Trainデータから適切にValidationデータを作成するのが難しい → Kaggleの場合、Loca

本記事では、Kaggleのタイタニックを例に、仮説と可視化から新しい特徴量を作る過程についてまとめます。 仮説と可視化から新しい特徴量を作る 予測精度に寄与する新しい特徴量を作成するに当たっては、仮説と可視化を繰り返す過程が大事です。 予測精度に寄与しそうな仮説を立てる 可視化を実施する 予測精度に寄与する仮説を見つけるため 仮説が正しいかを検証するため 個々人や問題によって、どちらが起点になるかが変わってきます。 ケース1）ドメイン知識がある場合 例えば自分が詳しい、つまりドメイン知識を持っている分野の問題に取り組む場合、最初から仮説がいくつかあると思います。その場合は仮説を検証するような可視化を実施し、本当に予測精度に寄与するかを確認します。その可視化の結果によっては、改めて仮説を立てることになるかもしれません。 ケース2）ドメイン知識がない場合 ドメイン知識がない場合は、まずは仮説を

「企業分析における自然言語処理を学ぼう」と題した勉強会*1に参加しました。初めての大規模なオンライン勉強会への参加でしたが、画質も全く問題なくChatやtwitterのハッシュタグでコミュニケーションが取れて「これはこれで良いな」という感想を抱きました。発表終了時に、拍手の意で「8888888」のコメントが流れるのは往年のニコニコ動画を思い出しました。 以下、発表メモを共有します。 発表1: 「財務・非財務一体型の企業分析に向けて」by @icoxfog417 財務・非財務一体型の企業分析に向けて from Takahiro Kubo TISで企業分析に取り組む@icoxfog417さんの発表 TISが公開したデータセットを用いた、Nishikaというプラットフォームで「財務・非財務情報を活用した株主価値予測」コンペ*2も開催中 企業分析の中で、非財務情報の活用は進んでいるとは言いづらい

はじめに Machine Learning Casual Talksをはじめた理由 発表資料 「エムスリーにおける機械学習活用事例と開発の効率化」 発表資料 概要 所感 「BEDOREにおける対話エンジンの開発と運用」 発表資料 概要 所感 LT「bfloat16について」 発表資料 概要 所感 LT「強化学習を可視化する。chainerrl-visualizerを動かしてみた」 発表資料 概要 所感 LT「分散深層学習のチューニングや辛い話」 発表資料 概要 所感 パネルディスカッション おわりに おまけ はじめに 本日開催された「Machine Learning Casual Talks #8」に参加しました。今回は「Blog枠」での参加です。 機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話せる会を開催します。 実際に運用していく上での工夫や、知見