「言語処理100本ノック 2020」が4月6日に公開されました。2015年以来、5年ぶりの改訂です。昨今の自然言語処理の研究動向を鑑み、深層ニューラルネットワークに関する問題追加などの変更があります。 nlp100.github.io 実装のためのプログラミング言語としては、Python3系を利用します。バージョンは初公開時は3.6.8で、2023年11月に3.11.3に更新しました。ソースコードは、GitHubで公開しています。 github.com 第1章: 準備運動 00. 文字列の逆順 01. 「パタトクカシーー」 02. 「パトカー」＋「タクシー」＝「パタトクカシーー」 03. 円周率 04. 元素記号 05. n-gram 06. 集合 07. テンプレートによる文生成 08. 暗号文 09. Typoglycemia 第2章: UNIXコマンド 10. 行数のカウント 11.

共著で執筆した、3月17日発売の『PythonではじめるKaggleスタートブック』（講談社）が手元に届きました。 本記事では、本書の関連リンクをまとめました。以前に書いた告知記事については、補足情報も付与します。 Amazon www.amazon.co.jp サンプルコード github.com 告知記事 upura.hatenablog.com 告知記事の補足 1. 私がレビューをお願いした方々のご紹介 告知記事のタイミングではレビューが完了していなかったため積極的に公表していませんでしたが、私が優勝したKaggle「PetFinder.my Adoption Prediction」コンペ*1のチームメイト4人に、本書のレビューにご協力いただきました。Kaggle GrandmasterやKaggle Masterの称号を持っている方々に深く議論に参加していただき、より良い書籍に仕上

2019年をサクッと振り返ります。2018年の振り返り記事を見ると、次のような目標を書いていました*1。まだまだ力不足な面ばかりですが、ご縁に恵まれて昨年末には考えられない経験がいくつもできた一年だったと感じています。 引き続き「地道にコツコツ取り組む」のが目標です。2019年末に振り返った際に、「現時点の自分が想像できないような自分」がそこに居たら嬉しいなと思っています。 Kaggle AtCoder Sports Analyst Meetup 対外発表 書籍 徒歩 はてなブログ おわりに Kaggle 4月に結果が公開された「PetFinder.my Adoption Prediction」コンペ*2にて、準優勝できました。その後、6月の「LANL Earthquake Prediction」コンペ*3にて銀メダルを獲得し、Kaggle Masterの称号を得ることもできました。 up

「Weekly Kaggle News」と冠したニューズレター*1を始めてみました。 www.getrevue.co 日本語で、Kaggleをはじめとするデータ分析コンペティションに関する話題を取り扱う予定です。週次で、毎週金〜日ごろの更新を予定しています。 個人的に、SNSが存分に普及した現代だからこそのニューズレターの価値が少し気になりました。いつまで続けるか未定ですが、のんびり続けてみたいと思います。 *1:kotobank.jp

このたびご縁があり、Pythonを用いたKaggle入門書を講談社から出版する運びとなりました*1。現在デザインや校正などを進めている段階で、発売開始は2020年3月17日を予定しています。 https://www.amazon.co.jp/dp/4065190061 同人誌ながら累計2500部以上を売り上げている『Kaggleのチュートリアル』*2を執筆したカレーさんとの共著です。 私がQiitaに投稿した「Kaggleに登録したら次にやること ～ これだけやれば十分闘える！Titanicの先へ行く入門 10 Kernel ～」*3と、カレーさんの『Kaggleのチュートリアル』を基にした書籍です。この2つのコンテンツを土台に、さらなる内容も盛り込みながら「初学者向けのKaggle入門書の決定版」を目指して執筆を進めています。 本書の前半では、初学者向けチュートリアルの「Titanic

愛知県名古屋市で開催された「AIchi勉強会」で、Kaggleの魅力について発表しました。愛知県出身という縁でお声がけいただいた形です。 愛知県の製造業の異なる会社で働く、AI・機械学習に興味を持つメンバー3人中心に「愛知県で会社を越えてAIに興味ある人、AIを使っている人と繋がれるイベントを開催してみたい！」という思いから始まったイベントです。今回が初回となります。 connpass.com 自分の発表 主に初心者〜中級者の方向けを想定したイベントとのことで、Kaggleを紹介しつつ魅力を少しでもお伝えできる内容を心がけました。 具体的には次の三本立てで、Kaggleを知らない方も対象に、ある程度体系立てたお話をしたつもりです。発表の冒頭でお尋ねしたところ、Kaggleに一度でも提出した経験のある方は2割弱、聞いたことある方は約7割でした。 人工知能（AI）の文脈の中で「機械学習」とは？

「なんでデータサイエンティストやってるの？ 〜 思い描いていた自分を思い出すために。 vol.4」というイベントに登壇しました。 イベントの概要 企業で働くデータサイエンティストが、各々の内的動機を語るイベントでした。 nan-d-vol4.peatix.com 発表 自分の発表 小副川 健さん（ユーザベース） 数学が専門の博士課程→富士通→ユーザベースと、黎明期からデータサイエンティストの経験を積んできた小副川さんの発表でした。事業会社の中の人として分析する価値や面白さについて語ってくださり、自分としても同意できる部分が多いお話でした。 吉田 勇太さん（ブレインパッド） 受託分析会社で5年間データサイエンティストとして働いている吉田さんの発表でした。受託分析では分析部分に専念するように見えますが、実は本当に喜ばれるのはビジネス課題設計や意思決定という点が興味深かったです。「分析はただの道

データサイエンティストが活躍する系の映画、なんか無いかな。Netflix漁ったら何かありそう。— u++ (@upura0) August 26, 2019 私のtwitterでのしょうもない呟きに思いの外たくさんのリプライを頂戴したので、自分用の整理として推挙された映画をまとめます。広範な意味でのデータサイエンスを扱う映画も含まれていると思います。 既に観た映画 『マネーボール』(2011) 『イミテーション・ゲーム／エニグマと天才数学者の秘密』(2014) 『アルキメデスの大戦』(2019) オススメしてもらった映画 『NUMBERS 天才数学者の事件ファイル』(2005) 『ミッション: 8ミニッツ』(2011) 『エクス・マキナ』(2014) 『ドリーム』(2016) 『メッセージ』(2016) 『スノーデン』(2016) 既に観た映画 『マネーボール』『アルキメデスの大戦』『イミ

はじめに OsciiArtさんの下記のツイートで興味を持ち、観に行きました。本記事では、ネタバレ要素を含みつつ、徒然と感想を書いていこうと思います。 『アルキメデスの大戦』を観た。傑作。kaggler、データサイエンティストは絶対に見て欲しい。kaggleのプロセスをそのままエンターテイメントに昇華している。こんなことが出来るなんて。感動だ。— OsciiArt◆SPNEXTcRxQ (@osciiart) August 13, 2019 あらすじ 事前の触れ込み通り、まさに「データ分析」を題材にした映画で、主人公の天才数学者・櫂直が旧態依然の組織の中で奮闘します。 時は1933年、海軍では巨大戦艦の建造を巡った対立が発生していました。来たる戦争に向けて華美な巨大戦艦を建造したい「建造推進派」と、新世代の海戦を見据え機動力のある航空母艦を推す「建造反対派」です。 旧態依然な文化が根強く残る

Metric Learning について Metric Learning は、データの教師情報を基にデータ間の距離や類似度などの Metric を学習する手法です。日本語で手軽に読める記事だと、*1, *2 などが詳しいです。 このたび、phalanx さんの tweet *3で、 Metric Learning の基礎的なアルゴリズムのいくつかが scikit-learn-contrib *4に搭載されていると知りました。 本記事では、scikit-learn-contrib の metric-learn パッケージを用いて、簡単にMetric Learning を試します。 インストール README や PyPI *5 に記載のある通り、次の通りにインストールします。 pip install metric-learn 利用するデータセット 今回は、sklearn に含まれている lo

Djangoで簡単な画像分類アプリを作ってみた。Flickrから「名古屋」「東京」で画像を400枚ずつ収集して、KerasのVGG16使って分類器を学習。推論したい画像を渡して、結果を表示するところまで。分類器が適当でAUCが.65くらいなのはご愛嬌。 pic.twitter.com/E4EHlliTYh— u++ (@upura0) July 27, 2019 はじめに インターフェイス index.html result.html 分類器 画像の収集 機械学習モデル おわりに はじめに Djangoを使って「名古屋/東京」を判定する画像分類アプリを作ってみました。下記の記事で学んだことを活かして、自分で手を動かしてみたという経緯です。 upura.hatenablog.com インターフェイス index.html この画面で、画像を選択します。「推定する」ボタンを押すと、result

Udemy講座「【Python・Django・TensorFlow + 転移学習】画像分類AIアプリ自作入門」をやりました。タイトル通り、PythonのTensorFlowで作成した機械学習モデルをDjangoを用いてWebアプリ化する講座です。全3.5時間を一晩で流し見しながら追体験しましたが、個人的に求めていた内容にピンポイントで合致して満足しています。 https://www.udemy.com/django-ai-app/ 受講の動機 受講前の知識 各セクションの雑感 イントロ 環境構築（既修者はスキップOK） データの収集・クレンジング CNNによるトレーニング 転移学習でスコアアップを図ろう！ コマンドラインアプリ化しよう！ Djangoでウェブアプリ化しよう おわりに 受講の動機 受講した理由は、機械学習モデルをWebアプリに組み込む方法をザックリと知りたかったためです。最近

はじめに 発表資料 togetter ロングトーク「Jリーグ導入事例から見えてきた、ダイナミックプライシングの未来」 LT 自分の発表 おわりに 過去の開催 はじめに 「Sports Analyst Meetup #3」を開催しました。今回は自分自身もLTで発表しました。 spoana.connpass.com 発表資料 発表資料はこちらにまとまっています（今後、資料が公開され次第追加していきます）。 spoana.connpass.com togetter Twitterの #spoana タグの付いた投稿は、下記にまとめています。 togetter.com ロングトーク「Jリーグ導入事例から見えてきた、ダイナミックプライシングの未来」 萩元徹さん（ダイナミックプラス株式会社） ダイナミックプラス株式会社にて、スポーツ・エンターティメント業界などでダイナミックプライシングの導入を支援して

本日、ブレインパッド主催「白金鉱業 Meetup Vol.6」に登壇しました。 brainpad-meetup.connpass.com 題目は「技術アウトプットを支える技術」で、社会人として働きながら技術アウトプットを出そうとしている理由、そのために心掛けているTipsを紹介しました。 下記が僕以外の発表内容・発表者です。非常に豪華なメンバーの中に混ぜていただき、光栄でした。このような身に余る貴重な機会を頂けたのも、間違いなく日々のアウトプットのおかげです。今後とも、精進していきたいと思います。 ロボット事業における機械学習エンジニアという仕事について Alejandro Gonzalez さん / GROOVE X株式会社 医療xDeep Learningの課題と展望について 菅原 洋平 さん / Preferred Networks, Inc. (PFN) togetter.com

2019年2月24日開催「Sports Analyst Meetup #1」の「初心者向けスポーツ分析チュートリアル」を担当します。本記事では、事前に発表資料を公開します。 connpass.com 「目標達成に導くデータ分析」と題して、スポーツアナリストの定義や分析の基礎的な話をまとめました。 大まかな流れは以下の通りです。 スポーツアナリストの定義を紹介 定義で触れられていた「情報収集・分析力」「伝達力」について、事業会社のアナリストとしての解釈を付与 実際に身近なデータで分析していく実例を紹介 発表内ではプログラミング要素を割愛していますが、GitHubでコードを公開しています。 github.com 事前にご質問・ご要望があれば、twitterやブログのコメントなどでご連絡ください。 当日多くの皆さまとお会いできることを楽しみにしています。

名作・名著を漫画化している「まんがで読破」シリーズが、kindleのセールで30冊が11円になっていました。30冊を購入し、1週間くらいかけて全部読んだので、備忘録として残しておきます。 ちなみに、この11円セールは明日2月14日までらしいです。 Twitterでの感想スレッド 以下のツイートから始まるスレッドに、30冊分の感想を1、2文程度で記載しています。これから読みたい人もいると思うので、意図的に抽象的な内容にしています。 『わが闘争』読了。やはり色々と考えさせられる。 pic.twitter.com/1KdGgOWezn— u++ (@upura0) February 2, 2019 お気に入り7選 あまりにも短い記事になりそうだったので、特に気に入った7冊を挙げておきます。 『般若心経』 説明が一般向けに簡略化された点も一部気になりましたが、全般にとても良くまとまっていました。

はじめに データの概要 データの取り出し方 ヘルスケアアプリからXMLファイルを書き出す XMLファイルをcsvファイルに変換する 分析例 おわりに はじめに 本記事では、iOS標準アプリ「ヘルスケア」からデータを書き出し、csvに変換する方法をまとめます。 データの概要 ヘルスケアアプリはiOSに標準で搭載され、日常の歩数などが記録されています。自分に身近なデータなので、分析の仮説も立てやすく、データ分析の題材として便利かと思います。 データの取り出し方 手順は以下の通りです。 ヘルスケアアプリからXMLファイルを書き出す XMLファイルをcsvファイルに変換する ヘルスケアアプリからXMLファイルを書き出す まずはヘルスケアアプリからデータを書き出します。この時点でcsv形式になっているPythonなどで扱いやすいのですが、XMLファイルでしか書き出すことはできません。 まずは、カレン