機械学習デザインパターン
本書は、機械学習で繰り返し登場する課題を30のパターン（データ表現、問題表現、モデルの訓練、再現性、対応性、運用性、説明性、公平性などに関するもの）に分類し、それぞれについてベストプラクティスを提示・解説するデザインパターン集です。すぐ動かせるコード例とデータセットを豊富に含み、手を動かしながら機械学習を学びたい初心者の実践的な入門書としても、現場のデータサイエンティストやエンジニアのリファレンスとしても有用な内容となっています。著者のGoogle Cloudのデータ分析＆AI部門トップとしての豊富な経験に基づく実用本位の一冊です。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書
「電動昇降式デスク」でホームオフィス大改造！理想の作業環境のために導入したおすすめアイテム | ライフハッカー・ジャパン
ことのはじまりは、スマートウォッチのバイブレーションでした。以前から、在宅で仕事をする機会が多く、ワークスペースをそれなりに整えていました。 ただ、時間が経つにつれてモノが溢れ、効率よく作業ができる一方で窮屈な空間に。いつのまにか、身動きが取りづらくなり、「動いていない時間が長いですよ」とスマートウォッチから1日に何回も警告を受けたのです。 そこで、自宅のワークスペースを一新することに。 最初に決めたのは、作業環境のベースとなるデスクを電動昇降式モデルに変えること。そして、モノが溢れない場所にすることでした。 では、ワークスペースをどのようにリモデルしたのか、活用しているガジェットと合わせてご紹介します。 【この記事はこんな人におすすめ！】 自宅の仕事環境のモノが増えたので整理整頓がしたい作業スペースを整えたいがどんなアイテムを購入すべきかわからない自宅で仕事や作業をすることが多い 「よく
COVID-19 日本国内の潜在的な陽性者数を推定する試み - StatModeling Memorandum
日本国内の潜在的な陽性者数を推定することは有益ですが、簡単ではありません。PCR検査がランダムになっていないことが推定を難しくしています。有症状者が検査されやすいというselection biasがあるからです。この記事ではいくつか仮定を置いて潜在的な陽性者数を推定したいと思います。 仮定 全国民のうち潜在的に陽性になっている割合 この割合は年代によらず一定と仮定します。ここでは と書きます（posはpositiveの略）。例えば0.0001なら日本人約1億2千万人中、おおよそ12000人が潜在的に陽性になっている計算です。 なお、国民の年代別人口の値はこのページの令和2年3月報 （令和元年10月確定値，令和2年3月概算値） （PDF：301KB） の「2019年10月1日現在（確定値）」の総人口 男女計の値を使用しました。 陽性者中の有症状者の割合 若年層で無症状が多いなど、年代で異なる
機械学習による株価予測 いろはの”ろ” - Qiita
はじめに 前回記事「機械学習による株価予測 いろはの"い"」の公開後、筆者の機械学習モデルの獲得利益はめでたく1億を突破することができた。運用モデルの概要については筆者のブログにて紹介したが、折角の機会なので技術的な内容についてここに続編を執筆する。今回の記事では、株価を予測するための特徴量についてその考え方をまとめる。 特徴量の種類 個別銘柄を説明するための代表的なデータとは、財務諸表とチャート（価格系列）である。一昔前は個人投資家がこれらのデータを揃えるのにかなりの苦労が必要だった（特に財務諸表が面倒であった）が、最近ではQiitaでXBRL用のライブラリが紹介されていたり、バフェットコードでAPI（有料）が提供されていたりと、随分と手間要らずになってきたように思う。 個別銘柄を説明するための材料についてさらに進んだ話をすると、IRを自然言語処理に掛けてセンチメントを抽出したり、経営陣
Pythonで作って学ぶ統計モデリング | AIdrops
Pythonで作って学ぶ統計モデリング 近年、AIや機械学習、深層学習といった用語に代表されるように、多種多様のデータを高度なアルゴリズムと計算機の力で解析し、将来予測などの価値を生み出す技術に注目が集まっています。 これらの技術の土台となっているのが、本記事で解説する統計モデリング（statistical modeling） と呼ばれる考え方です。元々は手計算が可能なレベルの比較的シンプルな数学的仮定を置いてデータを解析する方法論として発展しましたが、近年の計算機の性能発達に伴い、従来では取り扱えなかったより複雑なモデルを利用した高度な解析を実施する事例が増えてきています。特に、現在実践で広く使われている機械学習のモデルや、複雑な非線形関数を組み合わせた深層学習モデルなども、その多くは突き詰めれば統計モデルの一種であることが言えます。したがって、統計モデリングはそれ自体がデータ解析に対し
実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング - エンジニアHub｜Webエンジニアのキャリアを考える！
実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング 実践とともに、データサイエンスに入門しよう！敷居が高いと思われがちなデータサイエンスですが、データの前処理からの手順は意外とシンプルです。本記事では、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、基本的な知識をサンプルコードと図表を見ながら学びます。 データサイエンティストとしてのスキルを向上させるには、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、広域にわたる知識を身に付ける必要があります。 この記事は、そうした知識を「サンプルコードと図表を見ながら、分かりやすく学習できること」を目指して作成されました。記事内では、新米データサイエンティストのOさんが登場して、ある案件のデータ分析を担当します。読者のみなさんも、ぜひOさんと一緒
データサイエンティストはどこまでエンジニアリングをすべきか？ | CyberAgent Developers Blog
AI事業本部 Dynalystでデータサイエンティストをしている藤田です。 Dynalystの開発チーム内にはデータサイエンス（以降DS）チームがあり、そこにはデータサイエンティスト・機械学習エンジニア（以降まとめてデータサイエンティストと呼ぶ）たちが所属しています。私がこのチームで働く中で、「プロダクト所属のデータサイエンティストがどこまでエンジニアリングをすべきなのか」ということを考えることがあったのでまとめてみました。当然これは一般的な答えではなく、人・チーム・組織の現状や目指すべきところによって答えは変わるので、あくまで1チームの1個人が考えたこととして読んでもらえればと思います。 プロダクト所属と横断DS組織所属 エンジニアリング云々の話をする前に、まずプロダクト所属と横断DS組織所属のデータサイエンティストの違いについて軽く説明します。両者のメリット・デメリットについても書きた
より良い機械学習のためのアノテーションの機械学習 - ABEJA Tech Blog
ABEJAでリサーチャーをしている白川です。 皆さん、アノテーションしていますか？ 私はしています。アノテーション、自分でやるのは大変ですよね。 AIというとモデルの学習に注目されがちですが、もしかしたら、アノテーションはAI開発においてモデル開発以上に重要で注意の必要なプロセスかもしれません。今回はなぜアノテーションがそれほど重要なのか、良いアノテーションとはどのようなアノテーションなのかについて、機械学習的にアプローチしてみたいと思います。 アノテーションを機械学習で解析するの、楽しいですよ。 なお、本記事に関連して、2018年7月1日に開催されるccse2018というカンファレンスでもお話させていただく予定です。記事内では触れられなかった内容についてもお話させていただくかもしれないので、ご興味ある方はチェックしてみてください。 この記事を読むとわかること アノテーションはAIの開発・
purrrとbroomで複数の回帰モデルを効率的に管理する - REVISIO Tech Blog
はじめまして。データサイエンティストの森下です。 TVISIONでは探索的にデータを見てく段階では、可視化に加えて複数の回帰モデルを作成して検討する、ということをよくやっています。 モデルの数が少ない場合は個別にモデルを作成してsummary()で見ていく事もできますが、モデルの数が増えるにつれてそのやり方では管理が難しくなってきます。 そこで、本記事では、purrrのmap()とbroomのtidy(), glance()を用いて複数の回帰モデルを効率的に扱う方法を紹介したいと思います。 まずはライブラリを読み込みます。tidyverseはデータハンドリングと可視化のためのパッケージ群です*1。 tidymodelsはモデリングをtidyなやり方で統一的に扱えるようにするパッケージ群になります。今回はbroomのみ用いますが、後日他のパッケージの紹介記事も書ければと思っています。 lib
やる気が出ないを分析。小学生も大人もハマる勉強法：書評 | ライフハッカー・ジャパン
疲れやすい、呼吸の浅さを改善。ストレッチポールは毎日使いたいほど気持ちがいい!【今日のライフハックツール】
Shapを用いた機械学習モデルの解釈説明 - Qiita
Shapとは Shap値は予測した値に対して、「それぞれの特徴変数がその予想にどのような影響を与えたか」を算出するものです。これにより、ある特徴変数の値の増減が与える影響を可視化することができます。以下にデフォルトで用意されているボストンの価格予測データセットを用いて、Pythonでの構築コードと可視化したグラフを紹介します。 Shapの概要図 モデルの構築 XGBoostを使用します。 import xgboost import shap X,y = shap.datasets.boston() X_display,y_display = shap.datasets.boston(display=True)
SEからデータサイエンティストに転身 「考え方が全く違う」NEC社員が味わった苦労
AI（人工知能）人材の不足を受け、社内の研修プログラムなどを通じて転身を図るケースも増えてきた。しかし、機械学習や統計の知識がほとんどない状態でビッグデータの解析やAIアルゴリズムの作成などができるのか。5月28日に開催されたAI技術の専門イベント「NEC the WISE Summit 2019」で、SEから「AI人材」に転身したNEC社員が当時の苦労を赤裸々に語った。 NECが定義する「AI人材」は、業務内容によって（1）コーディネータ、（2）コンサルタント、（3）エキスパート、（4）アーキテクト、の4つに分類される。コーディネータはAIプロジェクト全体を統括するプロジェクトマネジャーのような役割を担い、コンサルタントはAI導入の目的を決める上流工程を担当する。エキスパートはAIモデルの作成や検証を行うデータサイエンティストのような立ち位置で、アーキテクトはAIの実装を担当するAIエン
モデルで扱うデータの前処理をrecipesで行う - 株式会社ホクソエムのブログ
ドーモ。ホクソエムの @u_ribo です。本業ではモデリングとは離れたギョームをしています。寂しくなったので、Rのrecipesパッケージについて紹介します。 tidymodels.github.io モデルに適用するデータの前処理 Rでのモデル式 (model formula) の記述って、利用時に不便を感じることや覚えるのが難しい面が時々ありませんか？例えば、y ~ .」は右辺のドットが、目的変数以外の全ての変数を説明変数として扱うことを示しますが、説明変数に対数変換などの変数変換を行うにはy ~ log(.)という記述はできず、結局、説明変数を「+」でつなげていくことになります。また、交互作用項の指定には「x1 * x2」や「(x1 + x2)^2」、「:」を使う表記が可能ですが、この表記には最初は混乱しませんか？（単に私が不勉強なだけということもあります） 加えて、多くのモデルで
XGBoostExplainerが何をやっているか調べる（４．モデルから予測ルールを抽出する） - 琥珀色呑んだくれ備忘録
目的 関連シリーズ 準備：XGBモデルの学習と予測 学習したxgboostのルール抽出 xgb.model.dt.tree()によるパスの抽出 予測値の再分配 Cover (H)の再計算 勾配(G)とweightの再分配 各ルールのインパクトの集計（Tree Breakdown） 目的 今回は、xgboostExplainerによって、xgboostの学習済みモデルからルールがどうやって抽出されているかにフォーカスし、適宜xgboostの資料を見ながら追いかける。 （参考資料） Introduction to Boosted Trees (スライドPDF) XGBoost: A Scalable Tree Boosting System 関連シリーズ とりあえず使ってみる 予測結果の可視化プロセスをstep-by-stepで実行する 予測結果を分解再構成するプロセスをstep-by-ste
tidymodelsによるtidyな機械学習（その1：データ分割と前処理から学習と性能評価まで） - Dropout
目次 目次 はじめに tidyな機械学習フロー 訓練データとテストデータの分割 特徴量エンジニアリング モデルの学習 モデルの精度評価 まとめ 参考文献 ※この記事をベースにした2019年12月7日に行われたJapan.R 2019での発表資料は以下になります。 tidymodelsによるtidyな機械学習 - Speaker Deck はじめに 本記事ではtidymodelsを用いたtidyな機械学習フローを紹介したいと思います。 tidyverseはデータハンドリングと可視化のためのメタパッケージでしたが、tidymodelsはtydyverseにフィットするやり方で統計モデリング/機械学習をするためのメタパッケージになります。 tidymodels配下のパッケージは量が多く使い所が限られているパッケージも多いため、一度に全ては紹介できません。 ですので、今回は典型的な 訓練データとテ
B'zの歌詞をPythonと機械学習で分析してみた 〜Word 2 Vec編〜 - 下町データサイエンティストの日常
1. 本Part概要 こんにちは。pira_ninoです。 早速のお知らせなのですが、本編から超絶優秀な友人のtaijest君も編集に加わってもらっています。これに伴いブログのタイトルも若干変更しました。 さて本題に戻ります。 前PartではB'zの歌詞を「LDA」を用いた曲のクラスタリングを行いました。 皆様のおかげで週間のランキングで11位に載りました！！ありがとうございます！！ pira-nino.hatenablog.com blog.hatenablog.com 本Partでは最近流行りの「Word 2 Vec」を用いて単語の意味の分析を行なっていきます。 目標としましては、B'zの歌詞を用いて「きれい」に意味が近い単語は何かや「あなたと恋するためには僕には何が必要か」といった分析を行っていきます。 Word 2 Vecを用いた分析の目標 2. Word 2 Vecとは 早速、本
Python: パラメータ選択を伴う機械学習モデルの交差検証について - CUBE SUGAR CONTAINER
今回は、ハイパーパラメータ選びを含む機械学習モデルの交差検証について書いてみる。 このとき、交差検証のやり方がまずいと汎化性能を本来よりも高く見積もってしまう恐れがある。 汎化性能というのは、未知のデータに対処する能力のことを指す。 ようするに、いざモデルを実環境に投入してみたら想定よりも性能が出ない (Underperform) ということが起こる。 これを防ぐには、交差検証の中でも Nested Cross Validation (Nested CV) あるいは Double Cross Validation と呼ばれる手法を使う。 ハイパーパラメータの選び方としては、色々な組み合わせをとにかく試すグリッドサーチという方法を例にする。 また、モデルのアルゴリズムにはサポートベクターマシンを使った。 これは、サポートベクターマシンはハイパーパラメータの変更に対して敏感な印象があるため。
[Kaggle]0から本当に機械学習を理解するために学ぶべきこと～一流のデータサイエンティストを例に～ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 「機械学習が出来るようになりたい」そう思いつつも、中々身についた感じがしない。 そんな方々に向けて、Kaggleで公開されているデータ分析の手順を追いかけながら、そこで必要とされている知識を解説したいと思います。全体像を把握することで、より理解が進むはずです。 1. データを分析するために必要な統計的知識 機械学習の目的は未知の事柄を推定することです。そのために既にあるデータから何らかの法則性を見つけ出す為に様々な手法が考えられてきました。 統計学はご存知でしょうか？ 機械学習はデータを扱うという点で統計学と深い関係があります。平均値や
![[Kaggle]0から本当に機械学習を理解するために学ぶべきこと～一流のデータサイエンティストを例に～ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/5d1a76a58eee1163a4fcc972ca11e4b975089503/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCS2FnZ2xlJTVEMCVFMyU4MSU4QiVFMyU4MiU4OSVFNiU5QyVBQyVFNSVCRCU5MyVFMyU4MSVBQiVFNiVBOSU5RiVFNiVBMiVCMCVFNSVBRCVBNiVFNyVCRiU5MiVFMyU4MiU5MiVFNyU5MCU4NiVFOCVBNyVBMyVFMyU4MSU5OSVFMyU4MiU4QiVFMyU4MSU5RiVFMyU4MiU4MSVFMyU4MSVBQiVFNSVBRCVBNiVFMyU4MSVCNiVFMyU4MSVCOSVFMyU4MSU4RCVFMyU4MSU5MyVFMyU4MSVBOCVFRiVCRCU5RSVFNCVCOCU4MCVFNiVCNSU4MSVFMyU4MSVBRSVFMyU4MyU4NyVFMyU4MyVCQyVFMyU4MiVCRiVFMyU4MiVCNSVFMyU4MiVBNCVFMyU4MiVBOCVFMyU4MyVCMyVFMyU4MyU4NiVFMyU4MiVBMyVFMyU4MiVCOSVFMyU4MyU4OCVFMyU4MiU5MiVFNCVCRSU4QiVFMyU4MSVBQiVFRiVCRCU5RSZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9MDFiNTljZWQ3ZmU2ZTFlMTUxZDE3ZmUyZjE2OTNjNDE%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB6ZW5vbm5wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1mZGE5MjQxZmM0MTFiNTcyYWI4Yzk4NWYxMDQxYmU1ZA%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D5787942b2ea3723d4eb35b278223dc6b)
Pythonによるスクレイピング&機械学習のお勉強その6-2 - Word2Vecで文章をベクトル変換しよう - Qiita
今回の目標 このシリーズでは教科書(文献1)に沿ってPythonによるスクレイピングと機械学習を学びます。今回は第6章「テキスト解析とチャットボットの作成」から6-2「Word2Vecで文章をベクトル変換しよう」を学びます。 このシリーズの学習では、原則教科書のサンプルプログラムを作成してゆきますが、著作権に配慮し、できるだけそのままではなく類題を作成して勉強してゆく方針です。 教科書で勉強することの整理 この節ではWord2Vecを用いて様々な文章に出てくる単語の解析を行う手法が解説されています。Word2Vecの実装としてはGensimを用いています。教科書のサンプルプログラムでは word2vec-kokoro.pyで「こころ」の文章をWord2Vecモデル化して保存 対話環境で「こころ」のモデルに出てくる単語の類義語を抽出 青空文庫から夏目漱石、芥川龍之介、太宰治の作品を一括ダウン
機械学習で作成したモデルをREST APIとしてdeployする[python] - データナード
モデルを運用する方法の一つとして、REST APIがあります。これは、予測したいデータをWebベースのAPIに送信することで、予測値のレスポンスを取得する方法です。ここでは、pythonでflaskを用いて試します。 joblib.dumpでモデルを保存する 作成したモデルをjoblib.dumpを用いてファイルとして保存することができます。 from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression import pandas as pd iris = datasets.load_iris() X = pd.DataFrame(iris.data, columns=["sepal_l
![機械学習で作成したモデルをREST APIとしてdeployする[python] - データナード](https://cdn-ak-scissors.b.st-hatena.com/image/square/5e2d30ff875f12a759f0d5588563ad3629215e1e/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F8599973812286868474%2F8599973812294041100%2F1504332957)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
