はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 非アカデミックで機械学習を学んでいる皆さん！ こんな感じじゃないですか 2017年にこれらを書いて7年 いろいろ挫折とか挫折とかしながら考え続け中かつ絶賛積読中ですが、ChatGPTが家庭教師をしてくれるようになったのでまた加速したいと思い、記事をUpdateしました。 私が学んだことかつこれでいいかとChatGPTに聞いた感じこんな流れです。 おそらく冒頭の「ここに何かいる」は「およそ2〜3年次」としているところ特に「関数解析」などを攻略しないといけないと思っています。 統計学・確率論の方は、図が煩雑になってしまうので分けましたがこん

去年【決定版】因果推論本の読書ガイド31冊〜『インベンス・ルービン 統計的因果推論』和訳記念！を書きましたがその後良書が多数出ましたのでUpdateします。 因果推論の３流派 因果推論を初心者が読んでいくと、本によって全然違うことが書いてあって混乱します。実施難しい概念を扱っていることもあるのですが大きく３つの流派があり、この本は〇〇派だよ、と明記してないことが多くそれぞれ概念や用語が異なるのが原因かなと思います。以下時に記載ないものは流派をあまり意識しない入門か概論、それぞれの流儀にはR,　P(Cは私が読んでないのでここではなしです）と略記します。 (１)統計学における因果推論（ルービンの因果モデル） 「因果推論とは根本的に“欠損データ”の問題である」 (2)心理学における因果推論（キャンベル） キャンベルは「内的妥当性を脅かすもの（Threats to internal validit

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 本記事のめあて 自然言語を中心とした生成AIの、AIの中での位置付けの整理 背景 ネット上の記事により、AI、機械学習、深層学習、生成AIの位置付けに混乱が見られるのでそれを整理したかった 概要 AIとはを説明しその中の機械学習の位置づけ 予測AIと生成AIの違い 機械学習とはを説明しその中の深層学習の位置づけ 深層学習を説明しその中の生成AIの位置づけ LLMでも生成AIでないものもある 生成AIとはで、自然言語処理を中心に説明する 生成AI自体を詳述するのではなく、AIの中での位置付けのみ 生成AIに関係ないところは軽く触れるか記載

2023年版データ分析の100冊 が好評でしたので、2024年版を作りましたよ。 データサイエンティスト協会スキルチェックリストに対応したリストも作成しましたよ 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております 本記事作者の青木はバイオインフォマティクス（ゲノムデータのDB化中心・Perl・MySQL）からRで時系列分析→Pythonでデータ分析一般と業務をしてまいりました ですので研究者目的の本はありません。また、データ分析の基礎は主にRで学んだのですが、昨今の流行に合わせて理論のほかはほぼPython本のみにしています こういうリストを挙げる奴は大抵読んでいない、と過去にも言われたのですが、未読本は削除しました 最近好著連発なので読んでいる途中だけど挙げている本はあります（初版

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Developer Roadmapsというサイトがすごいです。ITエンジニアの分野別にスキルアップのロードマップが示されています。 言語、基盤、アプリ、かなり網羅されています。 ということで、AI and Data Scientist Roadmap　について書きましたが 今回は Data Analyst Roadmap です。 雑感 このロードマップの続きにAI and Data Scientistがあり、Data AnalystをData Scientistの前段階的に位置付けているのが疑問。Data AnalystとData Sc

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? その後良書が出たこと、分野間のレベルを合わせるため入替の書籍があることなど大幅Updateした記事を書きました！ Developer Roadmapsというサイトがすごいです。ITエンジニアの分野別にスキルアップのロードマップが示されています。 言語、基盤、アプリ、かなり網羅されています。 その中のAI and Data Scientist Roadmapについての推薦図書まとめです。 雑感 これだけ学んでいれば「こいつ知ってるな」感がありますね。ただ気になる点としては ビジネス、ドメイン知識や分析目的定義などのスキルについて言及がない

大学ではないが、東京大学エクステンション・データサイエンススクール・技術実務者コースでは 前提知識　高校までの理系数学と大学1・2年生の数学の一部（偏微分、積分、行列） 数学科目　統計学、最適化 ざっとレベル感をまとめますと 高校までの計算主体の数学 計算力があればなんとかなる 理工系大学教養レベルの定義・定理で入ってくる数学 抽象度は上がるがまだ図が描ける 理工系大学専門レベル抽象度の上がった数学 位相とかはイメージしずらい、高次元・無限次元とかはもう図もイメージもできない 数学科 超絶 薄い記事では、これらのうちどこを言っているのかとイメージしていない人が言っているのでしょうが、アカデミアの方やエンジニアでもR＆Dで新たなアルゴリズムを開発担当とかでなければ、大体下記をイメージすれば良いのではないかとのところが自論 高校までの数学はほぼ必須 理工系大学教養レベルの数学はできるだけマスタ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? わ、去年2023-08-26にこの記事書いたんだね。まる1年だね。2024年版機械学習・データ分析の必須10冊+ガチ90冊+Next5冊=105冊書きましたよ。 【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本がご好評いただいてましたが古くなりごちゃごちゃしているので新たに作り直しました 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております。 本記事作者の青木はバイオインフォマテ

クリギング入門 コロナ社様のサイトにて読者モニターレビューをさせていただきました。コロナ社：『クリギング入門』の「レビュー」 地理空間データを用いる場合の空間内挿推定手法の１つであるクリギングの分かりやすい入門書です。 分かりやすい本でしたが実装例がExcelのためPythonに翻訳してみました。 pyKrigingというクリギングのライブラリがあるようですが、今回は１ステップずつを確認しつつ検証することが目的であるためテキストのExcel計算をPythonで泥臭く１つずつ実施しています。 テキスト「6.2 Excelを用いた計算」のPythonでの実行 (1) バリオグラム推定 import pandas as pd import numpy as np from scipy.spatial import distance_matrix from scipy.optimize impor

上記の方々の推奨本 2票（naotaka1128、カレーちゃん）[第2版]Python 機械学習プログラミング 達人データサイエンティストによる理論と実践 (impress top gear) 1票（naotaka1128）PythonとKerasによるディープラーニング 1票（naotaka1128）scikit-learnとTensorFlowによる実践機械学習 1票（mlm_kansai）機械学習のための特徴量エンジニアリング ―その原理とPythonによる実践 (オライリー・ジャパン) 記事の概要 Kaggle参戦記 〜入門からExpert獲得までの半年間の記録 & お役立ち資料まとめ〜 *1) 特徴量エンジニアリング 次元削減系 LDA、PCA、tSNE Kaggle TalkingData Fraud Detection コンペの解法まとめ(基本編) 「カテゴリー変数を組み合わ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

データサイエンス領域の役立つブログをまとめる（海外 & 日本）が日本のブログが少ないので、私が参考にしている日本のブログを。 六本木で働くデータサイエンティストのブログ 流行の技術に対する一歩引いた解説、Rでの実装、推薦の本など、ブログを1つだけ選ぶとしたらこれが一番いい R、相関などの統計の基礎、時系列分析などの統計モデル、機械学習、etc Logics of Blue 実装例と理論の解説が分かりやすい R、相関などの統計の基礎、時系列分析などの統計モデル、機械学習、etc iAnalysis ～おとうさんの解析日記～ Rの実装例で関数の細かなTipsなど役に立つことが多い 盆栽日記 Rの実装例で関数の細かなTipsなど役に立つことが多い テキスト処理に強い方のようだ StatsFragments PythonとRの実行例 Pythonに強い方のようだ My Life as a Mock

文系エンジニアが機械学習に入門するために小学校の算数から高校数学までを一気に復習してみました。 こういう記事が注目されるということは皆さん数学学習に疲れてらっしゃるのだろう。つい「数学大嫌い」となってしまうかもしれない。そんな時に息を抜いて読んだら気分転換かつあらたな発見があるだろう本を。 数学ガールの秘密ノートは中学から高校初学者向け程度に向けた数学解説ストーリーです。定義、定理、でガン押ししてくる数学書とは異なり、「如何に読者に理解させるか」を根本まで考えられている結城浩先生の著作は疲れたこころに取り憑きます。 『数学ガールの秘密ノート 微分を追いかけて』 まずは微分です。 『数学ガールの秘密ノート やさしい統計』 続いて、統計。 同著者の高校生向けシリーズの『数学ガール』は、上記よりもっと突っ込んだ難しい話題を扱ってますが、微分、統計、行列などについてのわかりやすい解説があります。

『Rによるデータサイエンス-データ解析の基礎から最新手法まで』 にある各実行をRのcaretパッケージで試します。 対象外 caretは教師あり学習の判別と予測がメインなので、教師なし学習や生存分析、時系列モデルなどは対象外。 対象外：第1-6章、第11-12章、第17章 全体のメモ lmなど通常の関数で作成したモデルに対応するcaret使用のモデルは $finalModel となる。 ただ一部項目は異なるようです。 例 lm cars.lm<-lm(dist ~ speed, data = cars) cars.caret.lm<-train(dist ~ speed, data = cars, method = 'lm') cars.lm に対応するのは cars.caret.lm$finalModel 予想結果等は一致する モデルの統計値等の項目が異なる場合があるので、図示や統計値抽

毎度毎度だが深層学習は素人です。下記の論文も読んでいません。ただ、急速に展開している深層学習を追っている忙しい人のためのきっかけとなればいいな、と思い書いています。 深層学習小史～著名論文で綴る4年+24年～ 被引用数はGoogle Scholarより 前史 昨日今日の話の気がするが実は歴史は古かったりする。まー平成だが。2007年刊行の代表的なテキスト にもCNNは実は出ている。 1989年 CNNの基礎 論文 Backpropagation applied to handwritten zip code recognition 被引用数 1,865(2016/10/25現在) 1998年 CNNの基礎 論文 Gradient-based learning applied to document recognition 被引用数 6,066(2016/10/25現在) それにしてもシュレ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Update版2023年版データ分析の100冊を書きましたよ！ 必読10冊を更新。データサイエンス、データ分析、機械学習周りでおすすめ図書10選のような記事は良く見ますが、網羅的な紹介記事はあまり見かけないので自分が欲しいと思い書きました。私よりたくさん読んでいる方は多々いらっしゃると思いますが、記事を書いてくださいな。 別の観点でデータ分析プロジェクトのフェーズ毎の参考書籍紹介という記事を新たに書きました。 データ分析の各フェーズ（データ分析プロジェクト全体-ビジネス状況の理解-データの理解-データの準備-モデルの作成-評価-展開）毎

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? データ分析一般 ヤバいデータ分析（まだ途中すまんだけど現状でも役に立つと思うので） データ分析を成功させるために『データ分析失敗事例集』『データドリブン思考』から見えてくること ITスキルロードマップ roadmap.sh がすごい。AI and Data Scientist について対応する本をまとめた ITスキルロードマップ roadmap.sh がすごい。Data Analyst について対応する本をまとめた あるデータサイエンティストの勉強履歴（守備範囲が浅く広い系のために） 機械学習 kaggle KAGGLEでどこから手を付

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? わーっと書いてみた間違ってたらごめんな Ver.1.0 なにも分からないがとりあえずデータサイエンティストとしての外面だけ取り繕いたい場合 『Rによるデータサイエンス-データ解析の基礎から最新手法まで』 金 明哲著 森北出版 2007年とやや古いですが、機械学習の基本的な手法が網羅されています。本書のRコードをひたすら写経のように実行しましょう。本書とほぼ同内容が著者の金氏のページで公開されていますのでそちらでもよいと思います。 https://www1.doshisha.ac.jp/~mjin/R/ データ分析で用いられる、多変量解析

4.1 勾配計算の難しさ p42 の最初の式 pp13-14の(2.5a), (2.5b)とその下の式より。 4.2 2層ネットワークでの計算 p43 \begin{align} \frac{\partial{\mathbf{y}}}{\partial{w_{ji}^{(3)}}}&=[\frac{dy_1}{dw_{ji}} ... \frac{dy_j}{dw_{ji}}, ..., \frac{dy_n}{dw_{ji}}]^\top \\ (4.3)より \\ &=[\frac{\Sigma_i{dw_{1i}^{(3)}z_i^{(2)}}}{dw_{ji}} ... \frac{\Sigma_i{dw_{ji}^{(3)}z_i^{(2)}}}{dw_{ji}} ... \frac{\Sigma_i{dw_{ni}^{(3)}z_i^{(2)}}}{dw_{ji}}]^\top