わ、去年2023-08-26にこの記事書いたんだね。まる1年だね。2024年版機械学習・データ分析の必須10冊+ガチ90冊+Next5冊=105冊書きましたよ。 【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本がご好評いただいてましたが古くなりごちゃごちゃしているので新たに作り直しました 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております。 本記事作者の青木はバイオインフォマティクス（ゲノムデータのDB化中心・Perl・MySQL）からRで時系列分析→Pythonでデータ分析一般と業務をしてまいりました。 ですので研究者目的の本はありません。また、データ分析の基礎は主にRで学んだのですが、昨今の流行に合わせてPython本を中心に

はじめに 機械学習に関する実用的な知見を知るために、「Kaggleで勝つデータ分析の技術」を読んだので、Kaggle以外の場面でも活用できる話題をまとめてみた。本書は機械学習の基本的な内容も含んでいるが、この記事では機会学習に関する一通りの知識を持ち、実問題に利用している読者を想定してまとめた。従って、勾配ブースティング木の仕組みや、回帰タスクの評価方法等、基本的な内容については解説しない。本記事では、評価の落とし穴や、モデルを改善するための特徴量の工夫、チューニングのTipsについて紹介する。 特徴量 Tips 1: 欠損値の扱い データにはしばしば欠損値が含まれている。欠損値は、そもそも値が存在していない場合の他に、ユーザが意図して入力していない場合や、観測器のエラーによって取得できていない場合等、様々な理由によって生じる。欠損がランダムに発生していない限り、欠損しているという事実が何

はじめに 表題の通りの話をたまに聞きます。「ランダムフォレストは内部で変数選択を行う。なので変数選択は必要ない」という主張です。 しかし個人的には、それはあくまでも 他の手法*1と比べれば変数選択しなかった場合の悪影響が少ない ということであって、ランダムフォレストであっても変数選択した方が良いんじゃ？　ということを昔からずっと思っていました。 検証してみます。 思考実験 実際に検証する前に思考実験を行います。 まずパターンA（変数選択なし）とパターンB（変数選択あり）の2通りを考えます。 パターンA 有効な変数：10個 無効な変数：90個 パターンB 有効な変数：10個 のみ（無効な変数なし） ランダムフォレストの弱分類器では、元々の変数の数の平方根くらいの数の変数を使うのが一般的です。そうすると、 パターンAの場合 弱分類器で使う変数は10個。うち有効なもの（の期待値）は1個。 パター

コーディネータ：松山 裕 ナビゲータ：大庭 幸治 日々、進歩を続ける医療は、人を対象とした研究の成果を通してその技術が確立し、我々のもとへと届けられています。一言で研究と言っても、ゲノム情報を用いた研究から新薬開発のために実施される治験、更には、市販後の最適な治療法の評価、開発時には検出が困難な副作用に関する薬剤疫学研究、医療経済性の評価など、その種類は非常に多様なものです。そのため、医学のみならず、薬学、生物学、工学、経済学、統計学など様々な学問の専門家が関わって実施されています。一方で、全ての研究で共通していることは、それぞれで必要なデータを計画的に収集し、解析し、データに基づいた意思決定を行っているということです。近年、データサイエンスという新しい科学研究の方法論が注目を集めていますが、医療という分野は比較的古くからデータサイエンスを実践してきたとも言えます。本講義シリーズでは、薬や

線形代数学では、正則な行列を係数行列とする連立一次方程式は、一意な解を持ち、それはクラメールの公式を用いて表現できることを学んだ。しかし、もし、クラメールの公式をそのまま用いて、未知数が30個の連立一次方程式を解こうとすれば、現在利用できる最も速いスーパーコンピュータを用いても、100億年以上かかる見積もりになってしまい、現実的でない。一方、それをガウスの消去法で求めれば、手頃なラップトップ型パーソナルコンピュータを用いても、 1/100秒もかからない。このように、数学的に解が表現できる、あるいは解が存在するということと、実際に数値を得ることの間には、大きな溝があるのである。数学的な概念や方法を通じて、現実問題を研究する際には、当然、数値的な答えが要求される。そのような問題に対処するために、様々な数学的な概念を、具体的に数値を計算するという立場から研究する分野を数値解析と言う。本講義は、数

この講義は主に学部３年生を対象としているが、学部４年生も受講することができる。確率統計、確率過程、信号処理の基礎を、講義と演習を通して習得し、自 在に応用できるようにするのが目的である。この講義によって身に付く事項として、順列と組み合わせ、確率変数と確率分布、ランダムウォーク、ブラウン運 動、ランジュバン方程式、自己相関、雑音、誤差、フーリエ変換、パワースペクトル、ディジタル信号処理などが挙げられる。信号処理については、コンピュー タ上でSPICE3プログラムを用いた演習も行う。

はじめに 因果推論100本ノック（自作）11本目~20本目の問題とPythonのサンプルコードです． 問題の不備や内容の誤り等ありましたら，ご指摘いただけますと幸いです． 設定 メールマーケティングの効果を推定するケースについて考えます． 化粧品のEC販売にて，メディアの会員の中で購買傾向の弱いユーザーにキャンペーンメールを配信します．手元には「過去に小規模なデータで実験を行ったデータ」と「今回購買傾向の弱いユーザーにメールを配信したデータ」が存在するとします． データは，下記フォルダの2つのファイルを利用します． 利用するファイルの概要は下記の通りです． causal_knock2_rct.csv: 実験データ（以下,rctデータ） causal_knock2_reg.csv: 購買傾向の弱いユーザーにメールを送ったデータ（以下，regデータ） データのカラムの概要は下記の通りです． 変

(Image by wal_172619 from Pixabay) 去年で恒例の推薦書籍リストの更新は一旦終了したつもりだったんですが、記事を公開して以降に「これは新たにリスト入りさせないわけにはいかない！」という書籍が幾つも現れる事態になりましたので、前言撤回して今年も推薦書籍リストを公開しようと思います。 初級向け6冊 実務総論 データサイエンス総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別15冊 回帰モデル PRML 機械学習の実践 Deep Learning / NN 統計的因果推論 ベイズ統計学 時系列分析 グラフ・ネットワーク分析 データ基盤 コメントや補足説明など 完全なる余談 初級向け6冊 今回は新たに加わったテキストがあります。 実務総論 AI・データ分析プロジェクトのすべて[ビジネス力×技術力＝価値創出

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

ビッグデータの時代と言われている。近年、データの計測およびストレージ技術の発達とともに、大規模データから適切に情報抽出し、それを意思決定に活用することが必須のリテラシーとなっている。いっぽうデータの形式と対応する解析法の変化は著しく、新しい方法を正しく利用するために、普遍的な統計科学の原理を理解することが重要である。基礎となる統計数理とともに、具体的な統計解析手法とその運用を、統計ソフトウエアによるデータ解析実習を通じて習得する。 　統計データ解析Ⅱでは、統計ソフトウエアRの説明の後、高次元大規模データに潜む相関構造を発見し計量する多変量解析、および時系列データの基本的な解析法を学ぶ。統計手法の運用とデータハンドリングを実習することに加え、微分積分学、線型代数学等の前期課程数学と連携し、数理科学的側面を意識しながら、実験を介して統計手法の合理性と体系を感得する。

標準 ベイズ統計学 朝倉書店Amazon 発刊当時に話題になっていた『標準ベイズ統計学』。実は訳者のお一人、菅澤翔之助さんからオフィス宛てでご恵贈いただいていたのですが、親父の没後処理やら自分のDVTやら実家の片付けやらで全く手が回らずオフィスに置いたままにしてしまっていたのでした。で、この度改めて拝読してみたら「何故もっと早く読まなかったんだ」と後悔するくらいあまりにも内容が素晴らしかったので、遅まきながら書評記事を書こうと思い立った次第です。 ベイズ統計学というと、殆ど詳しくない人だと「ベイズの定理以外に何があるの？」という印象ぐらいしかないかもしれませんし、一方でとりあえず技法としてやり方だけ覚えてしまった人だと「とりあえずMCMC回せばいいんだよね？」みたいな雑な理解になってしまうかもしれません。いずれにせよこれまで邦書ではベイズ統計学というと超初歩か実装重視かの二択が多かったせい

# みんなの考えた最強のデータアーキテクチャ https://datatech-jp.connpass.com/event/258157/ ## イベント説明 datatech-jpで集ったデータエンジニアが、それぞれみんなの考えた最強のデータアーキテクチャを紹介し合うという夢のような企画が実現しました！ たくさんの新しいプロダクトが群雄割拠する現在、モダンデータスタックなどという言葉も登場しています。 今こそ、どんなプロダクトを選び、どのようなデータ基盤を作れば、効率的にやりたいことが実現できるのか。 5人の猛者からおすすめの構成をご紹介いただきながら、参加者のみなさんとも一緒に考えていく時間としたいと思います。 ぜひ奮ってご参加ください！ ## 発表概要 広告配信システムで発生する大量で多種多様のデータ。そして、人間の多種多様なデータへのニーズに耐えるために至ったデータアーキテクチャに

総務省は10月4日、無料のオンライン講座「社会人のためのデータサイエンス演習」をリニューアルして開講した。AI技術などの最新動向を踏まえ、一部を改訂した。開講期間は12月13日まで。 2016年の開講からのべ5万7000人が受講した講座。データサイエンスに携わる専門家や大学教授が、データサイエンスを基礎から教える。 MOOC講座プラットフォーム「gacco」で、1回10分程度の講座を5～7回で提供。さらに、補講・演習（10分程度×11回）もある。 リニューアルで最新トピックスを追加したほか、仮説検定や統計解析ソフトを使ったデータ分析方法を紹介するなど、内容を一部刷新した。 登録すれば誰でも無料で受講できる。受講登録は12月5日まで。 関連記事 総務省「誰でも使える統計オープンデータ」無料オンライン講座スタート 総務省が「誰でも使える統計オープンデータ」を開講。統計オープンデータを活用したデ

2021/08/13 JPX ITやデータ分析を活用した取引の学習環境の提供に係る実証実験プロジェクト —データ分析コンペティション表彰式の開催について— 2021年1月より取り組んでおります、ITやデータ分析を活用した取引の学習環境の提供に係る実証実験プロジェクト「J-Quants」（以下、「本実証実験」という。）（※）に関しまして、これまで行って参りました「ファンダメンタルズ分析データコンペティション」及び「ニュース分析データコンペティション」（以下、「両コンペティション」という。）の表彰式をオンラインで開催いたしましたので、お知らせいたします。 両コンペティションでは、株式市場を対象としたデータ分析の初学者・データサイエンスに知見のある有識者・自然言語処理の有識者等を対象者として、銘柄情報・株価情報・ファンダメンタル情報・日経電子版見出しテキストデータ・適時開示データ等の様々なデータ

東京大学がちょっとびっくりするくらいの超良質な教材を無料公開していたので、まとめました Python入門講座 東大のPython入門が無料公開されています。scikit-learnといった機械学習関連についても説明されています。ホントいいです Pythonプログラミング入門 東京大学 数理・情報教育研究センター: utokyo-ipp.github.io 東大のPython本も非常にオススメです Pythonによるプログラミング入門　東京大学教養学部テキスト: アルゴリズムと情報科学の基礎を学ぶ https://amzn.to/2oSw4ws Pythonプログラミング入門 - 東京大学 数理・情報教育研究センター Google Colabで学習出来るようになっています。練習問題も豊富です https://colab.research.google.com/github/utokyo-ip

はじめに こんにちは，みるか（@mirucaaura）と申します．絶賛ニート生活を謳歌している（Ref: 新卒で入社した会社を退職しました）のですが，あまりに何もしなさすぎて苦しくなってきたので，これまで Twitter でブックマークしてきたツイートを遡って有益そうな PDF や講義動画をここにまとめておきたいと思います． PDF，講義動画，Webサイトの順に列挙していきますが，特に一貫性はありません．ご容赦ください． PDF 線形代数学講義ノート：線型代数の講義ノート．線型代数ともなると Web 上に多くの PDF が落ちていると思うので好きなものを参照すればいいと思う．この PDF が良いのは他ではあまり扱われない双一次形式や無限次元ベクトル空間を章を立てて記述されているところで，関数解析を学ぶときの良い導入になりそう． 工学のための関数解析PDF：山田『工学のための関数解析』の行間

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。