【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本がご好評いただいてましたが古くなりごちゃごちゃしているので新たに作り直しました 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております。 本記事作者の青木はバイオインフォマティクス（ゲノムデータのDB化中心・Perl・MySQL）からRで時系列分析→Pythonでデータ分析一般と業務をしてまいりました。 ですので研究者目的の本はありません。また、データ分析の基礎は主にRで学んだのですが、昨今の流行に合わせてPython本を中心に、Rの本は参考程度にしています（本記事のR版のご要望があれば爆裂書きます！） こういうリストをあげる奴は大抵読んでいない、と過去にも言われたのですが、ほとんど読ん

はじめに 機械学習に関する実用的な知見を知るために、「Kaggleで勝つデータ分析の技術」を読んだので、Kaggle以外の場面でも活用できる話題をまとめてみた。本書は機械学習の基本的な内容も含んでいるが、この記事では機会学習に関する一通りの知識を持ち、実問題に利用している読者を想定してまとめた。従って、勾配ブースティング木の仕組みや、回帰タスクの評価方法等、基本的な内容については解説しない。本記事では、評価の落とし穴や、モデルを改善するための特徴量の工夫、チューニングのTipsについて紹介する。 特徴量 Tips 1: 欠損値の扱い データにはしばしば欠損値が含まれている。欠損値は、そもそも値が存在していない場合の他に、ユーザが意図して入力していない場合や、観測器のエラーによって取得できていない場合等、様々な理由によって生じる。欠損がランダムに発生していない限り、欠損しているという事実が何

はじめに 表題の通りの話をたまに聞きます。「ランダムフォレストは内部で変数選択を行う。なので変数選択は必要ない」という主張です。 しかし個人的には、それはあくまでも 他の手法*1と比べれば変数選択しなかった場合の悪影響が少ない ということであって、ランダムフォレストであっても変数選択した方が良いんじゃ？　ということを昔からずっと思っていました。 検証してみます。 思考実験 実際に検証する前に思考実験を行います。 まずパターンA（変数選択なし）とパターンB（変数選択あり）の2通りを考えます。 パターンA 有効な変数：10個 無効な変数：90個 パターンB 有効な変数：10個 のみ（無効な変数なし） ランダムフォレストの弱分類器では、元々の変数の数の平方根くらいの数の変数を使うのが一般的です。そうすると、 パターンAの場合 弱分類器で使う変数は10個。うち有効なもの（の期待値）は1個。 パター

数学Ⅰは、教養学部前期課程（1年、2年）において、理系クラスが履修を課せられている講義です。数学Ⅰには数学ⅠAと数学ⅠBがあり、どちらのクラスもほぼ同じ内容ですが、数学ⅠAは、論理的な部分に重点を、数学ⅠBは実践的な計算に重点を置いています。 数学Ⅰでは、微積分を学び、大学で必要とされる微分・積分の基本的な知識を習得します。そのため、高校までに学習した微分・積分の知識は知っていることを前提として授業は行われます。

線形代数は，微積分とならんで，現代の数学を支える大きな柱である．数学のどの分野にも，線形代数的なものが現れる．代数では加群や表現，幾何では接空間 や微分形式，解析では線形微分方程式や関数空間など，数え上げていけばきりがないほどである．また，線形代数それ自体は，数学のさらに進んだ分野に比べれ ば簡単であり，それらの基礎になっている． この講義では，ふつうの入門とは異なり，ベクトルや行列，行列式といった，線形代数の基本的対象にはある程度慣れている学生を対象に，ジョルダン標準形な どの進んだ話題や，双対空間，商空間，テンソル積などの抽象的な構成に重点をおいて解説する．より具体的には，数学を専攻として勉強しはじめた学生を想定 している． そのような学生にとっての数学の難しさは，まずはその内容自体にあるだろう．しかしそのほかに，数学独特の考え方や習慣なども，その一因と考えられる．数学の学習の中で，

コーディネータ　坪井俊（理学部） ナビゲータ　　　緒方芳子（理学部） 現代の数学はその長い歴史に支えられている。客観的な状況の評価や合理的な意思の決定のために数学は用いられてきた。人類が様々な事象に出会うたびに、それに対応するために数学は革新されてきた。数学の論理、数の概念は長い歴史の中で何度も問い直された。座標の方法の定着、複素数の発見、微分積分の創始など、高等学校で学ぶ数学の革新の後にも、幾何学の公理、連続の概念、変換の概念などを巡り、数学者の研究は進化し、新しい理論を生み出してきた。 数学は一方でそれ自体の整合性を求め創造的革新的に発展してきたが、他方で社会との関係の中で様々な飛躍を行ってきた。前世紀には数学の抽象化、形式化が大きく進んだが、これにより数学の応用範囲は拡がった。数学は科学の基礎として人々の事象のとらえ方に大きな影響も及ぼしてきている。 このような社会との相互作用の中で

線形代数学では、正則な行列を係数行列とする連立一次方程式は、一意な解を持ち、それはクラメールの公式を用いて表現できることを学んだ。しかし、もし、クラメールの公式をそのまま用いて、未知数が30個の連立一次方程式を解こうとすれば、現在利用できる最も速いスーパーコンピュータを用いても、100億年以上かかる見積もりになってしまい、現実的でない。一方、それをガウスの消去法で求めれば、手頃なラップトップ型パーソナルコンピュータを用いても、 1/100秒もかからない。このように、数学的に解が表現できる、あるいは解が存在するということと、実際に数値を得ることの間には、大きな溝があるのである。数学的な概念や方法を通じて、現実問題を研究する際には、当然、数値的な答えが要求される。そのような問題に対処するために、様々な数学的な概念を、具体的に数値を計算するという立場から研究する分野を数値解析と言う。本講義は、数

勉強について エンジニアの皆さん。エンジニア以外の皆さん。 ・勉強しようと思っているけど、何を勉強したらいいかわからない ・ネットを漁っても良質な教材が出てこない ・他人がどんなことをしているか気になる こんなお悩みありませんか？ 今回は、有名企業の研修資料をまとめましたので、勉強のネタにしてみてはいかがでしょうか？ 新人、ベテラン関係ありません！ GWに暇を持て余したら、こちらをご覧くださいね サイボウズ サイボウズです。 22年度の内容が公開されていました。 ■モバイルアプリ開発 ■サイボウズのアジャイル・クオリティ ■MySQL - テストデータが偏るということ ■モブに早く慣れたい人のためのガイド ■テクニカルライティングの基本 ■ソフトウェアテスト ■セキュリティ ■ソフトウェアライセンス 講義資料と講義動画まで公開されています。 資料が苦手な人でも学習が捗りますね。 ラクス こ

俺はさっきまで知らなかった。これはやばすぎるので増田に書いて広めようと思う。（追記にも書いたが、公式の英語字幕があるので聞き取れなくても心配しないでほしい。） 以下のリンクから飛べる。 https://nptel.ac.in/courses リンク先を見ればすぐ分かると思うが、驚くべきは、カバーしている分野の広さだ。アメリカのMOOC(Udacityだの、Udemyだの)は、表層的な、「すぐ使える技術」の講座ばかりで、オペレーティングシステムやコンピュータネットワーク、あるいは偏微分方程式や代数学といった、コンピュータサイエンスや数学等の基礎学問のような分野はあまりカバーされていない。（主観だが、恐らく正しいはずだ。Udacityのジョージア工科大のコンピュータサイエンスの授業は別だが、数は少ないし、それにしても数学はカバーしていない。） しかし、この「NPTEL」では、自分に関わりのある

2021/08/13 JPX ITやデータ分析を活用した取引の学習環境の提供に係る実証実験プロジェクト —データ分析コンペティション表彰式の開催について— 2021年1月より取り組んでおります、ITやデータ分析を活用した取引の学習環境の提供に係る実証実験プロジェクト「J-Quants」（以下、「本実証実験」という。）（※）に関しまして、これまで行って参りました「ファンダメンタルズ分析データコンペティション」及び「ニュース分析データコンペティション」（以下、「両コンペティション」という。）の表彰式をオンラインで開催いたしましたので、お知らせいたします。 両コンペティションでは、株式市場を対象としたデータ分析の初学者・データサイエンスに知見のある有識者・自然言語処理の有識者等を対象者として、銘柄情報・株価情報・ファンダメンタル情報・日経電子版見出しテキストデータ・適時開示データ等の様々なデータ

東京大学がちょっとびっくりするくらいの超良質な教材を無料公開していたので、まとめました Python入門講座 東大のPython入門が無料公開されています。scikit-learnといった機械学習関連についても説明されています。ホントいいです Pythonプログラミング入門 東京大学 数理・情報教育研究センター: utokyo-ipp.github.io 東大のPython本も非常にオススメです Pythonによるプログラミング入門　東京大学教養学部テキスト: アルゴリズムと情報科学の基礎を学ぶ https://amzn.to/2oSw4ws Pythonプログラミング入門 - 東京大学 数理・情報教育研究センター Google Colabで学習出来るようになっています。練習問題も豊富です https://colab.research.google.com/github/utokyo-ip

はじめに こんにちは，みるか（@mirucaaura）と申します．絶賛ニート生活を謳歌している（Ref: 新卒で入社した会社を退職しました）のですが，あまりに何もしなさすぎて苦しくなってきたので，これまで Twitter でブックマークしてきたツイートを遡って有益そうな PDF や講義動画をここにまとめておきたいと思います． PDF，講義動画，Webサイトの順に列挙していきますが，特に一貫性はありません．ご容赦ください． PDF 線形代数学講義ノート：線型代数の講義ノート．線型代数ともなると Web 上に多くの PDF が落ちていると思うので好きなものを参照すればいいと思う．この PDF が良いのは他ではあまり扱われない双一次形式や無限次元ベクトル空間を章を立てて記述されているところで，関数解析を学ぶときの良い導入になりそう． 工学のための関数解析PDF：山田『工学のための関数解析』の行間

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

使える統計モデル10選（前編） 統計モデリング（statistical modelling）はデータ解析の方法論の1つです。データ解析の目的は、通常はただの数値や記号の羅列であるデータから、人間が何かしらの判断を行うために有益な情報を引き出すことにあります。データ分析者は、そのままでは意味をなさないデータに対して、折れ線グラフやヒストグラムなどを用いて、人間が判断を行いやすいようにデータの可視化を行います。一方で、時にはニューラルネットワークのような複雑な計算モデルを使ってデータを解析し、まだ観測されていない将来の値を予測させたりします。このように、データから有益な情報を引き出すために、データに対して人為的な視点や事前知識、数学的な仮定などを設計する作業をモデリング（modeling）と呼びます。 統計モデリングによるデータ解析では、データ自体や解析の目的に合わせて分析者が適切なモデルを設

数学は「自然現象の背後にある数理現象を見ること」である、と故・小平邦彦教授（日本人初のフィールズ賞受賞者）は繰り返し述べていた。数学の本質を言い表しているこの言葉の意味を今一度考え直した上で、二つのことを付け加えたい。まず、数理現象は自然現象ばかりではなく、社会や技術という現代のシステムの背後にも隠れている。自然や社会から数理現象を見出し、これを数学という言葉を使って表現したものが数理モデルであるが、数学そのものから新しい数理モデルが作られることもある。数学とは、まずこのような観測から第一歩が始められる。また、現象を観測しただけでは科学にはならない。石は磨かなければ玉（価値のあるもの）にはならない、これがもう一つの大事な観点である。発見された現象を分析し、あるいは統合し、必要ならば新しい数学の道具を開発することによって、数理モデルは完成度を増し、新しい数学となる。 この講義では、数学者達が

このブログを普段からお読みになっている皆さんはご存知かと思いますが、僕は割と口を酸っぱくして「マーケティングに携わるならきちんと実験して効果検証せよ、その介入がピュアな施策だろうと機械学習システムによるものだろうと変わらない」ということを折々に触れ言い続けています。 一方で、その効果検証の方法については純粋なRCT（ランダム化比較対照試験）でない限りは往々にして統計的因果推論が必要とされることが多く、その辺のマーケティングの現場で行われている「実験」と称するものを見ていると「それどう見ても交絡まみれやん」と言いたくなるケースが珍しくない、というのが現状のように見受けられます。しかし実務を意識した統計的因果推論の解説書はほぼ皆無に近い状態で、今年の恒例推薦書籍リスト記事を書きながら「相変わらず良い本がないなぁ」と思っていたのでした。 効果検証入門〜正しい比較のための因果推論/計量経済学の基礎