【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本がご好評いただいてましたが古くなりごちゃごちゃしているので新たに作り直しました 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております。 本記事作者の青木はバイオインフォマティクス（ゲノムデータのDB化中心・Perl・MySQL）からRで時系列分析→Pythonでデータ分析一般と業務をしてまいりました。 ですので研究者目的の本はありません。また、データ分析の基礎は主にRで学んだのですが、昨今の流行に合わせてPython本を中心に、Rの本は参考程度にしています（本記事のR版のご要望があれば爆裂書きます！） こういうリストをあげる奴は大抵読んでいない、と過去にも言われたのですが、ほとんど読ん

はじめに 機械学習に関する実用的な知見を知るために、「Kaggleで勝つデータ分析の技術」を読んだので、Kaggle以外の場面でも活用できる話題をまとめてみた。本書は機械学習の基本的な内容も含んでいるが、この記事では機会学習に関する一通りの知識を持ち、実問題に利用している読者を想定してまとめた。従って、勾配ブースティング木の仕組みや、回帰タスクの評価方法等、基本的な内容については解説しない。本記事では、評価の落とし穴や、モデルを改善するための特徴量の工夫、チューニングのTipsについて紹介する。 特徴量 Tips 1: 欠損値の扱い データにはしばしば欠損値が含まれている。欠損値は、そもそも値が存在していない場合の他に、ユーザが意図して入力していない場合や、観測器のエラーによって取得できていない場合等、様々な理由によって生じる。欠損がランダムに発生していない限り、欠損しているという事実が何

はじめに 表題の通りの話をたまに聞きます。「ランダムフォレストは内部で変数選択を行う。なので変数選択は必要ない」という主張です。 しかし個人的には、それはあくまでも 他の手法*1と比べれば変数選択しなかった場合の悪影響が少ない ということであって、ランダムフォレストであっても変数選択した方が良いんじゃ？　ということを昔からずっと思っていました。 検証してみます。 思考実験 実際に検証する前に思考実験を行います。 まずパターンA（変数選択なし）とパターンB（変数選択あり）の2通りを考えます。 パターンA 有効な変数：10個 無効な変数：90個 パターンB 有効な変数：10個 のみ（無効な変数なし） ランダムフォレストの弱分類器では、元々の変数の数の平方根くらいの数の変数を使うのが一般的です。そうすると、 パターンAの場合 弱分類器で使う変数は10個。うち有効なもの（の期待値）は1個。 パター

数学Ⅰは、教養学部前期課程（1年、2年）において、理系クラスが履修を課せられている講義です。数学Ⅰには数学ⅠAと数学ⅠBがあり、どちらのクラスもほぼ同じ内容ですが、数学ⅠAは、論理的な部分に重点を、数学ⅠBは実践的な計算に重点を置いています。 数学Ⅰでは、微積分を学び、大学で必要とされる微分・積分の基本的な知識を習得します。そのため、高校までに学習した微分・積分の知識は知っていることを前提として授業は行われます。

線形代数は，微積分とならんで，現代の数学を支える大きな柱である．数学のどの分野にも，線形代数的なものが現れる．代数では加群や表現，幾何では接空間 や微分形式，解析では線形微分方程式や関数空間など，数え上げていけばきりがないほどである．また，線形代数それ自体は，数学のさらに進んだ分野に比べれ ば簡単であり，それらの基礎になっている． この講義では，ふつうの入門とは異なり，ベクトルや行列，行列式といった，線形代数の基本的対象にはある程度慣れている学生を対象に，ジョルダン標準形な どの進んだ話題や，双対空間，商空間，テンソル積などの抽象的な構成に重点をおいて解説する．より具体的には，数学を専攻として勉強しはじめた学生を想定 している． そのような学生にとっての数学の難しさは，まずはその内容自体にあるだろう．しかしそのほかに，数学独特の考え方や習慣なども，その一因と考えられる．数学の学習の中で，

コーディネータ　坪井俊（理学部） ナビゲータ　　　緒方芳子（理学部） 現代の数学はその長い歴史に支えられている。客観的な状況の評価や合理的な意思の決定のために数学は用いられてきた。人類が様々な事象に出会うたびに、それに対応するために数学は革新されてきた。数学の論理、数の概念は長い歴史の中で何度も問い直された。座標の方法の定着、複素数の発見、微分積分の創始など、高等学校で学ぶ数学の革新の後にも、幾何学の公理、連続の概念、変換の概念などを巡り、数学者の研究は進化し、新しい理論を生み出してきた。 数学は一方でそれ自体の整合性を求め創造的革新的に発展してきたが、他方で社会との関係の中で様々な飛躍を行ってきた。前世紀には数学の抽象化、形式化が大きく進んだが、これにより数学の応用範囲は拡がった。数学は科学の基礎として人々の事象のとらえ方に大きな影響も及ぼしてきている。 このような社会との相互作用の中で

線形代数学では、正則な行列を係数行列とする連立一次方程式は、一意な解を持ち、それはクラメールの公式を用いて表現できることを学んだ。しかし、もし、クラメールの公式をそのまま用いて、未知数が30個の連立一次方程式を解こうとすれば、現在利用できる最も速いスーパーコンピュータを用いても、100億年以上かかる見積もりになってしまい、現実的でない。一方、それをガウスの消去法で求めれば、手頃なラップトップ型パーソナルコンピュータを用いても、 1/100秒もかからない。このように、数学的に解が表現できる、あるいは解が存在するということと、実際に数値を得ることの間には、大きな溝があるのである。数学的な概念や方法を通じて、現実問題を研究する際には、当然、数値的な答えが要求される。そのような問題に対処するために、様々な数学的な概念を、具体的に数値を計算するという立場から研究する分野を数値解析と言う。本講義は、数

勉強について エンジニアの皆さん。エンジニア以外の皆さん。 ・勉強しようと思っているけど、何を勉強したらいいかわからない ・ネットを漁っても良質な教材が出てこない ・他人がどんなことをしているか気になる こんなお悩みありませんか？ 今回は、有名企業の研修資料をまとめましたので、勉強のネタにしてみてはいかがでしょうか？ 新人、ベテラン関係ありません！ GWに暇を持て余したら、こちらをご覧くださいね サイボウズ サイボウズです。 22年度の内容が公開されていました。 ■モバイルアプリ開発 ■サイボウズのアジャイル・クオリティ ■MySQL - テストデータが偏るということ ■モブに早く慣れたい人のためのガイド ■テクニカルライティングの基本 ■ソフトウェアテスト ■セキュリティ ■ソフトウェアライセンス 講義資料と講義動画まで公開されています。 資料が苦手な人でも学習が捗りますね。 ラクス こ

鐘の音（除夜の鐘）ダイエット-30kg @kanenooto7248 努力する際に一番怖いこと。 「最大限努力した結果、自分が大したことのない人間だった」ということを知ることなんだろうと思う。 この恐怖、ほかの人は、どうやって克服してるんだろうか？ 2022-10-07 10:13:15

ビジネスでデータサイエンスを活用するシーンとして、過去データを使って将来を予測するタイプの問題がある。商品販売数や店舗売上高など、折れ線グラフを使って表現するようなデータ（時系列データ）に基づいた時系列分析だ。過去の販売データに基づいて翌月の発注量を決めたり、3年後など中長期の計画を策定したりするのに使う。今回は、この時系列分析に活用しやすい3つのアルゴリズムを見ていこう。 Prophet

俺はさっきまで知らなかった。これはやばすぎるので増田に書いて広めようと思う。（追記にも書いたが、公式の英語字幕があるので聞き取れなくても心配しないでほしい。） 以下のリンクから飛べる。 https://nptel.ac.in/courses リンク先を見ればすぐ分かると思うが、驚くべきは、カバーしている分野の広さだ。アメリカのMOOC(Udacityだの、Udemyだの)は、表層的な、「すぐ使える技術」の講座ばかりで、オペレーティングシステムやコンピュータネットワーク、あるいは偏微分方程式や代数学といった、コンピュータサイエンスや数学等の基礎学問のような分野はあまりカバーされていない。（主観だが、恐らく正しいはずだ。Udacityのジョージア工科大のコンピュータサイエンスの授業は別だが、数は少ないし、それにしても数学はカバーしていない。） しかし、この「NPTEL」では、自分に関わりのある

はじめに 本記事では、Rによる一般化線型モデル解析を紹介する。線型回帰、ロジスティック回帰、ポアソン回帰を行う。入門的な記事で記されている内容に加え、係数ベクトルによる算出、対比検定、offset項を用いたポアソン回帰による率比推定を記載した。 【参考文献】 一般化線形モデル入門 原著第2版 Modern Epidemiology 4th edition 目次 一般線型モデルと一般化線型モデル Package 一般線型モデル（LM） Cervical Dystonia longitudinal dataset Variables データの読み込み 線型回帰分析 係数ベクトルによる算出 例1: treat_c2群の16週目のtwstrs 例2: treat_c2群の治療効果 対比検定 一般化線型モデル（GLM） Byar & Greene prostate cancer data Varia

総務省は1月11日、データサイエンスのオンライン講座「誰でも使える統計オープンデータ」を、MOOC講座プラットフォーム「gacco」で開講した。社会人・大学生に、統計オープンデータを活用したデータ分析の手法を解説する講座で、3月7日まで受講できる。 週約3時間×4週間の内容。政府統計の総合窓口「e-Stat」、総務省と統計センターが提供する統計GIS、API機能などを使い、データ分析の手法を学べる。 講師は「統計学が最強の学問である」の著書で知られる統計家の西内啓氏や、総務省統計局の担当者など。 2017年6月に初開講して以来、断続的に開講し、のべ約2万8000人が受講した講座。 関連記事 政府が「ワクチン接種状況ダッシュボード」公開　性別や都道府県別に可視化 政府が、全国の新型コロナワクチンの接種状況を一覧にまとめた「ワクチン接種状況ダッシュボード」を公開。統計情報をまとめたCSVやJS

これは何？修士(文学)が数学を勉強する必要性に駆られているが、数学の書籍を読む方法について遠い記憶と見よう見真似でしか体得できていないので、インターネットの叡智も合わせて再度定式化して自分の逃げ道を奪うメモ。 僕の僕による僕のためのメモなので、他の人の参考になるかどうかは知ったことではない。 目的統計検定1級のために以下の書籍を理解を伴って「読了」するための方法について理解する。 過去の記憶修士(文学)とはいいつつ、学部〜大学院の頃に博士課程の先輩が主催する勉強会に参加して、読み方の片鱗を学んだ。その時は以下のことを概念的に学んだ記憶がある。 数学書1冊の読了に時間がかかることを受け入れる 1章が終わらないのはザラ。1行しか進まない日もある。 上記経験では(参加者との分担もあったためか)2年弱かかった。 数式には「行間(ギャップ)」がある 出てくる数式はつながりがあるが、それがわかりやすい

2021/08/13 JPX ITやデータ分析を活用した取引の学習環境の提供に係る実証実験プロジェクト —データ分析コンペティション表彰式の開催について— 2021年1月より取り組んでおります、ITやデータ分析を活用した取引の学習環境の提供に係る実証実験プロジェクト「J-Quants」（以下、「本実証実験」という。）（※）に関しまして、これまで行って参りました「ファンダメンタルズ分析データコンペティション」及び「ニュース分析データコンペティション」（以下、「両コンペティション」という。）の表彰式をオンラインで開催いたしましたので、お知らせいたします。 両コンペティションでは、株式市場を対象としたデータ分析の初学者・データサイエンスに知見のある有識者・自然言語処理の有識者等を対象者として、銘柄情報・株価情報・ファンダメンタル情報・日経電子版見出しテキストデータ・適時開示データ等の様々なデータ

この記事こそが！ R Advent Calendar 22日目の記事です！ このノリがわからない人は前の記事を読んでください。 この前の記事が知る人ぞ知るRおじさんのAtsusyさんなのでこの記事では上がったハードルをくぐっていきます。 皆さん読んできました？省略できちゃうんですよ……これでRとPythonでのギャップが埋まり、世界はデータドリブンに動きますね…… しかも明日はSendaiRの運営をされてる茶畑さん、 あさってはがspoanaの運営をされてるtsuyuponさんの投稿です。 誰？ みなさんご存知きぬいとさんです。 私は学生時代からRを使ってかれこれ8年になりますが、その人生の大半を線形回帰モデルに費やしてきました。 例えば学部時代にはDobsonの一般化線形モデル入門を読んだり、 ベイズモデリングに入門したり、 Stanの可能性に触れたりと、統計モデルの理論を学び、Rで実装

MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。iPride Co., Ltd.

「 産技大人間中心デザインOB/OG Advent Calendar 2018 - Adventar 」22日目の記事です。 タイトルの通り私は元々はデータサイエンティストとしてレコメンドシステムのR＆Dやサイト改善のための分析をしていたのですが、数年前から徐々に既存のユーザ体験の枠の中でデータ分析や機械学習が適用できる場所を探すやり方ではサービスの大幅な改善には繋がらない、本気でデータをサービス改善に活かすのであればユーザ体験そのものを設計からやらなくてはいけないと考えるようになり、昨年から本格的にUXの勉強を始め、およそ１年間でUXデザイン業務をこなせるようになりました。 他のデータサイエンティストの方々で同じような意識を持たれている方が最近少しずつ増えているなと感じています。私が勉強を始めたときは周りにUXデザインに詳しい人もいなかったこともあり、出版されている本は片っ端から購入して