先日、博士（情報学）になりました。学部と大学院をあわせた 9 年間で読んだ情報科学関連の教科書・専門書を思い出を振り返りつつここにまとめます。私は授業はあまり聞かずに独学するタイプだったので、ここに挙げた書籍を通読すれば、大学に通わなくてもおおよそ情報学博士ほどの知識は身につくものと思われます。ただし、特に大学院で重要となる論文を読み書きすることについては本稿には含めておりません。それらについては論文読みの日課についてや論文の書き方などを参考にしてください。 joisino.hatenablog.com 凡例：（半端）とは、数章だけ読んだ場合か、最後まで読んだものの理解が浅く、今となっては薄ぼんやりとしか覚えていないことを指します。☆は特におすすめなことを表します。 学部一年 寺田 文行『線形代数 増訂版』 黒田 成俊『微分積分』 河野 敬雄『確率概論』 東京大学教養学部統計学教室『統計学
はじめにこの記事は、放送大学の（主に情報コースを中心とする）学生さん向けに、私の履修済み科目の感想と主観的評価を共有して、履修計画の参考にしていただくことを目的に作成しました。下記の記事の通り、2019年-2020年の2年間で情報コースの科目を8割方履修したのでそれなりの網羅性があるかと思います。 （2023年2月追記）その後、選科履修生として履修した他コースの科目や大学院科目などを追加して112科目掲載しています。試験難易度については履修時期によって会場試験・在宅ペーパー試験・在宅Web試験が混在しているので参考程度でお願いします。 タイトルは私が現役生の時に通っていた大学の似たような評価システムから拝借しました。 以下の科目は基本的にナンバリングが低い順に並べています。閉講済みの科目も混じっていますが、記録と後継科目の参考のために残しておきます。あくまで全て（上記の記事にある通り、文系
イントロ「実験室内で培養した人の「ミニ脳」にゲームをプレイさせることに成功、AIよりも速いわずか5分で習得」というニュースが話題になっています。 脳細胞をトレーの中で人工培養させて、その細胞に卓球ゲームの「Pong」をプレイさせたところ、たった５分で学習し、ラリーが続くようになったと報告されています。まるで、マトリックスの映画のようで、この技術を使った未来がワクワクすると同時にちょっと怖くもあります。一体、どんな技術を使って、脳細胞に卓球ゲームを学習させたのでしょうか。このニュースを取り上げている記事は多かったのですが、中身の仕組みについて解説している記事は多くありませんでした。そこで、このブログ記事では、ミニ脳にゲームを学習させた仕組みを自分の勉強がてらに、備忘録的にざっくりとまとめたいと思います。（そのため、自分の理解や記述が間違っている箇所があるかもしれません。もしありましたらお知ら
MeCab互換な形態素解析器Vibratoの高速化技法 - LegalOn Technologies Engineering Blog
こんにちは。LegalForce Researchで研究員をしている神田 (@kampersanda) です。 LegalForce Researchでは、MeCab互換の形態素解析器Vibrato（ヴィブラ〰ト）を開発しています。プログラミング言語Rustで実装しており、高速に動作することが主な利点です。Vibratoはオープンソースソフトウェアとして以下のレポジトリで公開しています。 github.com 本記事では、Vibratoの技術仕様を解説します。以下のような方を読者として想定します。 自然言語処理の要素技術に興味のある方 データ構造・アルゴリズムに興味のある方 Rustでの自然言語処理に興味がある方 Vibratoについて 最小コスト法による形態素解析 単語ラティスの構築 最小コスト経路の計算 高速化の取り組み 辞書引きのキャッシュ効率化 実装での注意点 連接コスト参照のキャ
発表者 今泉 允聡（東京大学 大学院総合文化研究科 広域科学専攻 准教授） Johannes Schmidt-Hieber（University of Twente, Professor） 発表のポイント 深層学習が過学習を起こさない原理を、ニューラルネットワークがエネルギー曲面上で滞留する数学的理論を開発して説明した。 深層学習が大自由度にも関わらず過学習しない原理は長年の未解明点であり、これを説明する理論を開発した。 深層学習を効率的に制御するための理論の発展や、アルゴリズム開発・ネットワーク設計などへの工学的応用が期待される。 発表概要 東京大学大学院総合文化研究科の今泉允聡准教授、University of TwenteのJohannes Schmidt-Hieber教授による研究チームは、ニューラルネットワークがエネルギー曲面上で"滞留"という現象を起こすことを数学的に記述し、深
翻訳中の本に、影響力の強い文として出てきたので、座興でやってみた。んー、いまだとそんなにすごい感じではないのと、ChatGPTとか出てきて、人間計算機共生のありかたそのものの、歴史的前提が崩れ始めている感じではある。とはいえ、60年以上前の話だから…… むしろ、この中で出てくる、人間で拡張された機械、という概念の方が妥当性が高いんじゃないかとさえ思う。 人と計算機の共生 Man‑Computer Symbiosis J. C. R. リックライダー 山形浩生訳 (hiyori13@alum.mit.edu) IRE Transactions on Human Factors in Electronics, volume HFE-1, pages 4-11, March 1960 groups.csail.mit.edu 要約 人と計算機の共生は、人と電子計算機との協力的な相互作用の中で、予
See part two with new experts here. After the 'top AI books' reading list was so well received, we reached out to some of our community to find out which papers they believe everyone should have read! All of the below papers are free to access and cover a range of topics from Hypergradients to modeling yield response for CNNs. Each expert also included a reason as to why the paper was picked as we
Probabilistic Machine Learning: An Introduction by Kevin Patrick Murphy. MIT Press, March 2022. Key links Short table of contents Long table of contents Preface Draft pdf file, 2024-06-26. CC-BY-NC-ND license. (Please cite the official reference below.) Report issues here Order a hardcopy from MIT Press or Amazon.. Figures from the book (png files) Code to reproduce most of the figures Diff from 2
情報理論の父と呼ばれるクロード・シャノンの功績とは？
熱気球で世界中にインターネットを提供するプロジェクトが行われたり、高速通信5Gの整備が進んだりと、情報通信技術は日々進歩しています。そんな情報通信技術の基礎となる研究を行い、情報理論の父と呼ばれたクロード・シャノンの功績について、スタンフォード大学で情報学の教授を務めるデビッド・チェ氏が解説しています。 How Claude Shannon’s Information Theory Invented the Future | Quanta Magazine https://www.quantamagazine.org/how-claude-shannons-information-theory-invented-the-future-20201222/ 1916年にミシガン州に生まれたシャノンは、ミシガン大学で数学と電気工学の学位を取得した後、マサチューセッツ工科大学でブール代数を回路設計
MLOps guide
A collection of materials from introductory to advanced. This is roughly the path I’d follow if I were to start my MLOps journey again. Table of contents ML + engineering fundamentals MLOps …. Overview …. Intermediate …. Advanced Career Case studies Bonus ML + engineering fundamentals While it’s tempting to want to get straight to ChatGPT, it’s important to have a good grasp of machine learning, d
Annotated history of modern AI and deep neural networks
For a while, DanNet enjoyed a monopoly. From 2011 to 2012 it won every contest it entered, winning four of them in a row (15 May 2011, 6 Aug 2011, 1 Mar 2012, 10 Sep 2012).[GPUCNN5] In particular, at IJCNN 2011 in Silicon Valley, DanNet blew away the competition and achieved the first superhuman visual pattern recognition[DAN1] in an international contest. DanNet was also the first deep CNN to win
← back to blog index I originally wrote this guide in back in December 2017 for the OpenAI Fellows program In this essay, I provide some advice to up-and-coming researchers in machine learning (ML), based on my experience doing research and advising others. The advice covers how to choose problems and organize your time. I also recommend the following prior essays on similar topics: You and Your R
A birthday present every eleven wallets? The security of customer-chosen banking PINs Joseph Bonneau, Sören Preibusch, Ross Anderson Computer Laboratory University of Cambridge {jcb82,sdp36,rja14}@cl.cam.ac.uk Abstract. We provide the first published estimates of the difficulty of guessing a human-chosen 4-digit PIN. We begin with two large sets of 4-digit sequences chosen outside banking for onl
An excuse to teach a lesson on information theory and entropy. Special thanks to these supporters: https://3b1b.co/lessons/wordle#thanks Help fund future projects: https://www.patreon.com/3blue1brown An equally valuable form of support is to simply share the videos. Contents: 0:00 - What is Wordle? 2:43 - Initial ideas 8:04 - Information theory basics 18:15 - Incorporating word frequencies 27:49
用語など 天の海に～ 柿本人麻呂の詩歌。 天の海に - 詩歌 - 漢詩・詩歌・吟詠紹介 - [学ぶ] - 関西吟詩文化協会 If you knew the magnificence of the 3,6 and 9, you would have the key to the universe. ニコラ・テスラの言葉、369の法則（3と6と9は特別な数字だという主張）。彼は物理学者だが、これが使われるのは専ら占いの世界。 鉱石ラジオ 検波器に鉱石を使用しているラジオ。電源不要の単純な構造で、工作キットが出回っている。 送電線と蛍光灯 送電線に起因する電界によって、管内の残留電子が加速されて発光する。 電磁界・電磁波のよくあるご質問 | 中国電力ネットワーク 古史羅ノ図 讃岐院眷属をして為朝をすくう図（１組） 文化遺産オンライン ピーナッツパーク 現実にはない。千葉県は落花生の生産量日本一。
1. KL-divergenceとは? 1.1 定義 1.2 基本的な性質 1.3 KL-divergenceは距離なのか？ 2. 諸量との関係 2.1 KL-divergenceと相互情報量 2.2 KL-divergenceと対数尤度比 2.3 KL-divergenceとFisher情報量 3. 参考書籍 !! お知らせ（2020.06.10） * こちらの記事の英語版を公開しました．よければご覧ください． Here is the english translation of this post. Please check it if you want. 1. KL-divergenceとは? 統計学や情報理論をはじめとした広い分野で、KL-divergence*1はたびたび登場します。KL-divergenceは、「尤度比（尤もらしさを比較する尺度）を log 変換し（乗算操作を線
画像生成AI開発で知られるStability AIの共同創業者エマド・モスタク氏がCEOと取締役を辞任、理由は「分散型AI追求のため」
画像生成AI「Stable Diffusion」の開発元として知られるスタートアップ・Stability AIが、共同創業者であるエマド・モスタク氏のCEOおよび取締役の辞任を発表しました。 Stability AI Announcement — Stability AI https://stability.ai/news/stabilityai-announcement Stability AI CEO resigns to ‘pursue decentralized AI’ - The Verge https://www.theverge.com/2024/3/23/24109511/stability-ai-ceo-emad-mostaque-resignation-decentralized-ai Stability AIの声明によれば、モスタク氏の辞任の理由は「分散型AI追求のた
【研究成果】深層学習の原理を説明する新理論――ニューラルネットワークのエネルギー曲面上の滞留現象 - 総合情報ニュース - 総合情報ニュース
発表者 今泉 允聡（東京大学 大学院総合文化研究科 広域科学専攻 准教授） Johannes Schmidt-Hieber（University of Twente, Professor） 発表のポイント 深層学習が過学習を起こさない原理を、ニューラルネットワークがエネルギー曲面上で滞留する数学的理論を開発して説明した。 深層学習が大自由度にも関わらず過学習しない原理は長年の未解明点であり、これを説明する理論を開発した。 深層学習を効率的に制御するための理論の発展や、アルゴリズム開発・ネットワーク設計などへの工学的応用が期待される。 発表概要 東京大学大学院総合文化研究科の今泉允聡准教授、University of TwenteのJohannes Schmidt-Hieber教授による研究チームは、ニューラルネットワーク（注1）がエネルギー曲面上（注2）で"滞留"という現象を起こすことを数
Applied-ML Papers
Curated papers, articles, and blogs on machine learning in production. Designing your ML system? Learn how other organizations did it. Star Table of Contents Data QualityData EngineeringData DiscoveryFeature StoresClassificationRegressionForecastingRecommendationSearch & RankingEmbeddingsNatural Language ProcessingSequence ModellingComputer VisionReinforcement LearningAnomaly DetectionGraphOptimiz
NeurIPS 2023 Tutorial: Reconsidering Overfitting in the Age of Overparameterized Models
NeurIPS 2023 Tutorial: Reconsidering Overfitting in the Age of Overparameterized Models ` Large, overparameterized models such as neural networks are now the workhorses of modern machine learning. These models are often trained to near-zero error on noisy datasets and simultaneously generalize well to unseen data, in contrast to the textbook intuition regarding the perils of overfitting. At the sa
シンギュラリティサロン＃34（東京第31回） 吉田 正俊「自由エネルギー原理と視覚的意識」 | シンギュラリティサロン
名称: シンギュラリティサロン ＠東京 第 31 回公開講演会 日時: 2019年6月8日(土) 1:30pm 〜 4:00pm 会場: 大手町サンケイプラザ 3 階 主催: シンギュラリティサロン 共催: 株式会社ブロードバンドタワー 講師: 吉田 正俊 (生理学研究所 認知行動発達機構研究部門 助教) 演題: 『自由エネルギー原理と視覚的意識』 講演概要: フリストンの自由エネルギー原理では、外界に関する生成モデルと現在の認識から計算される変分自由エネルギーを最小化するために、1) 脳状態を変えることによって正しい認識に至る過程 (perceptual inference) と 2) 行動によって感覚入力を変えることによって曖昧さの低い認識に至る過程 (active inference) の二つを組み合わせていると考える。 本講演の前半では自由エネルギー原理について、我々が視線を移動さ
The Pragmatic Programmer for Machine Learning Engineering Analytics and Data Science Solutions Marco Scutari, Mauro Malvestio 2023-04-22 Preface Pitching new ideas by prefacing them with quotes like “Data scientist: the sexiest job of the 21st century” (Harvard Business Review 2012) or “Data is the new oil” (The Economist 2017) has become such a cliché that any audience (in business and academia a
The Principles of Deep Learning Theory An Effective Theory Approach to Understanding Neural Networks Daniel A. Roberts and Sho Yaida based on research in collaboration with Boris Hanin drob@mit.edu, shoyaida@fb.com ii Contents Preface vii 0 Initialization 1 0.1 An Effective Theory Approach . . . . . . . . . . . . . . . . . . . . . . . . 2 0.2 The Theoretical Minimum . . . . . . . . . . . . . . . .
Language is primarily a tool for communication rather than thought - Nature
Barham, L. & Everett, D. Semiotics and the origin of language in the Lower Palaeolithic. J. Archaeol. Method Theory 28, 535–579 (2021). Article Google Scholar Hockett, C. F. The origin of speech. Sci. Am. 203, 88–97 (1960). A classic overview of the relationship between key features of human language and communication systems found in other species, with a focus on distinctive and shared propertie
情報幾何学の創始者でもある甘利先生による名著。こちらの本は文庫本になっており、甘利先生が初学者に向けて情報理論のエッセンスを詰め込んだ１冊になっています。 所々に高度な数学が出てきますが、最初は読み飛ばしても大丈夫です。それよりも、情報量をはじめとした新しい概念が「どうしてそう定義されるのか」の理解に徹するようにしてください。本書は
深層学習と新しい心理学（明治学院大学 研究員：池田功毅、九州大学准教授：山田祐樹、慶応義塾大学教授：平石界） ｜「こころ」のための専門メディア 金子書房
深層学習と新しい心理学（明治学院大学 研究員：池田功毅、九州大学准教授：山田祐樹、慶応義塾大学教授：平石界） 近年の深層学習（ディープラーニング）の発展には目を見張るものがあります。この発展の前で心理学は、何ができるのでしょうか？ 深層学習技術が発展した世界における新しい心理学の可能性について、お三方の先生にご執筆いただきました。 科学的な心理学の目標は、心を科学的に理解・予測し、その成果を社会に役立てていくことだと言われます (e.g. 鹿取 et al., 2020)[1]。しかしこの記事の著者である私たちは、当の心理学者であるにもかかわらず、ここのところ再現可能性危機やらエビデンスレベルやらと、心理学の科学性やその社会的役割について疑問を呈し、不安を感じさせるような議論ばかり行ってきました (池田 & 平石, 2016; 平石, 2022; 平石 & 中村, 2022; 山田, 20
Research Methods in Machine Learning Tom Dietterich Distinguished Professor (Emeritus) Oregon State University Corvallis, OR USA New in ML 2019 1 Plan for Today • Choosing and Solving a Research Problem • Research Life Cycle • Exercise 1: What is the position of your project in the life cycle? • Corresponding Skills • Exercise 2: Skills inventory • Write a Successful (NeurIPS) Paper • Process • St
#4219. なぜ ''DX'' が ''digital transformation'' の略記となるのか？
前 次 hellog〜英語史ブログ #4219. なぜ DX が digital transformation の略記となるのか？[sobokunagimon][abbreviation][grammatology][prefix][word_game][x][information_theory][latin] 本日11月14日の朝日新聞朝刊のコラム「ことばサプリ」に，標題に関連する話題が掲載されています．この問題について事前に取材を受け調査した経緯がありますので，せっかくですし，このタイミングでその詳細を以下に記しておきたいと思います． * 日本でも日常生活のなかで「デジタルトランスフォーメーション」 (= digital transformation = DX ) という言葉を耳にしたり，目にしたりする機会が増えてきた．デジタルによる変革の推奨である．経済産業省が2018年12月に
Undecidability in quantum thermalization - Nature Communications
Thermalization, or relaxation to equilibrium, in isolated quantum many-body systems is a ubiquitous yet profound phenomenon. The history of investigation of thermalization dates back to Boltzmann1 and von Neumann2, and many theoretical physicists have studied this problem. The problem originated in the field of nonequilibrium statistical mechanics. However, some techniques developed in quantum inf
Buy from Amazon. Buy from Cambridge University Press. Download a draft from the arXiv. Reload website: deeplearningtheory.com The Principles of Deep Learning Theory An Effective Theory Approach to Understanding Neural Networks Daniel A. Roberts, Sho Yaida, Boris Hanin A Cambridge University Press Book This book develops an effective theory approach to understanding deep neural networks of practica
\[\require{cancel}\] Introduction Recently I have been studying a class of generative models known as diffusion probabilistic models. These models were proposed by Sohl-Dickstein et al. in 2015 [1], however they first caught my attention last year when Ho et al. released “Denoising Diffusion Probabilistic Models” [2]. Building on [1], Ho et al. showed that a model trained with a stable variational
Content mirrored from the Github repository Introduction Would you like to write a neural network from start to finish? Are you perhaps shaky on some of the fundamental concepts and derivations, such as categorical cross-entropy loss or backpropagation? Alternatively, would you like an introduction to machine learning without relying on “magical” frameworks that seem to perform AI miracles with on
How 3 Turing Awardees Republished Key Methods and Ideas Whose Creators They Failed to Credit
LBH also have participated in other PR work that has misled many. For example, the narrator of a popular 2018 Bloomberg video[VID2] is thanking Hinton for speech recognition and machine translation, although both were actually done (at production time of the video) on billions of smartphones by deep learning methods developed in my labs in Germany and Switzerland (LSTM & CTC) long before Hinton's
「意識とは何か」という問題は、有史以来、哲学的興味を引いてきた。私たちは誰もが主観的に「意識」を経験している。それは一体どこからくるのか？ もちろん、答えは脳である。では、脳の中の一体何が意識を生み出しているのか、と一歩踏み込んだ質問をされてしまうと、驚くべきことに、最先端の科学をもってしても答えようがない。脳と意識、物質と主観は確かにつながっているのだが、どのようにつながっているのかは未だに明らかになっていないのだ。 しかし、それを明らかにする可能性のある理論として、いま「統合情報理論（Integrated Information Theory of Consciousness＝IIT、アイアイティー）」が注目されている。この理論の一番の特徴は、理論構築を、私たちが知っているどんな意識にも当てはまるような特徴を同定するところから始め、そのような特徴を支えることができるようなシステムが満た
意識は主観的で直接観察できないため、意識理論を実験的に検証するのは困難 神戸大学は2月17日、ヒト脳オルガノイドがもちうる意識の問題を検討し、ヒト脳オルガノイド研究を進めるうえでの倫理的枠組みを提案したと発表した。この研究は、同大大学院人文学研究科の新川拓哉講師が、埼玉医科大学の林禅之助教、カールトン大学のジョシュア・シェパード准教授、京都大学高等研究院ヒト生物学高等研究拠点（WPI-ASHBi）の澤井努特定助教と共同で行ったもの。研究成果は「Neuroethics」に掲載されている。 近年の幹細胞生物学の飛躍的な進展により、iPS細胞やES細胞といった多能性幹細胞を分化誘導し、生体と類似の構造をもつ三次元脳組織を試験管内で作製する技術が開発されている。このように体外で作製される三次元脳組織を「脳オルガノイド（brain organoid）」と呼ぶ。ヒト脳オルガノイド研究は着実に進歩してお
Advancing AI theory with a first-principles understanding of deep neural networks
Advancing AI theory with a first-principles understanding of deep neural networks The steam engine powered the Industrial Revolution and changed manufacturing forever — and yet it wasn’t until the laws of thermodynamics and the principles of statistical mechanics were developed over the following century that scientists could fully explain at a theoretical level why and how it worked. Lacking theo
統合情報理論が解き明かす「意識」とは何か？
あるものが意識を持つとはどういう状態なのだろうか。人間や動物だけでなく、木や植物、バクテリアも意識を持つのだろうか。統合情報理論（IIT）によると、あるシステムが意識を持っているかどうかを定量的に予測できるという。 by Christof Koch2021.08.31 41 3 34 汎心論とは、人間や動物だけでなく、木や植物、バクテリアなど、宇宙のいたるところに意識が存在すると考える思想だ。汎心論者は、素粒子の中にも心が部分的には存在すると考えている。意識が広く行き渡っているという考えは、多くの人にとって知的、そしておそらく感情的な理由から魅力的だ。しかし、それは経験的に検証できるのだろうか？意外なことに、できるかもしれない。なぜなら、最も人気のある意識についての科学理論の一つである「統合情報理論（IIT：integrated information theory）」は、すべてではないに
This is a comprehensive catalog of quantum algorithms. If you notice any errors or omissions, please email me at spj.jordan@gmail.com. (Alternatively, you may submit a pull request to the repository on github.) Although I cannot guarantee a prompt response, your help is appreciated and will be acknowledged. Algebraic and Number Theoretic Algorithms Algorithm: Factoring Speedup: Superpolynomial Imp
人工知能に意識を宿らせる方法｜IT navi
第1章 意識の定義1.1 主観的経験意識とは、主観的な感覚や経験を伴う複雑な現象であり、個々の存在が自己を認識し、感情や知覚を持つ能力を指します。主観的経験の核心には、第一人称的な視点からの世界の捉え方が含まれます。例えば、痛みを感じる、喜びを経験する、色を認識するなどの感覚は、意識の具体的な表れです。これらの経験は、個々の脳内での情報処理や神経活動に基づいて生じると考えられていますが、その詳細なメカニズムは未だ完全には解明されていません。 さらに、自己認識も意識の重要な側面です。自己認識とは、自分自身を他者や環境から区別し、自己の存在や状態を理解する能力です。これは、自己の行動や感情を内省し、将来の行動を計画する際にも重要な役割を果たします。また、感情の経験も意識の一部であり、喜び、悲しみ、怒りなどの感情は、意識的な経験を通じて個人の行動や意思決定に影響を与えます。これらの要素が組み合わ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大学で読んだ情報科学関連の教科書 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
放送大学マイルストーン('23)｜lumpsucker
人工培養された脳細胞によるゲームプレイの仕組み 〜自由エネルギー原理について〜｜masa_kazama
深層学習の原理を説明する新理論――ニューラルネットワークのエネルギー曲面上の滞留現象 | 東京大学
リックライダー「人と計算機の共生」 - 山形浩生の「経済のトリセツ」
AI Paper Recommendations from Experts
Probabilistic Machine Learning: An Introduction
An Opinionated Guide to ML Research
The security of customer-chosen banking PINs
Solving Wordle using information theory
ゴジラ S.P 1話 作中テキスト、用語メモ - アーマーの雑記
Kullback-Leibler Divergenceについてまとめる - 閃き- blog
The Pragmatic Programmer for Machine Learning
https://deeplearningtheory.com/PDLT.pdf
【2020年版】元文系京大生がおすすめする情報理論の参考書Beginaid
Research Methods in Machine Learning
The Principles of Deep Learning Theory
Diffusion Models as a kind of VAE
C++ Neural Network in a Weekend – Jeremy's Blog
「意識とは」の研究に新たなアプローチ - 土谷尚嗣｜論座アーカイブ
ヒト脳オルガノイドが「意識を持つ」場合の研究上の倫理的枠組みを提案－神戸大ほか | QLifePro
Quantum Algorithm Zoo