先日、博士（情報学）になりました。学部と大学院をあわせた 9 年間で読んだ情報科学関連の教科書・専門書を思い出を振り返りつつここにまとめます。私は授業はあまり聞かずに独学するタイプだったので、ここに挙げた書籍を通読すれば、大学に通わなくてもおおよそ情報学博士ほどの知識は身につくものと思われます。ただし、特に大学院で重要となる論文を読み書きすることについては本稿には含めておりません。それらについては論文読みの日課についてや論文の書き方などを参考にしてください。 joisino.hatenablog.com 凡例：（半端）とは、数章だけ読んだ場合か、最後まで読んだものの理解が浅く、今となっては薄ぼんやりとしか覚えていないことを指します。☆は特におすすめなことを表します。 学部一年 寺田 文行『線形代数 増訂版』 黒田 成俊『微分積分』 河野 敬雄『確率概論』 東京大学教養学部統計学教室『統計学
2019-nCoVについてのメモとリンク
リンク集目次 国内外の状況 政府機関・国際機関等 学術情報 疫学論文 分子生物学／ウイルス学論文 臨床論文 インフォデミック関係 ワクチン関係 変異株関係 時系列メモ目次 新型コロナウイルス（2020年1月6日，11日） インペリグループによる患者数推定（2020年1月18日） 患者数急増，西浦さんたちの論文（2020年1月20日，23日） WHOはPHEIC宣言せず（2020年1月23-24日） 絶対リスクと相対リスク（2020年1月26日） 研究ラッシュが起こるかも（2020年1月27日） なぜ新感染症でなく指定感染症なのか？ なぜ厚労省令でなく閣議決定なのか？（2020年1月27日） コロナウイルスに対する個人防御（2020年1月27日） 国内ヒト＝ヒト感染発生（2020年1月28日） フォローアップセンター設置，緊急避難等（2020年1月29日） PHEICの宣言（2020年1月3
TL;DR can you trust every browser to generate globally unique identifiers at scale? At Teads, we have tried, and the answer is yes, with a few caveats. This article describes the experiments we’ve run and the discoveries we made along the way. Why we need client-side unique identifiersGenerating unique identifiers is a common need that third-party scripts integrated on Web pages and e-commerce sit
What Is ChatGPT Doing … and Why Does It Work?
What Is ChatGPT Doing … and Why Does It Work? February 14, 2023 It’s Just Adding One Word at a Time That ChatGPT can automatically generate something that reads even superficially like human-written text is remarkable, and unexpected. But how does it do it? And why does it work? My purpose here is to give a rough outline of what’s going on inside ChatGPT—and then to explore why it is that it can d
第一位 Focal Loss for Dense Object Detection 物体検知のためのFocal Loss これは不均衡データに対処するための損失関数Focal Lossを提案した論文なのですが, とにかくそのシンプルさにやられました. 画像のFLの式を見てください. たったこれだけです. ptは正解ラベルに対する予測値なのですが, ptが大きければ大きいほど損失値をしっかり抑えられるように設計された関数となっています. 正解ラベルに対して0.6と予測するサンプルを学習に重要視せず, 0.3とか0.1とか予測しちゃうサンプルにしっかりと重要視するのです. 自分も7月くらいまでは不均衡データに関する研究していたのですが, 自分が考えた多くのアイディアが結局Focal Lossの下位互換に帰結してしまうのです. しかもこの損失関数の汎用性は非常に高く, あらゆるタスクに入れること
How NAT traversal works
WireGuard is a registered trademark of Jason A. Donenfeld. We covered a lot of ground in our post about How Tailscale Works. However, we glossed over how we can get through NATs (Network Address Translators) and connect your devices directly to each other, no matter what’s standing between them. Let’s talk about that now! Let’s start with a simple problem: establishing a peer-to-peer connection be
はじめに 千葉大学/Nospareの米倉です．今回は僕が専門にしている計算機統計学・ベイズ統計学周辺で僕が勝手にお勧めだと思う教科書を10冊簡単なコメント付きで紹介したいと思います．初学者向けといより，修士・博士課程位のレベルのが多いので，ややプロ向けです． お勧めのプログラミング言語 僕は普段Julia言語を用いています．特徴は非常に高速なのと，可読性の高さでしょうか．個人的にはPythonやRより優れていると感じていて，僕の周りの専門家でも使っている人が多いです． Robert and Casella "Monte Carlo Statistical Methods" この分野のバイブルと言えばバイブルみたいな感じですが，そう呼ぶにはちょっと頼りない感じもします．けどモンテカルロ法に興味がある人はマストバイです．色々な種類のモンテカルロ法が網羅的に紹介されています． Efron and
こんにちは、Hikaru Kashidaです。 メルカリという会社で、主にサービスのグロースのためのデータ分析をしています。最近は、ピースオブケイクという会社でnote（あなたが今見ているこのサービスです！）というサービスのグロースのための顧問なんかもしています。 こちらに自己紹介などを書いているので、お前誰よって思った方は見てみていただけると幸いです。 さて、TL;DR ー 長いので先に結論を... 本文が長くなったので、5行でクイックに結論を書いておきます。 ・Growth Hackという言葉が前に流行したが今となってはどうでもいい ・シリコンバレーではGrowth Teamが存在する会社が多い ・グロースはPMFのあとに始まる ・僕の考えるグロースの全体構造は下図みたいな感じ ・いちばん最後に、僕の考える「9 principles of Growth」を書いた。長いと感じる人は、間を
January 30, 2023 In this post, we'll implement a GPT from scratch in just 60 lines of numpy. We'll then load the trained GPT-2 model weights released by OpenAI into our implementation and generate some text. Note: This post assumes familiarity with Python, NumPy, and some basic experience with neural networks. This implementation is for educational purposes, so it's missing lots of features/improv
オックスフォード大学出版会のVery Short Introductionという有名な入門書シリーズがある。短くて内容も平易なので、まずはこの1冊という感じで推薦されることも多いシリーズだ。 さて、このシリーズは当然ながら邦訳もたくさん出ているのだが、複数の出版社がそれぞれの形で刊行しているため、どれがVery Short Introductionの邦訳なのか分からないという問題がある。 ありがたいことにオックスフォード大学出版会が以下のページに邦訳の一覧をエクセルのファイルで貼ってくれているが、ちょっと見にくい。*1*2 Very Short Introductions - Oxford University Press www.oupjapan.co.jp ということで、このページではVery Short Introductionの邦訳を一覧の形でまとめてみた。無秩序に並べていくのもな
Speculation in JavaScriptCore
This post is all about speculative compilation, or just speculation for short, in the context of the JavaScriptCore virtual machine. Speculative compilation is ideal for making dynamic languages, or any language with enough dynamic features, run faster. In this post, we will look at speculation for JavaScript. Historically, this technique or closely related variants has been applied successfully t
はじめに こんにちは，みるか（@mirucaaura）と申します．絶賛ニート生活を謳歌している（Ref: 新卒で入社した会社を退職しました）のですが，あまりに何もしなさすぎて苦しくなってきたので，これまで Twitter でブックマークしてきたツイートを遡って有益そうな PDF や講義動画をここにまとめておきたいと思います． PDF，講義動画，Webサイトの順に列挙していきますが，特に一貫性はありません．ご容赦ください． PDF 線形代数学講義ノート：線型代数の講義ノート．線型代数ともなると Web 上に多くの PDF が落ちていると思うので好きなものを参照すればいいと思う．この PDF が良いのは他ではあまり扱われない双一次形式や無限次元ベクトル空間を章を立てて記述されているところで，関数解析を学ぶときの良い導入になりそう． 工学のための関数解析PDF：山田『工学のための関数解析』の行間
About Menu Toggle CDS Overview Diversity, Equity, & Inclusion (DEI) Menu Toggle About Community Partners Program Stats & Plans Employment Contact Admissions Menu Toggle Admissions Overview Master’s Admissions Menu Toggle Program Overview Admissions Requirements FAQ Financial Aid & Fellowships Admissions Ambassadors PhD Admissions Menu Toggle Program Overview Areas & Faculty Admissions Requirements
「機械学習とビジネスを橋渡しするものこそ評価指標であり, "全てのビジネスは条件付期待値の最大化問題として書ける"」という話の問題点と代替案 - ill-identified diary
概要 はじめに I. 条件付き期待値が全てか? i 条件付き「期待値」だけでよいのか? ii 条件付き期待値の条件とはなにか? メディアミックスモデルを例に 外挿と選択バイアス 補足: 条件付き期待値の条件付けに関して II. 機械学習の性能評価 ≠ ビジネスモデル なのか? 分類モデルと確率の推定 確率推定の評価はできるのか III. こういう話の教科書・参考書はないのか? まとめ 参考文献 概要 『機械学習とビジネスを橋渡しするものこそ評価指標であり, ”全てのビジネスは条件付期待値の最大化問題として書ける”仮説についての一考察 - 株式会社ホクソエムのブログ』というブログ記事に対する私の昨日の twitter での連続投稿の話を書き改め, 説明不足な部分を補った. 昨日と同様に, (I) 条件付き期待値だけでよいか, (II) ビジネスモデルと機械学習の性能評価は一致しないのか, (
Abstract: In recent years, academic research and investigative reports have brought to light several cases of computational propaganda (i.e. orchestrated attempts to manipulate public opinion or the outcome of elections via social media), as well as proof that filter algorithms amplify right-wing conservative content on Japanese social media. Piecing together the scattered pieces of a puzzle, this
What We Learned from a Year of Building with LLMs (Part I)
Join the O'Reilly online learning platform. Get a free trial today and find answers on the fly, or master something new and useful. Learn more It’s an exciting time to build with large language models (LLMs). Over the past year, LLMs have become “good enough” for real-world applications. The pace of improvements in LLMs, coupled with a parade of demos on social media, will fuel an estimated $200B
There are millions of GitHub repos and filtering them is an insane amount of work. It takes a huge time, effort, and a lot more. We have done this for you. In this article, we’ll share a curated list of 100+ widely-known, recommended, and most popular repositories and open source GitHub projects for Machine Learning and Deep Learning. So without further ado, Let’s see all the hubs created by exper
An AnandTech Interview with Jim Keller: 'The Laziest Person at Tesla'
Topics Covered AMD, Zen, and Project Skybridge Managing 10000 People at Intel The Future with Tenstorrent Engineers and People Skills Arm vs x86 vs RISC-V Living a Life of Abstraction Thoughts on Moore's Law Engineering the Right Team Idols, Maturity, and the Human Experience Nature vs Nurture Pushing Everyone To Be The Best Security, Ethics, and Group Belief Chips Made by AI, and Beyond Silicon A
Advancing Excel as a programming language with Andy Gordon and Simon Peyton Jones - Microsoft Research
Episode 120 | May 5, 2021 Today, people around the globe—from teachers to small-business owners to finance executives—use Microsoft Excel to make sense of the information that occupies their respective worlds, and whether they realize it or not, in doing so, they’re taking on the role of programmer. In this episode, Senior Principal Research Manager Andy Gordon, who leads the Calc Intelligence tea
A non-mathematical introduction to Kalman Filters for programmers - Pravesh Koirala
Read my manifesto on Code as an alternative to Mathematics. Code for this article can be found on this Colab Notebook should you choose to follow along. Why Kalman Filters? Kalman filters are ingenius. If you have never heard of them, then a very intuitive (and arguably reductive) way to think about them is to consider them as a funnel where you pour information from multiple noisy sources to cond
Note: This blog post is also available as a documentation page on Transformers. Large Language Models (LLMs) such as GPT3/4, Falcon, and LLama are rapidly advancing in their ability to tackle human-centric tasks, establishing themselves as essential tools in modern knowledge-based industries. Deploying these models in real-world tasks remains challenging, however: To exhibit near-human text unders
イランがガーセム・ソレイマニ暗殺に対する報復として、米軍の駐留するイラク西部アサド空軍基地と北部クルド人自治区アルビルの基地へ、弾道ミサイル攻撃を行いました。 イラン西部ケルマーンシャーから10発がアサド空軍基地に、5発がアルビル基地へ向けて発射されたようです。しかし、アルビルに向かったうちの4発が不発もしくは失敗し、アサド基地では米軍が配備していたC-RAMが少なくとも1発のミサイルを迎撃したと報じられています。 発射されたミサイルは、「Fateh-313」か「Qiam-1」とみられ、いずれにしても短距離弾道ミサイルです。ケルマーンシャーからアサド基地までは約420kmなので、射程から考えるとQiam-1ですかね。 （「Iran’s Missile Priorities after the Nuclear Deal」より） Two Iranian Rocket landed near a
As Large Language Models become more ubiquitous across domains, it becomes important to examine their inherent limitations critically. This work argues that hallucinations in language models are not just occasional errors but an inevitable feature of these systems. We demonstrate that hallucinations stem from the fundamental mathematical and logical structure of LLMs. It is, therefore, impossible
Probabilistic Machine Learning: An Introduction by Kevin Patrick Murphy. MIT Press, March 2022. Key links Short table of contents Long table of contents Preface Draft pdf file, 2024-06-26. CC-BY-NC-ND license. (Please cite the official reference below.) Report issues here Order a hardcopy from MIT Press or Amazon.. Figures from the book (png files) Code to reproduce most of the figures Diff from 2
Understanding math will make you a better engineer.So, I am writing the best and most comprehensive book about it. I'm interested Knowing the mathematics behind machine learning algorithms is a superpower. If you have ever built a model for a real-life problem, you probably experienced that familiarity with the details goes a long way if you want to move beyond baseline performance. This is especi
Here are 450 Ivy League courses you can take online right now for free
By Dhawal Shah The eight Ivy League schools are among the most prestigious colleges in the world. They include Brown, Harvard, Cornell, Princeton, Dartmouth, Yale, and Columbia Universities, and the University of Pennsylvania. All eight schools place in the top fifteen of the U.S. News and World Report national university rankings. These Ivy League schools are also highly selective and extremely h
April 14, 2024 ヒュームの帰納の問題の再発見 ヒュームの帰納の問題は現代の科学哲学で帰納をめぐる哲学的問題を紹介する際、必ずといっていいほど言及される。このように定番になっていることから、「ヒュームの帰納の問題」がヒュームが『人間本性論』を公にして以来一貫して哲学の大問題として論じられてきたような印象を持つ人も多いかもしれない。かく言う私自身も科学哲学の歴史について調べ始めるまで、当然のようにヒュームの帰納の問題が二百数十年来の大問題だったと想定してきた。 しかし、少し調べれば分かるように、19世紀前半から中頃にかけての「帰納」をめぐる論争（ハーシェル、ヒューウェル、ミルらによるもの）では、ヒュームが指摘した論点は全く顧みられていない（このあたりは『科学哲学の源流をたどる』でも少し紹介したし、以下でも触れる）。では、ヒュームの帰納の問題を哲学的問題圏の中央へと押し出したのは誰
K n o w ledge Acquisition & D i a l o g u e R e s e a r c h T e a m 知識獲得・対話研究チーム Knowledge Acquisition & Dialogue Research Team 奈良先端大 ロボット対話知能研究室 Intelligent robot dialogue laboratory, NAIST その研究 ChatGPT でいいんじゃないですか？ ～LLM時代の対話システム研究～ 理化学研究所GRP/奈良先端科学技術大学院大学 吉野 幸一郎 その研究ChatGPTでいいんじゃないですか？ 1 2023/08/31 ⒸKoichiro Yoshino, Guardian Robot Project, RIKEN K n o w ledge Acquisition & D i a l o g u e R e s
rl-for-llms.md Reinforcement Learning for Language Models Yoav Goldberg, April 2023. Why RL? With the release of the ChatGPT model and followup large language models (LLMs), there was a lot of discussion of the importance of "RLHF training", that is, "reinforcement learning from human feedback". I was puzzled for a while as to why RL (Reinforcement Learning) is better than learning from demonstrat
by Focal Foto OpenAIの対話型AIであるChatGPTは、大規模言語モデルのGPT-3.5の派生系をベースにしており、まるで人間が書いたような自然な文章で対話することが可能です。ChatGPTのどういう点が画期的なのかについて、ジョン・ストークス氏が説明しています。 ChatGPT Explained: A Normie's Guide To How It Works https://www.jonstokes.com/p/chatgpt-explained-a-guide-for-normies 処理プロセスには、特定の入力が与えられると常に同じ出力を生成する「決定論」と、特定の入力が与えられると出力が確率によって変化する「確率論」の2つがあります。ストークス氏によると、ChatGPTの画期的な部分は、これまで決定論的な処理をしていた部分もすべて確率論的な処理をしている
Emergence of economic and social disparities through competitive gift-giving
Several tiers of social organization with varying economic and social disparities have been observed. However, a quantitative characterization of the types and the causal mechanisms for the transitions have hardly been explained. While anthropologists have emphasized that gift exchange, rather than market exchange, prevails in traditional societies and shapes social relations, few mathematical stu
「ディープラーニングと物理学 オンライン」とはオンラインWeb会議システムを利用したセミナーです。2023年10月より、学習物理領域セミナーと合同で開催されています。 登録する際のメールアドレスは、できるだけ大学もしくは研究機関のものをご使用ください。 ZoomのミーティングURLおよびパスワードは、先着順300名様に限り、登録されたメールアドレスに送信されます。転載・転送は控えてください。 URLが掲載されたメールは当日の朝までに送られます。 参加したい方は下記よりお申し込みください。毎回開催時に参加URLのついたアナウンスのメールを送信します。 登録フォーム (締切は前日の夜11時までとします) 解約フォームは下記でございます。 解約フォーム 参加時の表示名は「登録時の名前＠登録した機関名」に設定してください。 ノイズを防ぐためのミュートへご協力ください。 DLAP世話人: 橋本幸士（
Code Red: The Business Impact of Code Quality– A Quantitative Study of 39 Proprietary Production Codebases
Code Red: The Business Impact of Code Quality – A Quantitative Study of 39 Proprietary Production Codebases Adam Tornhill CodeScene Malmö, Sweden adam.tornhill@codescene.com Markus Borg RISE Research Institutes of Sweden Lund University Lund, Sweden markus.borg@ri.se ABSTRACT Code quality remains an abstract concept that fails to get traction at the business level. Consequently, software companies
How can neural networks learn the rich internal representations required for difficult tasks such as recognizing objects or understanding language? Yoshua Bengio, Yann LeCun, and Geoffrey Hinton are recipients of the 2018 ACM A.M. Turing Award for breakthroughs that have made deep neural networks a critical component of computing. Research on artificial neural networks was motivated by the observa
マスメディア報道のメソドロジーマスメディア報道の論理的誤謬（ごびゅう：logical fallacy）の分析と情報リテラシーの向上をメインのアジェンダに、できる限りココロをなくして記事を書いていきたいと思っています（笑） 2020年2月25日、日本政府は「新型コロナウイルス感染症対策の基本方針」を発表し、感染防止に取り組んでいますが、その中で、中国人の入国を禁止しないことへの批判が根強く残っているようです。ところが、実際に中国人の入国を禁止することで、どれだけ感染防止効果を期待できるのかについてはまったく定量的に示されていません。そこで、米国・ジョンズ・ホプキンズ大学の[COVID-19特設website]のデータを基にその感染防止効果がどの程度のものなのか、概算してみたいと思います。 感染確認数の空間分布 次の表は、ジョンズ・ホプキンズ大学が2020年2月27日10:40pm発表の各地域
COVID ECONOMICS VETTED AND REAL-TIME PAPERS FROM THE GREAT RECESSION TO THE PANDEMIC RECESSION Francis X. Diebold ELECTORAL POLITICS AND SMALL BUSINESS LOANS Ran Duchin and John Hackney GROWTH FORECASTS AT END-2020 Javier G. Gómez-Pineda STOP-AND-GO EPIDEMIC CONTROL Claudius Gros and Daniel Gros CONSUMPTION RESPONSES TO STIMULUS PAYMENTS So Kubota, Koichiro Onishi and Yuta Toyama CHILD CARE CLOSUR
拡散モデルについて思ったこと、統計モデリング等との関係 - xiangze's sparse blog
久しぶりの投稿になります その間世の中では様々なことが起こりましたがStable diffusion,novelAI, DALL-e, midjourneyなど画像生成AIの流行もその一つです。 画像生成AIの性能の中核とも言える拡散モデルに関して他の機械学習手法との関連、そして多くのアイデアの源泉となった非平衡統計物理学，統計モデリング、進化生物学などとの関係に関して思ったことを書きます。 ためになる論文、本のリンクも貼ります。 目次 目次 score matchingとの関係 他の生成モデルとの関係 非平衡統計物理学との関係 統計モデリングの手法との共通点、相違点 情報幾何との関係 進化生物学との関係 専用ハードウェアへのヒント？ なぜ拡散モデルはうまくいくのか コンテンツ生成以外の応用 その他 Next Step(ToDo) ためになるリンク 英語 ためになる本 Fitness la
文系学部卒でも無条件で不合格にならないアメリカのオンラインコンピューターサイエンス修士コースを調べ、出願校を決めた｜Toshinori Sugita
出願校最初の出願校は、ジョージア工科大学のOMSCSになりそうだ。履修できる授業の種類、オンラインコースの懐の深さ（合格率の高さ）（、費用）が主な理由だ。 前回の記事を書いた時点では、ペンシルバニア大学のMCITがベストではないかと考えていた。 しかし、他の選択肢を十分検討していなかったので、候補になり得るコースをリストアップして比較した。特に気にしたのは、つぎの点だ。 ・文系学士が無条件でNGにならない ・CS推奨であっても、テストやMOOCs受講、業務経験などでなんとかなる ・アメリカ（最初の候補として。イギリスやオーストラリアがダメというわけでは全然ないが、英語で学ぶことを前提としたい） ・授業（基礎、分散システム、その他機械学習、データサイエンスなど共通理解になり得るものが選択できる） ・出願要件の具体的な数字（英語テスト、書類、出願期限） ・合格率（オンラインはオンキャンパスと比
Update: This post was turned into a talk for State of The Browser in October 2021; you can watch the recording here. Update, The Second: Welp, I was wrong. I assumed that Facebook PMs and engineers were smart. Of course they were going to get found out modifying content via In-App Browsers, just as this post warned they could. It's long past time for Google and Apple to act to curb this abuse via
New: interview with Machine Learning Street Talk (MLST) This book offers a comprehensive introduction to the central ideas that underpin deep learning. It is intended both for newcomers to machine learning and for those already experienced in the field. Covering key concepts relating to contemporary architectures and techniques, this essential book equips readers with a robust foundation for poten
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大学で読んだ情報科学関連の教科書 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
Generating UUIDs at scale on the Web
2019年、俺の読んだ論文50本全部解説(俺的ベスト3付き) - Qiita
計算機統計学・ベイズ統計学周辺でのお勧めの教科書10冊 - Qiita
グロースについての9つのPrinciple｜樫田光 | Hikaru Kashida
GPT in 60 Lines of NumPy | Jay Mody
Very Short Introductionの邦訳まとめ - 清く正しく小賢しく
数学の勉強に役立ちそうなサイトなど - 冷めたコーヒー
Mathematical Tools For Data Science | NYU CDS
Japan’s Shift to the Right: Computational Propaganda, Abe Shinzō’s LDP, and Internet Right-Wingers (Netto Uyo) - The Asia-Pacific Journal: Japan Focus
100+ Best GitHub Repositories For Machine Learning
Optimizing your LLM in production
高性能だったイランの短距離弾道ミサイル : 海国防衛ジャーナル
LLMs Will Always Hallucinate, and We Need to Live With This
Probabilistic Machine Learning: An Introduction
The Roadmap of Mathematics for Machine Learning
Daily Life:ヒュームの帰納の問題の再発見
その研究 ChatGPT でいいんじゃないですか？LLM時代の対話システム研究.pdf
Reinforcement Learning for Language Models
人間並みの精度で会話が可能な対話型AI「ChatGPT」は何が画期的なのか？
Deep learning and Physics
Deep Learning for AI – Communications of the ACM
『新型肺炎の風評で日本はまた国益を失うのでしょうか』
Macroprudentialism
Hobson's Browser - Infrequently Noted
Deep Learning - Foundations and Concepts