Goodfellow本を最後まで読んでの感想
GoodfellowのDeep Learningという本を、5/20から読んでいて、6/28現在、無事読み終わった。 関連論文なども大量に読まないと理解出来ないように書かれている、ある意味イジワルな本なのでかなり大変だったが、得る物も大きかった。 せっかくなので全体的な感想を書きたい。 関連エントリ GoodfellowのDeepLearning本を読む 読んでる間の計算とかメモ、感想など（膨大） 9章まで読んだ段階の、Goodfellow本の感想 上記の1は、日本で一番長くGoodfellow本について何か書いた物になってると思う。世界でも一番じゃないか？それはさすがに無いか？ この本は、単体ではわざと分からないように書かれている 最初に強調したい所はここ。 この本は一見すると線形代数とか確率論とかback propagationとか解説しているので、他の本を参照しなくても一通り分かるよ
読書メモ：The Master Algorithm (by Pedro Domingos) - 重ね描き日記（rmaruy_blogあらため）
最近，機械学習が盛り上がっている． 理工系出版社に勤めていることもあり，普通の人より強くそれを感じていると思う．機械学習の本はとにかく売れる．その売れ方はちょっと異様なほどで，他の分野の新刊がどれも残念な部数しか売れないのに，機械学習本だけは書店からの注文が途絶えず，次々と重版が決まるといった感じなのだ．同業他社でも似た状況だろうと思う． 本の売れ方はちょっと不可解な気もするが，機械学習について学びたい人が多いというのは分かる．キーワードとして「人工知能」が注目されて久しく，少し関心のある人なら今日「人工知能」の名で呼ばれる技術が，ほぼイコール「機械学習」であることは常識だろう．機械学習の技術をもとに立ち上げた数々のスタートアップが成功しているし，普通に生活しているだけでもその浸透を感じられるようになった（僕のスマホも，知らぬ間にどんどん賢くなっているような気がするけど，それも機械学習の賜
「深層ニューラルネットワークの高速化」読んだらめっちゃ良かったよって話 - ふぁむたろうのブログ
gihyo.jp 上記を読んだところめっちゃ良かったので感想として残しておきます。 自分の場合1回読んだから終わりというより度々振り返りで読み直すことになりそうです。 どんな本？ DNNの高速化（=効率化）という切り口で実装から理論的背景（あれば）まで網羅している本 比較的最近のトピック（モデルマージ）にも触れている 他には生成モデルやLLMで扱われがちな高速化についても触れられている Flash Attention とかも記載されてる 「推論のしくみから紐解く高速化の原理」とあるが学習面についても記載されてる 何が良かったの？ 各背景や実装の手間についても触れているところ 高速化のトレードオフ対象として精度が挙げられがちだけど、実際には実装の手間もあるという現実 「DNN 高速化」でググればネット上にもまとめが沢山あるけど最近は記事が多すぎるし背景もバラバラなので正直追うの辛い 背景の例
機械学習にまつわる3つの誤解 - 武蔵野日記
昨晩寝る前に発表タイトルと概要についてコメントをしたのだが、朝の4時にミルクで起きることに成功したので、もう一度コメントを送る。この往復が好きなのだが、往復する度にクオリティが上がっていくのが楽しいからかもしれない。 今日は午前に出かける予定なので朝の散歩は省略。最近は暑いので、たまたま気温が低い日でないと、朝早くに行かないと汗だくになる。今日は特別暑そうだし…… 午前中は、現在第一希望の認証保育園まで見学に行く。以前も1回行っているのだが、妊娠中だったので、娘を連れてもう一度行きたかったのである（雰囲気が合うかどうかもあるし）。外が暑かったし、今日は自分も体調も悪くないので、バスではなく車で行く。タイムズ駐車場を検索したところ、満車かどうかまで教えてくれて、便利。空いている駐車場に車を止めて、保育園に向かう。 先週電話したときは、来年の4月1日から入りたい場合は9月1日の10:45から先
Deep Learning bookを読んで学んだこと - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Deep Learning bookとは？ Deep Learning bookは2016年末にMIT Pressより発売予定の書籍（英語）で、深層学習御三家の一人Bengio先生や画像生成のGANで有名なGoodfellow先生らによって書かれており、現時点で深層学習の決定版と言える教科書です。太っ腹なことに本の内容はウェブサイトで公開されており無料で読むことができます。 Deep Learning; Ian Goodfellow, Yoshua Bengio and Aaron Courville, MIT Press, 2016.
「機械学習を解釈する技術」のここがすごい - まずは蝋の翼から。
はじめに 弊社の森下が書籍を出版することになりました。 「機械学習を解釈する技術 ~ 予測力と説明力を両立する実践テクニック」 gihyo.jp 本書のレビューに関わらせてもらったのでここが良かったぞ！という部分を書こうかなと思います。 はじめに 本書の特徴 ここがすごいぞ！① 線形回帰モデルを起点に「解釈」について各手法を説明している ここがすごいぞ！②数式に対応するアルゴリズムをコードでも書いて説明している ここがすごいぞ！③ 実際の値を確認しつつ解説する ここがすごいぞ！④ 手法の特徴・メリット・デメリットが腹落ちしやすい まとめ 本書の特徴 本書の概要としては、以下のような書籍となっている ・機械学習モデルは予測精度が高い一方で、何故そのような予測になったかがブラックボックス(解釈性が低い） ・しかし昨今は説明責任を果たすためにモデルの振る舞いの把握が求められている ・このような予
生成Deep Learning 第2版 - ぱたへね
オライリーの生成Deep Learning 第2版を読みました。 www.oreilly.co.jp 広いトピックに何かしらの動くコードがあって、本を読んで勉強しながら動かして雰囲気がわかる内容になっています。全体が三部構成になっていて、解説の一つ一つがわかりやすいだけで無く、CNNを使った画像の識別からVAE、GAN、LSTM、Transformer、DALL-Eまでの多き流れを一気に知ることが出来ます。一度勉強した人も復習になるのでお勧めです。 第一部 生成Deep Learning入門 生成モデリングの考え方と、MLPから始まるDeep Learningのおさらいです。基本的な層や学習のパラメータの説明に加えて、勾配爆発や共変量シフトなどの説明もあります。ここでわからないところがあれば、生成モデルに進む前に復習した方が良いです。 CNNががっと盛り上がっていた時の説明では無く、今から
読んだ: 集合知プログラミング - ひだまりソケットは壊れない
ユーザーへの推薦やカテゴリ分類、いわゆるデータマイニングに興味があったので読みました。 集合知プログラミング 作者: Toby Segaran,當山仁健,鴨澤眞夫出版社/メーカー: オライリージャパン発売日: 2008/07/25メディア: 大型本購入: 91人 クリック: 2,220回この商品を含むブログ (275件) を見る 本書では集合知について次のように書かれています。 人々は集合知という言葉を長い間使い続けてきた。 それは新たなコミュニケーション技術の到来とともに、ますます人気と重要性を増して来ている。 集合知という表現は、集団の意識や超常現象を想起させるが、技術者がこの表現を使う場合は、今までにない知性を生み出すために、集団の振る舞い、嗜好、アイデアを結びつけることを指す。 『集合知プログラミング』 1.1 節 「集合知とは何か?」 本書は、何らかの集団 (例えば web ペー
Recommender Systems: The Textbookの要点まとめ(随時更新) – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト はじめに レコメンド関連の書籍を探していた際に、 Recommender Systems: The Textbook (English Edition)の無料公開されているPDFを見つけたので、それについて読んでは追記するスタイルでメモを残していこうと思います。（すごく長くなる予感） これまで読んできたレコメンド関連の本の中では、説明が丁寧だったり事例が豊富に思います。数式はあまり出てこないですが、言葉でちゃんと説明しようとしているのが感じられます。『AIアルゴリズム
雑誌「Interface」で量子コンピュータの連載を始めました - Taste of Tech Topics
こんにちは～。 ツカノ@snuffkinです。 6/25(火)に発売されたCQ出版社さんの雑誌「Interface」2019年8月号から、量子コンピュータ入門の連載を始めました！ 連載のタイトルは「動かしながら始める量子コンピュータ」です。 連載を始めた背景 量子コンピュータについて興味を持ち、本や雑誌記事を読んだ方もいらっしゃると思います。 ただ、次のような感想を持つ方もいるように思います。 ビジネス書だと量子コンピュータの雰囲気は書いてあるが、理解した気になれない。 専門書を手に取ってみたけれど、数式が難しくて理解できない。 この連載では「普通のプログラマ」の方に向けて、手計算やPythonで動作を確認しながら理解する内容にしました。 内容は次のサイトからちらっと確認できます。 interface.cqpub.co.jp 連載を読んで量子コンピュータにもっと興味が出てきた方には、次の本
感想: Human-in-the-Loop 機械学習 -人間参加型AIのための能動学習とアノテーション-
共立出版様よりご恵贈いただきました。高品質なデータセットがあれば比較的単純なアルゴリズムでも十分な結果が出せるのは産業界でよく知られているにもかかわらず、既存の書籍や授業はデータセット作成ではなくアルゴリズムに焦点を当てています。本書は機械学習研究と災害対応をバックグラウンドに持つ著者がデータセット作成プロセスに焦点を当てており、Human-in-the-Loop機械学習、能動学習、アノテーションについて様々なドメインの機械学習応用事例を交えて解説しています。 目次 【第I部 概要】 第1章 Human-in-the-Loop機械学習の概要 第2章 Human-in-the-Loop機械学習を始める 【第II部 能動学習】 第3章 不確実性サンプリング 第4章 多様性サンプリング 第5章 高度な能動学習 第6章 能動学習をさまざまな機械学習タスクに適用する 【第III部 アノテーション】
推薦システム実践入門読んだので簡単に所感 - KIWAM_KEN_DIARY
書くときは頑張って書く。 以前会社で同僚だったhttps://twitter.com/zr_4から献本してもらった推薦システム実践入門を読んだ。 www.oreilly.co.jp 章立ては以下のようになっている。 1章 推薦システム 2章 推薦システムのプロジェクト 3章 推薦システムのUI/UX 4章 推薦アルゴリズムの概要 5章 推薦アルゴリズムの詳細 6章 実システムへの組み込み 7章 推薦システムの評価 8章 発展的なトピック 推薦システムの書籍だとモデルの部分にフォーカスを置いたものが多い印象だけど、この書籍は4,5章でモデルの話をしている以外ではあまり触れられていない。 むしろ推薦システムをどのような目的で導入するべきなのか、どのようにシステムを作るべきなのか、どのように評価して改善をしていくのか、そういった推薦システムの基本的な部分を広く網羅したものになっている。 そういっ
「拡散モデル データ生成技術の数理」を読みました(すごい) - xiangze's sparse blog
www.iwanami.co.jp 内容 1章 生成モデルの一つとしての拡散モデル、拡散モデルとスコアマッチング法との関係について 2章 SBMとDDPMについて、学習対象の導出、統一的理解 3章 時間連続極限の場合と拡散モデルの高性能について 4章 条件付き生成、高解像度化、群不変、同変性 5章 アプリケーション 感想 他の本 画像生成AIブームによって注目されるようになったアルゴリズムである拡散モデルのおそらく日本語では最初の解説書です*1 拡散モデルの学習、生成手法はGANなど既存の生成型モデルとはかなり異なる部分が多く、理解が難しいところがあり、またその高性能を説明する理論は未だ完全ではないです。 本書は各種関連論文に記載されている導出の計算式が順を追って丁寧に書かれているにも関わらず本文が100ページくらいしかなく非常に密度の高い本です。広範な既存研究を順を追って理解できるように
グラフ信号処理におけるサンプリングと復元 - 甲斐性なしのブログ
はじめに グラフ信号処理に関する日本語の書籍が昨年発売された。 グラフ信号処理の基礎と応用: ネットワーク上データのフーリエ変換,フィルタリング,学習 (次世代信号情報処理シリーズ 5) 作者:田中 雄一コロナ社Amazon 本記事ではその中で解説されているグラフ信号のサンプリングと部分空間情報を利用した復元について簡単にまとめた上で、実際に試てみた際のコードと結果を紹介する。 グラフ信号処理の諸概念 グラフ信号 グラフ信号は下図のようにグラフの各頂点上に値を持つ信号である。 このような頂点上に値を持つグラフの例としては、空間上に配置された複数のセンサーが挙げられる。これは、近くにあるセンサー同士が辺でつなげば、その計測値はグラフ信号とみなせる。それ以外にも、路線図と各駅の人口、SNSのつながりと各ユーザの特性（年齢などの何らかの数値）等々、グラフ信号としてモデル化できる現実の事象は様々存
感想「深層強化学習による東方AI」 – @knok blog
能登さんが発行された技術系同人誌、「深層強化学習による東方AI」のダウンロード版を入手したので読みました。BoothとGumroadで販売されているおり、特に理由はありませんがGumroadで購入しました。 第13回 博麗神社例大祭で頒布した『深層強化学習による東方AI』のダウンロード版をBooth https://t.co/ZysBlu7LY4 およびGumroad https://t.co/HtgRa44sr6 にて販売しています． pic.twitter.com/7rDT2qG9uq — 何もわからん (@ntddk) 2016年5月8日 東方紺珠伝というシューティングゲームを、深層機械学習によってクリアさせようというものです。 この種の話でまず思い浮かぶのが、八重樫さんによるvArashiです。Linux Conference 2002にて発表された資料(PDF)もあります。今にな
素振りの記：BERT-CRFで固有表現認識したい！『大規模言語モデル入門』6章でクイックツアー - nikkie-ftnextの日記
はじめに 無敵級ビリーバー3周年👑👑👑 nikkieです。 「お休みの日にしかできないことを」と追求した結果、最近のお休みは開発合宿感があります。 今回は気になっていた技術、BERT-CRFを触りました。 目次 はじめに 目次 ずっと引っかかっていたBERT-CRF 『大規模言語モデル入門』6章「固有表現認識」 BERT-CRFクイックツアーの感想 書籍への感想 サンプルコードへの感想 終わりに ずっと引っかかっていたBERT-CRF BERT-CRFという技術は固有表現認識でなかなかよいと聞いていました1。 ただずっと「具体的にどう実装すればいいの？」というところがよく分かりませんでした。 2018年に登場した機械学習モデルBERT2。 Transformer3というアーキテクチャを使って組み上げられたこのモデルは、1つのモデルで複数の自然言語処理タスクが解けるということで注目を集
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
深層学習による自然言語処理 輪読会#5 資料
Federated Learning 連合学習
能動学習のいろは：書籍「Human-in-the-Loop機械学習」3〜5章
20分で分かる Human-in-the-Loop 機械学習におけるアノテーションとヒューマンコンピューターインタラクションの真髄
