stanとRでベイズ統計モデリングをいただきました。 - xiangze's sparse blog
ありがとうございます。 この本は著者の経験に基づくstanを用いた統計モデル構築と分析の方法について解説した他に類を見ない本になっています。 StanとRでベイズ統計モデリング (Wonderful R 2) 作者: 松浦健太郎,石田基広,市川太祐,高橋康介,高柳慎一,福島真太朗出版社/メーカー: 共立出版発売日: 2016/10/25メディア: 単行本この商品を含むブログ (4件) を見る確率に関する初歩的な知識(和、積の法則、密度関数、ベイズの定理など)、簡単なRの使い方を前提としているので完全に初心者向けとは言えないのですが、stanのインストール方法や文法など初心者向けの内容から情報量基準の特性やそれとのつきあい方、自動変分ベイズ(ADVI)とその特性のような高度な内容、そしてベイズ統計モデリングの手順と実例が分かりやすく書かれています。 導入編 3章では統計モデリングの手順につい
Disruption is not a strategy
I was at a research lab to talk about commercialization. The presenter put up a slide of some exciting new technologies. The slide’s tagline said these technologies would “disrupt the biomedical industry.” My first thought was that disrupting the biomedical industry–“to interrupt by causing a disturbance” or “to drastically alter or destroy the structure of something”–is probably the exact wrong t
【PyTorch・Pyro】モデリングレシピ - HELLO CYBERNETICS
はじめに 単一の分布を使ったモデル 正規分布 同時分布の設計 同時分布からのサンプリング Pyroコード ベルヌーイ分布 同時分布の設計 同時分布からのサンプリング Pyroコード カテゴリ分布 同時分布の設計 同時分布からのサンプリング pyroコード 混合モデル ガウス混合モデル 同時分布からのサンプリング Pyroコード ディリクレ過程混合モデル（某折過程モデル） 同時分布からのサンプリング Pyroコード 最後に はじめに Pyroで確率モデリングを書くときには「確率モデリング自体を知ること」と「Pyroの書き方を知ること」の両方が必要です。今回はPyroの書き方に重点をおいて、とある確率モデルを記述するためのPyroでのコード例を適当に記載します。 約束事として、観測変数（データ） $x$ に対して、このデータの生成にまつわるパラメータをすべてひっくるめて $\theta$ と記
GitHub CodespacesでJuliaを使ってみた。
はじめに 2022年11月10日にGitHub Codespaces が月60時間無料にするとアナウンスがありました。以前，Julia言語をweb上で使ってみたいと思っていたのですが，サーバをするか，有料のサービスしかなかったので，「これはできるのでは？」と思ってチャレンジです。ゴールはiPadからのアクセスです。 GitHub Codespacesでの設定 まずはGitHubのアカウントが必要です。サインインして，Codespacesで利用したいリポジトリのところで，CodeのところからCodespacesを選び作成します。アナウンスがあってすぐ始めようとしたのですが，そのときは「今準備しているから，ちょっと待って。」みたいな表示でした。1日くらいしたら，activeになりました。 ちょっと時間はかかりますが，VScodeが立ち上がります。下記の動画を参考にしました。 左下の歯車マークか
ScienceTime
For the sake of the freedom of knowledge Science & Maths Lectures
日本の先端半導体製造会社「Rapidus」の会長に東哲郎氏、社長に小池淳義氏が就任
経済産業省は11月11日、日本での2020年代後半の次世代半導体の設計・製造基盤確立に向けた次世代半導体プロジェクトの体制について公表した。 2つの新組織で日本の先端半導体開発・生産体制の構築を目指す 具体的には、先端設計、先端装置・素材の要素技術に係るオープンな研究開発拠点として「技術研究組合最先端半導体技術センター(Leading-edge Semiconductor Technology Center:LSTC)」を2022年内にも設立するほか、将来の量産体制の立ち上げを見据えた量産製造拠点の確保に向けた研究開発プロジェクトの採択先を「Rapidus」に決定したともしており、両者は互いを相互補完する関係にあると経産省では説明している。 次世代半導体プロジェクトの体制 (出所:経産省、2022年11月11日発表資料、以下同様) 8月に設立されたばかりのRapidusの取締役会長には東哲
ASMLの高NA EUV量産機は2025/26年の出荷を計画、VLSIシンポジウム2022
2022年6月にハワイで開催され、7月5日時点でオンデマンド放映が行われている「2022 IEEE Symposium on VLSI Technology＆Circuits(VLSIシンポジウム)」にて、ASMLのプレジデント兼CTO(最高技術責任者)であるMartin van den Brink氏が、「2020年代以降の最先端半導体製造への総合的なパターニング」と題した講演を行い、「半導体のイノベーションによる価値創造は、当面、減速しないだろう。ムーアの法則の限界がささやかれているが、高NA EUVリソグラフィの実用化により、予測可能な範囲の将来(2030年代)にわたってムーアの法則は継続する」との見方を示した。 講演するASMLのプレジデント兼CTOであるMartin van den Brink氏 (出所:VLSI Symposium 基調講演映像を著者がスクリーンショットで撮影した
[実装付き]Stable Diffusionの追加学習に適する画像を、VAEを利用して選別する
はじめに こんにちは。 前置きが思いつかないので、突然本題に入ります。 Stable Diffusionをはじめとする、Latent Diffusion Model(以下LDM)の追加学習手法は、その登場以来様々なやり方が提案されてきました。 例えば、学習データの表現を語に埋め込み、txt2imgの結果を直感的に操作するTextual Inverisionや、学習データによってDenoising U-Netのパラメータを変換するDNNを挿入するHyperNetworksはその代表的な手法です。 しかし、どの手法にも良い点と悪い点があり、こちらが決定的に良い、ということはなく、追加学習によるアウトカムの良し悪しを決定する最も大事なことは変わりません。 それは、適切な学習データを用意することです。 しかし、適切な学習データとは何か？という話はなかなか簡単に済ませられる話ではなく、モデルやタスク
![[実装付き]Stable Diffusionの追加学習に適する画像を、VAEを利用して選別する](https://cdn-ak-scissors.b.st-hatena.com/image/square/9eb058f3cb8adacaecfcbbc04c3bda17c6d6186f/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--mlVSX3dX--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E5%2525AE%25259F%2525E8%2525A3%252585%2525E4%2525BB%252598%2525E3%252581%25258D%25255DStable%252520Diffusion%2525E3%252581%2525AE%2525E8%2525BF%2525BD%2525E5%25258A%2525A0%2525E5%2525AD%2525A6%2525E7%2525BF%252592%2525E3%252581%2525AB%2525E9%252581%2525A9%2525E3%252581%252599%2525E3%252582%25258B%2525E7%252594%2525BB%2525E5%252583%25258F%2525E3%252582%252592%2525E3%252580%252581VAE%2525E3%252582%252592%2525E5%252588%2525A9%2525E7%252594%2525A8%2525E3%252581%252597%2525E3%252581%2525A6%2525E9%252581%2525B8%2525E5%252588%2525A5%2525E3%252581%252599%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E5%25258B%252595%2525E8%2525A9%25259E%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzYzODRjMTUxOGYuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
【注目論文】Sinusoidal Frequency Estimation by Gradient Descent - Qiita
QMULのBen Hayes氏らが、勾配降下法で周波数推定を行う手法を論文で発表しました。ICASSP2023に投稿したそうです。 きわめてシンプルな手法なのですが、機械学習系音声合成にとってはたいへん重要な成果だと思うので、紹介します。 論文リンク：Sinusoidal Frequency Estimation by Gradient Descent ソースコード：https://github.com/ben-hayes/sinusoidal-gradient-descent 背景：DDSPの限界 DDSP(Differentiable Digital Signal Processing)とは、微分可能な計算式を持つDSPモジュールをDNNに組み込んで機械学習をやる手法で、Google Magentaプロジェクトが最初に打ち出したアイデアです。 今ではもうDDSPシリーズと呼べるほど多様
JAXとPyTorchで勾配法とニュートン法を試す - HELLO CYBERNETICS
はじめに 逐次更新による最適化 大枠 勾配法 数式 勾配法コード例 ニュートン法 数式 ニュートン法のコード例 はじめに 最近、しっかり学ぶ数理最適化を購入しました。 しっかり学ぶ数理最適化 モデルからアルゴリズムまで (KS情報科学専門書) 作者:梅谷 俊治発売日: 2020/10/26メディア: 単行本（ソフトカバー） 1章→3章と読んでいく中で、元々馴染みの深い連続最適化の極々基本的な手法である勾配法とニュートン法を試してみました。実装はJAXを使っています。こいつは現状、最高の自動微分ライブラリだと思っております（深層学習ライブラリという観点ではPyTorchの方が今の所使いやすい）。 普通、機械学習では二次微分なんてパラメータが多すぎてまともに計算できる見込みがないので、純粋なニュートン法なんて絶対に使わないのですが、その圧倒的な性能の高さを確認し、兎にも角にも勾配法の弱さを確認
論文：非平衡化学反応系の情報幾何学構造
平衡の化学反応熱力学の情報幾何学構造に続き、非平衡の化学反応熱力学の新たな情報幾何学構造に関する論文がPRRで公開されました。この構造はこれまで情報幾何で明示的に意識されていなかった新しいものと考えています。 背景 様々な工学システムが電気回路を集積したシステムであるように、生体システムは化学反応の回路を集積したシステムです。様々な生体機能は化学反応回路システムによって実現され、その多くは反応システムの非平衡性と結びついていることが示唆されています。 非平衡化学反応熱力学の理論化の試み古く、オンサーガもその論文で化学反応を取り上げ、またプリゴジンも化学反応系を主要な対象として研究をしてきました。と同時に、化学反応系は様々な非平衡理論や原理、例えば最小エントロピー生成原理などが成り立たない事例としてもしばしば取り上げられます。 非平衡として化学反応を取り扱う時の難しさの一つは、熱力学的力fと
『入門 情報幾何』の勉強会用メモ - Qiita
この8つの標本を「表が出る回数」に写像すると、表が何回目に出たかは関係ないので、0,1,2,3のどれかの実数に写像されます。 そして「表が何番目に出たか」に写像すると、表が何回目に出たかで区別するので、0,1,2,3,4,5,6,7のどれかの実数に写像されます。 この数字はただの番号で何の意味もないので、例えば表、裏、裏を1と紐づけても、6に紐づけても、0に紐づけてもいいですが、(1.90)式のように紐づければ、標本空間と任意の回数の組み合わせを自動的に紐づけできます。 例1.13)と例1.14)の計算は特に難しいことはないと思います。 (1.87)式の二項定理の計算方法は他のところでもよく使うので覚えておくと便利です。 (1.93)式の1行目の式の和が2行目の式の和になるのを理解するのが少し難しいかもしれません。 1行目の和は、コインが$k$回表になるとして、その順番の組み合わせと、その
いらすとやでTextual Inversionを試す - TadaoYamaokaの開発日記
Stable Diffusionの追加画像によるスタイル学習の方法として、「Textual Inversion」という方法がある。 これは、3~5枚の画像を用いて、スタイルを表す新規の単語の埋め込みベクトルを学習する方法である。 既存のパラメータは一切更新しないで、既存モデルに新規の単語を追加することで、その単語が追加画像のスタイルを表すように学習される。 使用する画像は、配色やスタイルが統一されている必要がある。 ここでは、いらすとやの画像を使って、Textual Inversionを試してみた。 手順は、↓こちらのページの解説を参考にした。 note.com 追加画像 どこまで配色やスタイルが統一されている必要があるのか知りたかったため、いくつかのパターンを試した。 男の子 服の色が同じ、男の子の画像3枚を使用する。 女の子 服の色が同じ、女の子の画像3枚を使用する。 男の子と女の子
Jax, PyTorch 直線探索付き勾配法 - HELLO CYBERNETICS
はじめに モジュールインポート Jax 勾配関数と線形探索関数を準備 最適化実行 PyTorch 線形探索関数準備 最適化実行 結果 はじめに 前回は下記の記事で学習率固定で勾配法を実施しました。 www.hellocybernetics.tech 今回はウルフ条件を満たすような学習率を各更新時にバックステップで探索し、満たすものを見つけたら直ちにその学習率の更新するという形式で勾配法を実施します。 この記事ではJaxとPyTorchで収束までのステップ数や収束先等の結果はほぼ一致しましたが、速度が圧倒的にJaxの方が速く、PyTorchの計算グラフが変なふうになってしまっている可能性があります（こんなPyTorch遅いわけがない…！） どなたか見つけたら教えて下さい…。 モジュールインポート import jax import jax.numpy as jnp from jax impo
識別関数、識別モデル、生成モデルの違いを解説 - HELLO CYBERNETICS
はじめに 記事の目的：共通の認識を持てるようにするため なぜパターン認識と機械学習を引用するか 機械学習の目的 分類問題と回帰問題 分類問題について 「識別関数」、「識別モデル」、「生成モデル」 識別関数 識別モデル 生成モデル 生成モデルのメリットデメリット はじめに 記事の目的：共通の認識を持てるようにするため 機械学習が大流行している中で、言葉の定義が曖昧になってきている印象があります。新しい分野が流行すれば、様々なところで言葉が使われ、結果として複数の意味で使われるようになり曖昧になってしまうのは必然です。実際私の周りでも、「ん、どういう意味で使っているんだ？」と思うケースがたまにあります。 ハッキリ言って言葉の意味などは使いやすいように変更されても構わないと思いますし、人間の使い方の統計によって定められていると言っても過言ではないです。 しかし、それでもどの言葉が何を意味している
Research Paper Introduction in IR Reading 2022 Fall
IR Reading 2022 Fall: https://sigir.jp/post/2022-11-12-irreading_2022fall/ Shitao Xiao, Zheng Liu, Weihao Han, Jianjin Zhang, Defu Lian, Yeyun Gong, Qi Chen, Fan Yang, Hao Sun, Yingxia Shao, and Xing Xie. 2022. Distill-VQ: Learning Retrieval Oriented Vector Quantization By Distilling Knowledge from Dense Embeddings. In Proceedings of the 45th International ACM SIGIR Conference on Research and Deve
ソニー・ホンダ、新EVに自社開発OS搭載 エンタメや新サービス提供を視野
ソニーグループとホンダが折半出資するソニー・ホンダモビリティは、2025年から発売する電気自動車向けに基本ソフトを自社開発する。 ソニーグループとホンダが折半出資するソニー・ホンダモビリティは、2025（令和7）年から発売する電気自動車（EV）向けに基本ソフト（OS）を自社開発する。車載OSは車を一括で制御し、インターネット経由でさまざまな機能やサービスを提供・更新するソフトウエアで、車両価値を決めるとされる。次世代車の頭脳となる車載OSを内製化することで、ソフト技術を高め、新しいサービスの開発にもつなげる。 「100年に1度の変革期」と呼ばれる自動車業界では、ソフトで車を制御する「ソフトウエア・デファインド・ビークル（SDV）」という考え方が広がっている。自動車大手は25年頃に自動運転などの先端システムを搭載した次世代車を投入するが、そこではソフトの比重が格段と高まる。将来的にはスマート
RISC-VのCore Local Interrupt (CLINT)の仕様について調査 - FPGA開発日記
自作CPUでのCLINTの実装をやりたくて、仕様を調査している。 一つは以下のドキュメントを確認している。 chromitem-soc.readthedocs.io 定義しないといけないレジスタは、MSIP, MTIME, MTIMECMPだ。 まずはソフトウェア割込みに関するレジスタはMSIPで、 Machine-mode software interrupts are generated by writing to the memory-mapped control register msip . The msip register is a 32-bit wide WARL register where the upper 31 bits are tied to 0. The least significant bit can be used to drive the MSIP bi
フォントを語る上で知っておきたい基礎知識10｜NEWS｜株式会社INDETAIL（インディテール）
はじめまして！ F-man です。 BLOG初投稿となる今回テーマは、デザイン制作をする上で非常に重要な要素となるフォント。デザイナーはもちろん、ディレクターやプランナーなど非デザイナーの方でも知っておくと役に立つフォントの基礎知識10選を紹介します。 1. 明朝体とゴシック体 和文（日本語）の書体は、大きく分けて明朝体とゴシック体の2種に分類されます。明朝体は縦線に比べて横線が細く、横線の右端や曲がり角の右上に「山」がある書体です。ゴシック体は基本的に線の太さは一定で、「山」のない書体です。 2. セリフとサンセリフ 欧文（アルファベット）の書体も、和文が明朝体とゴシック体に分かれるのと同じように「セリフ(serif)」「サンセリフ(sans-serif)」に分類されます。 セリフは、字体の曲がり角にある飾り（うろこ）を示す言葉で、セリフのある書体がセリフ体となります。サンセリフは「セリ
30分で子供と雑にロボットを作って遊ぶ方法 - karaage. [からあげ]
お題「#おうち時間」 子供と雑に野性味溢れる電子工作のススメ 最近は、4歳になる娘と家の中で遊ぶ機会が増えています。子供向けの、いわゆる出来合いの工作キットやブロック（レゴなど）を使った工作も良いのですが、大人は結構退屈ですね（少なくとも私は退屈）。 そんなときにおすすめなのが、大人も子供も楽しめる、ゼロベースで雑に作る野性味溢れる電子工作です。 もともと、娘は自分で考えて工作をするのが好きで、トイレットペーパーの芯を工作の材料として大量に集めています。私が勝手にトイレットペーパーの芯を捨てると烈火のごとく怒ります（烈火の炎と呼んでいます）。 娘の大事なコレクション トイレットペーパーの芯を使って、オリジナルの作品（娘曰く望遠鏡）などを作っています。 特に本とかではない完全のオリジナル作品 今回は、こういったオリジナル工作に電子工作の要素を組み合わせてロボットを作ってみましょう！ 30分で
![30分で子供と雑にロボットを作って遊ぶ方法 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/0428c7a1bc9d8e1635779388ad2ec35c1db8a5c9/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20200418%2F20200418185147.jpg)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
blog | Yang Song
https://www.jstage.jst.go.jp/article/soken/103/5/103_KJ00004709815/_pdf
https://www.kurims.kyoto-u.ac.jp/~kyodo/kokyuroku/contents/pdf/1609-06.pdf
Deep Equilibrium Approaches to Diffusion Models
Home
論文紹介: Transformer Memory as a Differentiable Search Index (NeurIPS 2022)
「電子工作はいいぞ…」ゼロからおもちゃ・家電・謎装置を作れる喜びを趣味にする人たち