David MacKay: Information Theory, Inference, and Learning Algorithms: Home`An instant classic, covering everything from Shannon's fundamental theorems to the postmodern theory of LDPC codes. You'll want two copies of this astonishing book, one for the office and one for the fireside at home.'
情報と通信のハイパーテキスト
Home 「情報と通信のハイパーテキスト」 は下記へ移動しました。 http://www.mnc.toho-u.ac.jp/v-lab/
David MacKay: Information Theory, Inference, and Learning Algorithms: The Book
Information Theory, Inference, and Learning Algorithms (Hardback, 640 pages, Published September 2003) Order your copy Price: £35.00 / $60.00 from |CUP UK/USA| |amazon.co.uk/.com/.ca/.co.jp| | Barnes & Noble USA | booksprice. | fetchbook.info | allbookstores | biggerbooks | blackwells | directtextbook | kalahari.net (South Africa) | Special Paperback edition for South Asia.| Download the book too
情報理論 -講義資料- | 北海道大学オープンコースウェア (Hokkaido University OpenCourseWare, HU-OCW, 北大OCW)
イントロダクション: 情報量とは何か?, A4用紙一枚分の情報量を考える情報源と通信路の確率モデル. 講義ノート | 講義スライド
LZ78方式符号化をRubyで実装、を改良 - yasuhisa's blog
Trieちゃんと使ったので、それなりの速度になりました。100MBくらいのテキストが40MBくらいまで縮んだかと思えば、2.8MBのテキストが2.6MBにしかならなかったりと圧縮したいテキストの性質によって圧縮率が全然違う感じでした。WEB+DB PRESS Vol.54によると、LZ78方式符号化はXMLのような文章では強いらしい。 #!/opt/local/bin/ruby1.9 # -*- coding: utf-8 -*- require 'pp' module Trie class Node attr_accessor :sym, :code def initialize(code) @code = code # 番号 @sym = Hash.new end def insert_child(sym, code) @sym[sym] = Trie::Node.new(code)
Perplexity - Wikipedia
This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed. Find sources: "Perplexity" – news · newspapers · books · scholar · JSTOR (July 2022) (Learn how and when to remove this message) In information theory, perplexity is a measure of uncertainty in the value of a sample fr
言語モデルのよさをはかる指標としてのパープレキシティ - yasuhisa's blog
今日の自然言語処理特論の講義がとても面白かったのでメモ。 今日の自然言語処理特論では、最初に言語モデルとしてn-gramのモデルの紹介があって、それの最尤推定の話。次に言語モデルのよさをはかる尺度としてエントロピー*1を元にしたパープレキシティが紹介された。 パープレキシティの導出のところはこんな感じ。まず情報量やエントロピーの導出のところの話があって、(頻度論的に)真のモデルがあると仮定したときにそのモデルと自分のモデルの仮想的な距離を相対エントロピー(=KLダイバージェンス)ではかろうとする。しかし、真のモデルの分布なんぞは分からないので困るのだが、Shannon-McMillan-Breimanの定理という素晴らしい定理(言語と計算 (4) 確率的言語モデルに説明が載っているらしい)があるらしく、これを利用すると真のモデルとの相互エントロピーを計算できる!!これはすごい。まあ、これに
Cross-entropy - Wikipedia
In information theory, the cross-entropy between two probability distributions and over the same underlying set of events measures the average number of bits needed to identify an event drawn from the set if a coding scheme used for the set is optimized for an estimated probability distribution , rather than the true distribution . Definition[edit] The cross-entropy of the distribution relative to
高校生のための情報理論入門
☆HOME☆ ☆数学のいずみ☆ 高校生のための情報理論入門 @Author Masasi.Sanae @Version 1.02;2002.3.16 ０．はじめに 情報化社会においては発信者から受信者への情報の伝達が重要な役割を果たします。更にその情報の伝達を如何に効率よく行うか，如何に正確に行うかが重要となります。そうした分野を対象としているのが「情報理論」と呼ばれているものです。 情報理論を支えているのが数学の確率・統計に関する基本的な理論です。身の回りを取り巻くディジタルな世界を情報理論を通して解析し，実生活に直結する話題であることを体感してみましょう。 1．確率の基礎知識 1_1 集合 あるものの集まりを集合という。集合は要素（元）から成り立っている。 A={a1，a2，a3，・・・an} 任意の集合Sの要素の一つをxとするとき，xは集合Sに属するといいx∈Sのように表す。また，
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データ圧縮の基礎