量子情報理論の基本：エントロピー（１） - Qiita

$$ \def\bra#1{\mathinner{\left\langle{#1}\right|}} \def\ket#1{\mathinner{\left|{#1}\right\rangle}} \def\braket#1#2{\mathinner{\left\langle{#1}\middle|#2\right\rangle}} $$ はじめに 量子情報理論というからには量子の観点で情報を扱わないといけないのですが、これまでの記事では、主に、量子状態をどのように定量化して扱うかとか、それがどのように時間変化するかとか、最終的になされる測定はどう記述されるのか、といったあたりをウロウロしていました。今回から、情報理論らしい話題も取り入れていきます。まず、「エントロピー(entropy)」です。長くなりそうなので、２回に分けます。今回の（１）では、古典的な情報理論におけるエントロピーについ