情報理論(じょうほうりろん、)は、
情報・
通信を
数学的に論じる
学問である。
応用数学の中でも
データの
定量化に関する分野であり、可能な限り多くのデータを
媒体に格納したり
通信路で送ったりすることを目的としている。
情報エントロピーとして知られるデータの尺度は、データの格納や通信に必要とされる平均
ビット数で表現される。例えば、日々の
天気が3ビットのエントロピーで表されるなら、十分な日数の観測を経て、日々の天気を表現するには「平均で」約3ビット/日(各ビットの値は 0 か 1)と言うことができる。