信息论

研究信息及其传输的一般规律的学科。狭义指通信系统中存在的信息传递和处理的共同规律的学科，即研究概率性语法信息的科学。广义指运用数学和其他相关科学的方法，研究一切现实系统中存在的信息传递和处理及信息识别和利用的共同规律的科学。一般认为，美国科学家香农（Claude Elwood Shannon, 1916—）于1948年出版的《通信的数学理论》一书是信息论正式诞生的标志。它从理论上阐明通信系统的数学模型和度量概率信息的公式，为概率信息的定量研究提供了理论根据。信息论揭示的规律具有高度的普遍性，被迅速应用于生物学、生理学、心理学、语言学和经济学等不同领域，产生和形成信息科学。20世纪70年代以来，信息论突破狭义的范围，发展成为一门与计算机科学、经济学、生物学中信息处理密切联系的综合性学科。