信息論
1.信息論概述
信息論是運用概率論與數(shù)理統(tǒng)計的方法研究信息傳輸和信息處理系統(tǒng)中一般規(guī)律的新興學(xué)科。核心問題是信息傳輸?shù)挠行院涂煽啃砸约皟烧唛g的關(guān)系。
信息論作為一門科學(xué)理論,發(fā)端于通信工程。它具有廣義和狹義兩個概念:
狹義信息論是應(yīng)用統(tǒng)計方法研究通訊系統(tǒng)中信息傳遞和信息處理的共同規(guī)律的科學(xué),即研究概率性語法信息的科學(xué);
廣義信息論是應(yīng)用數(shù)學(xué)和其他有關(guān)科學(xué)方法研究一切現(xiàn)實系統(tǒng)中信息傳遞和處理、信息識別和利用的共同規(guī)律的科學(xué),即研究語法信息、語義信息和語用信息的科學(xué)。
信息是事物及其屬性標(biāo)識的集合
信息就是信息,信息是物質(zhì)、能量、信息及其屬性的標(biāo)示。
信息是確定性的增加。即肯定性的確認(rèn)。
2.信息論形成和發(fā)展
人們對于信息的認(rèn)識和利用,可以追溯到古代的通訊實踐。中國古代的“烽燧相望”和古羅馬地中海諸城市的“懸燈為號”,可以說是傳遞信息的原始方式。隨著社會生產(chǎn)的發(fā)展,科學(xué)技術(shù)的進步,人們對傳遞信息的要求急劇增加。到了20世紀(jì)20年代,如何提高傳遞信息的能力和可靠性已成為普遍重視的課題。美國科學(xué)家N.奈奎斯特、德國K.屈普夫米勒、前蘇聯(lián)A.H.科爾莫戈羅夫和英國R.A.賽希爾等人,從不同角度研究信息,為建立信息論作出很大貢獻。1948年,美國數(shù)學(xué)家C.E.香農(nóng)(被稱為是“信息論之父”)出版《通信的數(shù)學(xué)理論》,1949年發(fā)表《噪聲中的通信》,從而奠定了信息論的基礎(chǔ)。20世紀(jì)70年代以后,隨著數(shù)學(xué)計算機的廣泛應(yīng)用和社會信息化的迅速發(fā)展,信息論正逐漸突破香農(nóng)狹義信息論的范圍,發(fā)展為一門不僅研究語法信息,而且研究語義信息和語用信息的科學(xué)。它的建立是人類認(rèn)識的一個飛躍。世界上各種事物都是充滿矛盾不斷發(fā)展的,物質(zhì)的運動主要是靠內(nèi)部矛盾運動所產(chǎn)生的能量,而事物之間的普遍聯(lián)系則靠的是信息。信息是關(guān)于事物的運動狀態(tài)和規(guī)律,而信息論的產(chǎn)生與發(fā)展過程,就是立足于這個基本性質(zhì)。信息論迅速滲透到各個不同學(xué)科領(lǐng)域,但還不夠完善。為了適應(yīng)科學(xué)技術(shù)發(fā)展的需要,迎接信息化社會的到來,一門新的科學(xué)正在迅速興起,這就是廣義信息論,或者叫做信息科學(xué)。信息科學(xué)是由信息論、控制論、計算機、人工智能和系統(tǒng)論等相互滲透、相互結(jié)合而形成的一門新興綜合性學(xué)科。信息科學(xué)登上現(xiàn)代科技舞臺,與能量科學(xué)、材料科學(xué)鼎足而立 ,將為科學(xué)技術(shù)的發(fā)展作出貢獻。
3.信息論內(nèi)容
信息論內(nèi)容包括信息熵、信源編碼、信道編碼、信道容量、信息失真率理論、信號檢測和估計等。