登錄

貝葉斯決策理論

百科 > 決策理論 > 貝葉斯決策理論

1.貝葉斯決策理論概述

貝葉斯決策理論是主觀貝葉斯派歸納理論的重要組成部分。

貝葉斯決策就是在不完全情報(bào)下,對部分未知的狀態(tài)用主觀概率估計(jì),然后用貝葉斯公式對發(fā)生概率進(jìn)行修正,最后再利用期望值和修正概率做出最優(yōu)決策。

貝葉斯決策理論方法是統(tǒng)計(jì)模型決策中的一個(gè)基本方法,其基本思想是:

  • 根據(jù)后驗(yàn)概率大小進(jìn)行決策分類

2.貝葉斯決策理論分析

(1)如果我們已知被分類類別概率分布的形式和已經(jīng)標(biāo)記類別的訓(xùn)練樣本集合,那我們就需要從訓(xùn)練樣本集合中來估計(jì)概率分布的參數(shù)。在現(xiàn)實(shí)世界中有時(shí)會(huì)出現(xiàn)這種情況。(如已知為正態(tài)分布了,根據(jù)標(biāo)記好類別的樣本來估計(jì)參數(shù),常見的是極大似然率和貝葉斯參數(shù)估計(jì)方法)

(2)如果我們不知道任何有關(guān)被分類類別概率分布的知識(shí),已知已經(jīng)標(biāo)記類別的訓(xùn)練樣本集合和判別式函數(shù)的形式,那我們就需要從訓(xùn)練樣本集合中來估計(jì)判別式函數(shù)的參數(shù)。在現(xiàn)實(shí)世界中有時(shí)會(huì)出現(xiàn)這種情況。(如已知判別式函數(shù)為線性或二次的,那么就要根據(jù)訓(xùn)練樣本來估計(jì)判別式的參數(shù),常見的是線性判別式和神經(jīng)網(wǎng)絡(luò))

(3)如果我們既不知道任何有關(guān)被分類類別概率分布的知識(shí),也不知道判別式函數(shù)的形式,只有已經(jīng)標(biāo)記類別的訓(xùn)練樣本集合。那我們就需要從訓(xùn)練樣本集合中來估計(jì)概率分布函數(shù)的參數(shù)。在現(xiàn)實(shí)世界中經(jīng)常出現(xiàn)這種情況。(如首先要估計(jì)是什么分布,再估計(jì)參數(shù)。常見的是非參數(shù)估計(jì))

(4)只有沒有標(biāo)記類別的訓(xùn)練樣本集合。這是經(jīng)常發(fā)生的情形。我們需要對訓(xùn)練樣本集合進(jìn)行聚類,從而估計(jì)它們概率分布的參數(shù)。(這是無監(jiān)督的學(xué)習(xí))

(5)如果我們已知被分類類別的概率分布,那么,我們不需要訓(xùn)練樣本集合,利用貝葉斯決策理論就可以設(shè)計(jì)最優(yōu)分類器。但是,在現(xiàn)實(shí)世界中從沒有出現(xiàn)過這種情況。這里是貝葉斯決策理論常用的地方。

問題:假設(shè)我們將根據(jù)特征矢量x 提供的證據(jù)來分類某個(gè)物體,那么我們進(jìn)行分類的標(biāo)準(zhǔn)是什么?decide wj,if(p(wj|x)>p(wi|x))(i不等于j)應(yīng)用貝葉斯展開后可以得到p(x|wj)p(wj)>p(x|wi)p(wi)即或然率p(x|wj)/p(x|wi)>p(wi)/p(wj),決策規(guī)則就是似然率測試規(guī)則。

結(jié)論:

對于任何給定問題,可以通過似然率測試決策規(guī)則得到最小的錯(cuò)誤概率。這個(gè)錯(cuò)誤概率稱為貝葉斯錯(cuò)誤率,且是所有分類器中可以得到的最好結(jié)果。最小化錯(cuò)誤概率的決策規(guī)則就是最大化后驗(yàn)概率判據(jù)。

3.貝葉斯決策判據(jù)

貝葉斯決策理論方法是統(tǒng)計(jì)模式識(shí)別中的一個(gè)基本方法。貝葉斯決策判據(jù)既考慮了各類參考總體出現(xiàn)的概率大小,又考慮了因誤判造成的損失大小,判別能力強(qiáng)。貝葉斯方法更適用于下列場合:

(1) 樣本(子樣)的數(shù)量(容量)不充分大,因而大子樣統(tǒng)計(jì)理論不適宜的場合。

(2) 試驗(yàn)具有繼承性,反映在統(tǒng)計(jì)學(xué)上就是要具有在試驗(yàn)之前已有先驗(yàn)信息的場合。用這種方法進(jìn)行分類時(shí)要求兩點(diǎn):

第一,要決策分類的參考總體的類別數(shù)是一定的。例如兩類參考總體(正常狀態(tài)Dl和異常狀態(tài)D2),或L類參考總體D1,D2,…,DL(如良好、滿意、可以、不滿意、不允許、……)。

第二,各類參考總體的概率分布是已知的,即每一類參考總體出現(xiàn)的先驗(yàn)概率P(Di)以及各類概率密度函數(shù)P(x/Di)是已知的。顯然,0≤P(Di)≤1,(i=l,2,…,L),∑P(Di)=1。

對于兩類故障診斷問題,就相當(dāng)于在識(shí)別前已知正常狀態(tài)D1的概率戶(D1)和異常狀態(tài)0:的概率P(D2),它們是由先驗(yàn)知識(shí)確定的狀態(tài)先驗(yàn)概率。如果不做進(jìn)一步的仔細(xì)觀測,僅依靠先驗(yàn)概率去作決策,那么就應(yīng)給出下列的決策規(guī)則:若P(D1)>P(D2),則做出狀態(tài)屬于D1類的決策;反之,則做出狀態(tài)屬于D2類的決策。例如,某設(shè)備在365天中,有故障是少見的,無故障是經(jīng)常的,有故障的概率遠(yuǎn)小于無故障的概率。因此,若無特B,j明顯的異常狀況,就應(yīng)判斷為無故障。顯然,這樣做對某一實(shí)際的待檢狀態(tài)根本達(dá)不到診斷的目的,這是由于只利用先驗(yàn)概率提供的分類信息太少了。為此,我們還要對系統(tǒng)狀態(tài)進(jìn)行狀態(tài)檢測,分析所觀測到的信息。

評論  |   0條評論