首頁 > 廠商 > 知識(shí) > id3算法，闡述ID3算法處理連續(xù)型變量必須離散化的原因

id3算法，闡述ID3算法處理連續(xù)型變量必須離散化的原因

來源：整理時(shí)間：2023-08-21 04:49:05 編輯：智能門戶手機(jī)版

本文目錄一覽

1，闡述ID3算法處理連續(xù)型變量必須離散化的原因
2，為什么叫id3算法id3全稱是什么input dataset
3，什么是ID3算法
4，ID3算法的介紹
5，為什么id3樹不能處理連續(xù)性屬性
6，vb實(shí)現(xiàn)id3算法

1，闡述ID3算法處理連續(xù)型變量必須離散化的原因

使用所有沒有使用的屬性并計(jì)算與之相關(guān)的樣本熵值選取其中熵值最小的屬性,生成包含該屬性的節(jié)點(diǎn)D3算法對(duì)數(shù)據(jù)的要求： 1) 所有屬性必須為離散量； 2) 所有的訓(xùn)練例的所有屬性必須有一個(gè)明確的值； 3) 相同的因素必須得到相同的結(jié)論且訓(xùn)練例必須唯一。

闡述ID3算法處理連續(xù)型變量必須離散化的原因

2，為什么叫id3算法id3全稱是什么input dataset

Iterative Dichotomiser 3 迭代二叉樹3代

1959年，widrow和hof提出的最小均方(lms )算法對(duì)自適應(yīng)技術(shù)的發(fā)展起了極大的作用。由于lms算法簡(jiǎn)單和易于實(shí)現(xiàn)，它至今仍被廣泛應(yīng)用。對(duì)lms算法的性能和改進(jìn)算法已經(jīng)做了相當(dāng)多的研究，并且至今仍是一個(gè)重要的研究課題。進(jìn)一步的研究工作涉及這種算法在非平穩(wěn)、相關(guān)輸入時(shí)的性能研究。當(dāng)輸入相關(guān)矩陣的特征值分散時(shí)， lms算法的收斂性變差，研究的另一個(gè)方面在于如何解決步長(zhǎng)大小與失調(diào)量之間的矛盾。全稱 least mean square

為什么叫id3算法id3全稱是什么input dataset

3，什么是ID3算法

http://www.rulequest.com/download.html http://www.rulequest.com/See5-demo.zip 這里有些。 Diversity(整體)-diversity(左節(jié)點(diǎn))-diversity(右節(jié)點(diǎn))，值越大，分割就越好。三種diversity的指標(biāo)： 1. min(P(c1),P(c2)) 2. 2P(c1)P(c2) 3. [P(c1)logP(c1)]+[P(c2)logP(c2)] 這幾個(gè)參數(shù)有相同的性質(zhì)：當(dāng)其中的類是均勻分布的時(shí)候，值最大；當(dāng)有一個(gè)類的個(gè)數(shù)為0的時(shí)候，值為0。選擇分割的時(shí)候，對(duì)每個(gè)字段都考慮；對(duì)每個(gè)字段中的值先排序，然后再一一計(jì)算。最后選出最佳的分割。樹的生成：錯(cuò)誤率的衡量：最初生成的樹中也是有錯(cuò)誤率的！因?yàn)橛行┤~子節(jié)點(diǎn)并不是“Pure”的。樹的修剪：是不是當(dāng)所以的葉子都很純是，這棵樹就能工作的很好呢? 修剪的要點(diǎn)是：應(yīng)該回溯多少、如何從眾多的子樹總尋找最佳的。 1) 鑒別生成候選子樹：使用一個(gè)調(diào)整的錯(cuò)誤率。AE(T)=E(T)+aleaf_count(T)。一步步的生成一些候選子樹。 2) 對(duì)子樹的評(píng)估：通過test set找到最佳子樹 3) 對(duì)最佳子樹釁攔潰菏褂胑valuation set。 4) 考慮代價(jià)(cost)的問題

什么是ID3算法

4，ID3算法的介紹

ID3算法是一種貪心算法，用來構(gòu)造決策樹。ID3算法起源于概念學(xué)習(xí)系統(tǒng)（CLS），以信息熵的下降速度為選取測(cè)試屬性的標(biāo)準(zhǔn)，即在每個(gè)節(jié)點(diǎn)選取還尚未被用來劃分的具有最高信息增益的屬性作為劃分標(biāo)準(zhǔn)，然后繼續(xù)這個(gè)過程，直到生成的決策樹能完美分類訓(xùn)練樣例。

http://www.rulequest.com/download.html http://www.rulequest.com/see5-demo.zip 這里有些。 diversity(整體)-diversity(左節(jié)點(diǎn))-diversity(右節(jié)點(diǎn))，值越大，分割就越好。三種diversity的指標(biāo)： 1. min(p(c1),p(c2)) 2. 2p(c1)p(c2) 3. [p(c1)logp(c1)]+[p(c2)logp(c2)] 這幾個(gè)參數(shù)有相同的性質(zhì)：當(dāng)其中的類是均勻分布的時(shí)候，值最大；當(dāng)有一個(gè)類的個(gè)數(shù)為0的時(shí)候，值為0。選擇分割的時(shí)候，對(duì)每個(gè)字段都考慮；對(duì)每個(gè)字段中的值先排序，然后再一一計(jì)算。最后選出最佳的分割。樹的生成：錯(cuò)誤率的衡量：最初生成的樹中也是有錯(cuò)誤率的！因?yàn)橛行┤~子節(jié)點(diǎn)并不是“pure”的。樹的修剪：是不是當(dāng)所以的葉子都很純是，這棵樹就能工作的很好呢? 修剪的要點(diǎn)是：應(yīng)該回溯多少、如何從眾多的子樹總尋找最佳的。 1) 鑒別生成候選子樹：使用一個(gè)調(diào)整的錯(cuò)誤率。ae(t)=e(t)+aleaf_count(t)。一步步的生成一些候選子樹。 2) 對(duì)子樹的評(píng)估：通過test set找到最佳子樹 3) 對(duì)最佳子樹釁攔潰菏褂胑valuation set。 4) 考慮代價(jià)(cost)的問題

5，為什么id3樹不能處理連續(xù)性屬性

ID3算法是決策樹的一個(gè)經(jīng)典的構(gòu)造算法，在一段時(shí)期內(nèi)曾是同類研究工作的比較對(duì)象，但通過近些年國(guó)內(nèi)外學(xué)者的研究，ID3算法也暴露出一些問題，具體如下：(1)信息增益的計(jì)算依賴于特征數(shù)目較多的特征，而屬性取值最多的屬性并不一定最優(yōu)。(2)ID3是非遞增算法。(3)ID3是單變量決策樹(在分枝節(jié)點(diǎn)上只考慮單個(gè)屬性)，許多復(fù)雜概念的表達(dá)困難，屬性相互關(guān)系強(qiáng)調(diào)不夠，容易導(dǎo)致決策樹中子樹的重復(fù)或有些屬性在決策樹的某一路徑上被檢驗(yàn)多次。(4)抗噪性差，訓(xùn)練例子中正例和反例的比例較難控制。于是Quilan改進(jìn)了ID3，提出了C4.5算法。C4.5算法現(xiàn)在已經(jīng)成為最經(jīng)典的決策樹構(gòu)造算法，排名數(shù)據(jù)挖掘十大經(jīng)典算法之首，下一篇文章將重點(diǎn)討論。決策樹的經(jīng)典構(gòu)造算法——C4.5（WEKA中稱J48）由于ID3算法在實(shí)際應(yīng)用中存在一些問題，于是Quilan提出了C4.5算法，嚴(yán)格上說C4.5只能是ID3的一個(gè)改進(jìn)算法。C4.5算法繼承了ID3算法的優(yōu)點(diǎn)，并在以下幾方面對(duì)ID3算法進(jìn)行了改進(jìn)：1) 用信息增益率來選擇屬性，克服了用信息增益選擇屬性時(shí)偏向選擇取值多的屬性的不足；2) 在樹構(gòu)造過程中進(jìn)行剪枝；3) 能夠完成對(duì)連續(xù)屬性的離散化處理；4) 能夠?qū)Σ煌暾麛?shù)據(jù)進(jìn)行處理。C4.5算法有如下優(yōu)點(diǎn)：產(chǎn)生的分類規(guī)則易于理解，準(zhǔn)確率較高。其缺點(diǎn)是：在構(gòu)造樹的過程中，需要對(duì)數(shù)據(jù)集進(jìn)行多次的順序掃描和排序，因而導(dǎo)致算法的低效。此外，C4.5只適合于能夠駐留于內(nèi)存的數(shù)據(jù)集，當(dāng)訓(xùn)練集大得無法在內(nèi)存容納時(shí)程序無法運(yùn)行。另外，無論是ID3還是C4.5最好在小數(shù)據(jù)集上使用，決策樹分類一般只試用于小數(shù)據(jù)。當(dāng)屬性取值很多時(shí)最好選擇C4.5算法，ID3得出的效果會(huì)非常差。

我不會(huì)~~~但還是要微笑~~~：）

6，vb實(shí)現(xiàn)id3算法

給你個(gè)例題看 Function ID3(R：一個(gè)非類別的屬性集合，C：類別屬性，S：一個(gè)訓(xùn)練集) Begin If S為空, 返回一個(gè)值為FAILURE的單個(gè)節(jié)點(diǎn)； If S是由其值均為相同類別屬性值的記錄組成，返回一個(gè)帶有該值的單個(gè)節(jié)點(diǎn)； If R為空,則返回一個(gè)單節(jié)點(diǎn)，其值為在S記錄中找出的頻率最高的類別屬性值；將R中屬性之間具有最大gain(D，S)值的屬性賦值給D；將屬性D的值賦值給{dj |j =1,2,3 …m}；將分別由對(duì)應(yīng)于D的值為dj的記錄組成的S的子集賦給{sj|j=1,2,3 …,m}；返回一顆樹,其根標(biāo)記為D,樹枝標(biāo)記為d1， d2，…，dm ；在分別遞歸構(gòu)造以下樹：ID3(R-{D},C,S 1) , ID3(R-{D},C,S2) …, ID3(R-{D},C,Sm) ； End ID3；如圖：屬性天氣氣溫濕度風(fēng) 適合打高爾夫 1 多云熱高無風(fēng) 不適合 2 晴熱高無風(fēng) 適合 3 多云熱高大風(fēng) 不適合 4 晴熱高中風(fēng) 適合 5 雨適中高無風(fēng) 不適合 6 多云熱高中風(fēng) 不適合 7 雨熱正常無風(fēng) 適合 8 雨適中高中風(fēng) 不適合 9 雨冷正常中風(fēng) 不適合 10 晴冷正常大風(fēng) 適合 11 雨熱正常大風(fēng) 不適合 12 晴冷正常中風(fēng) 適合 13 多云適中高中風(fēng) 不適合 14 多云冷正常無風(fēng) 適合 15 多云適中高無風(fēng) 不適合 16 雨適中正常無風(fēng) 不適合 17 多云冷正常中風(fēng) 適合 18 雨適中正常中風(fēng) 不適合 19 多云適中正常中風(fēng) 適合 20 多云適中正常大風(fēng) 適合 21 晴適中高大風(fēng) 適合 22 晴適中高中風(fēng) 適合 23 晴熱正常無風(fēng) 適合 24 雨適中高大風(fēng) 不適合 GAIN天氣熵=7/24（-7/7LOG2（7/7）-0）+9/24（4/9LOG2（4/9）+5/9LOG2（5/9））+8/24（1/8LOG2（1/8）+7/8LOG2（7/8）=0.5529 同理：GAIN 氣溫熵=0.9173 濕度熵=0.9184 風(fēng)熵=1 所以選最小的天氣建樹最后遞歸生成樹：天氣晴多云雨適合）濕度氣溫高正常（適合）（不適合）熱冷適中（不適合）（不適合）風(fēng) 大風(fēng) 無風(fēng) （適合）（不適合）

文章TAG：id3算法闡述ID3算法處理連續(xù)型變量必須離散化的原因