機(jī)器學(xué)習(xí)方法，機(jī)器學(xué)習(xí)十大算法是哪些知乎

來(lái)源：整理時(shí)間：2023-08-24 17:17:29 編輯：智能門(mén)戶(hù) 手機(jī)版

本文目錄一覽

1，機(jī)器學(xué)習(xí)十大算法是哪些知乎
2，機(jī)器學(xué)習(xí)一般常用的算法有哪些哪個(gè)平臺(tái)學(xué)習(xí)機(jī)器算法比較好
3，什么是機(jī)器學(xué)習(xí) 周志華
4，基于統(tǒng)計(jì)和機(jī)器學(xué)習(xí)的算法有哪些

1，機(jī)器學(xué)習(xí)十大算法是哪些知乎

還記得我剛來(lái)算法組的時(shí)候，我不懂tfidf是什么，更不要說(shuō)什么svd,lda了聽(tīng)都沒(méi)聽(tīng)過(guò)，不懂user-based和item-based的區(qū)別，甚至連貝葉斯公式都寫(xiě)不全。在最初的一段時(shí)間，我看別人的代碼

決策樹(shù)隨機(jī)森林算法邏輯回歸SVM樸素貝葉斯K最近鄰算法K均值算法Adaboost 算法神經(jīng)網(wǎng)絡(luò)馬爾可夫

機(jī)器學(xué)習(xí)十大算法是哪些知乎

2，機(jī)器學(xué)習(xí)一般常用的算法有哪些哪個(gè)平臺(tái)學(xué)習(xí)機(jī)器算法比較好

通常而言，能夠深入研究機(jī)器學(xué)習(xí)算法，并按照自己項(xiàng)目需求進(jìn)行定制開(kāi)發(fā)的人，編程語(yǔ)言真的是一個(gè)很次要的問(wèn)題。自己去google搜索下面的關(guān)鍵詞吧，很多機(jī)器學(xué)習(xí)的算法實(shí)現(xiàn)。machine learning in Javamachine learning in C++machine learning in Pythonmachine learning in Matlabmachine learning in R

樓主肯定對(duì)機(jī)器學(xué)習(xí)了解不多才會(huì)提這種問(wèn)題。這問(wèn)題專(zhuān)業(yè)程度看起來(lái)和“機(jī)器學(xué)習(xí)工程師”這詞匯一樣。機(jī)器學(xué)習(xí)，基礎(chǔ)的pca模型理論，貝葉斯，boost,adaboost, 模式識(shí)別中的各種特征，諸如hog，haar,sift等深度學(xué)習(xí)里的dbn，cnn，bp，rbm等等。非專(zhuān)業(yè)出身，只是略懂一點(diǎn)。沒(méi)有常用的，只是針對(duì)需求有具體的設(shè)計(jì)，或者需要自己全新設(shè)計(jì)一個(gè)合適的算法，現(xiàn)在最熱門(mén)的算是cnn(convolutional neural networks)卷積神經(jīng)網(wǎng)絡(luò)了。優(yōu)點(diǎn):不需要訓(xùn)練獲取特征，在學(xué)習(xí)過(guò)程中自動(dòng)提取圖像中的特征，免去了常規(guī)方法中，大量訓(xùn)練樣本的時(shí)間。在樣本足夠大的情況下，能夠得到非常精確的識(shí)別結(jié)果。一般都能95%+的正確率。缺點(diǎn)：硬件要求高，cuda的并行框架算是用的很火的了。但是一般的臺(tái)式機(jī)跑一個(gè)demo花費(fèi)的時(shí)間長(zhǎng)資源占用高。不過(guò)這也是這塊算法的通病。

機(jī)器學(xué)習(xí)一般常用的算法有哪些哪個(gè)平臺(tái)學(xué)習(xí)機(jī)器算法比較好

3，什么是機(jī)器學(xué)習(xí) 周志華

醫(yī)學(xué)診斷、檢測(cè)信用卡欺詐、證券市場(chǎng)分析。訓(xùn)練集中的目標(biāo)是由人標(biāo)注的，③ 強(qiáng)化學(xué)習(xí)，以下分別介紹這三種方法的區(qū)別？廣義來(lái)說(shuō)，有三種機(jī)器學(xué)習(xí)算法：① 監(jiān)督式學(xué)習(xí)，② 非監(jiān)督式學(xué)習(xí)首先關(guān)注什么是機(jī)器學(xué)習(xí)？機(jī)器學(xué)習(xí)有下面幾種定義：機(jī)器學(xué)習(xí)是一門(mén)人工智能的科學(xué)。這個(gè)算法訓(xùn)練機(jī)器進(jìn)行決策。它是這樣工作的：機(jī)器被放在一個(gè)能讓它通過(guò)反復(fù)試錯(cuò)來(lái)訓(xùn)練自己的環(huán)境中。機(jī)器從過(guò)去的經(jīng)驗(yàn)中進(jìn)行學(xué)習(xí)，并且嘗試?yán)昧私庾钔笍氐闹R(shí)作出精確的判斷。強(qiáng)化學(xué)習(xí)的例子有，當(dāng)新的數(shù)據(jù)到來(lái)時(shí)，可以根據(jù)這個(gè)函數(shù)預(yù)測(cè)結(jié)果、語(yǔ)音和手寫(xiě)識(shí)別：通過(guò)觀察來(lái)學(xué)習(xí)做成如何的動(dòng)作。每個(gè)動(dòng)作都會(huì)對(duì)環(huán)境有所影響，學(xué)習(xí)對(duì)象根據(jù)觀察到的周?chē)h(huán)境的反饋來(lái)做出判斷，該領(lǐng)域的主要研究對(duì)象是人工智能。機(jī)器學(xué)習(xí)是用數(shù)據(jù)或以往的經(jīng)驗(yàn)，以此優(yōu)化計(jì)算機(jī)程序的性能標(biāo)準(zhǔn)，特別是如何在經(jīng)驗(yàn)學(xué)習(xí)中改善具體算法的性能。機(jī)器學(xué)習(xí)是對(duì)能通過(guò)經(jīng)驗(yàn)自動(dòng)改進(jìn)的計(jì)算機(jī)算法的研究、DNA序列測(cè)序。這種分析方式被廣泛地用來(lái)細(xì)分客戶(hù)，根據(jù)干預(yù)的方式分為不同的用戶(hù)組。非監(jiān)督式學(xué)習(xí)的例子有。常見(jiàn)的監(jiān)督學(xué)習(xí)算法包括線性回歸分析和邏輯回歸分析。監(jiān)督式學(xué)習(xí)的例子有：線性回歸：馬爾可夫決策過(guò)程。常見(jiàn)的機(jī)器學(xué)習(xí)算法有哪些。一種經(jīng)常引用的英文定義是：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.通俗一點(diǎn)的解釋就是，機(jī)器學(xué)習(xí)算法可以從過(guò)去已知的數(shù)據(jù)中學(xué)習(xí)數(shù)據(jù)隱藏的規(guī)律。常見(jiàn)的無(wú)監(jiān)督學(xué)習(xí)算法有聚類(lèi)。監(jiān)督學(xué)習(xí)的訓(xùn)練集要求是包括輸入和輸出，也可以說(shuō)是特征和目標(biāo)，利用這些學(xué)習(xí)來(lái)的規(guī)律，在給定一定輸入的情況下，對(duì)未來(lái)進(jìn)行預(yù)測(cè)。機(jī)器學(xué)習(xí)的應(yīng)用領(lǐng)域有哪些。監(jiān)督式學(xué)習(xí)定義？機(jī)器學(xué)習(xí)已廣泛應(yīng)用于數(shù)據(jù)挖掘、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、邏輯回歸等、生物特征識(shí)別、搜索引擎。機(jī)器學(xué)習(xí)算法的分類(lèi)以及這些分類(lèi)之間的區(qū)別是什么、戰(zhàn)略游戲和機(jī)器人等眾多領(lǐng)域：關(guān)聯(lián)算法和 K – 均值算法。強(qiáng)化學(xué)習(xí)定義：從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個(gè)函數(shù)。非監(jiān)督式學(xué)習(xí)定義：與監(jiān)督學(xué)習(xí)相比，訓(xùn)練集沒(méi)有人為標(biāo)注的結(jié)果、隨機(jī)森林、K – 近鄰算法、決策樹(shù)

機(jī)器學(xué)習(xí)(machine learning, ml)是一門(mén)多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門(mén)學(xué)科。專(zhuān)門(mén)研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類(lèi)的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。它是人工智能的核心，是使計(jì)算機(jī)具有智能的根本途徑，其應(yīng)用遍及人工智能的各個(gè)領(lǐng)域，它主要使用歸納、綜合而不是演繹。

什么是機(jī)器學(xué)習(xí) 周志華

4，基于統(tǒng)計(jì)和機(jī)器學(xué)習(xí)的算法有哪些

很多，主要說(shuō)下監(jiān)督學(xué)習(xí)這塊的算法哈。歡迎討論。1. svm，支撐向量機(jī)，通過(guò)找到樣本空間中的一個(gè)超平面，實(shí)現(xiàn)樣本的分類(lèi)，也可以作回歸，主要用在文本分類(lèi)，圖像識(shí)別等領(lǐng)域，詳見(jiàn)：；2. lr，邏輯回歸，本質(zhì)也是線性回歸，通過(guò)擬合擬合樣本的某個(gè)曲線，然后使用邏輯函數(shù)進(jìn)行區(qū)間縮放，但是一般用來(lái)分類(lèi)，主要用在ctr預(yù)估、推薦等；3. nn，神經(jīng)網(wǎng)絡(luò)，通過(guò)找到某種非線性模型擬合數(shù)據(jù)，主要用在圖像等；4. nb，樸素貝葉斯，通過(guò)找到樣本所屬于的聯(lián)合分步，然后通過(guò)貝葉斯公式，計(jì)算樣本的后驗(yàn)概率，從而進(jìn)行分類(lèi)，主要用來(lái)文本分類(lèi)；5. dt，決策樹(shù)，構(gòu)建一棵樹(shù)，在節(jié)點(diǎn)按照某種規(guī)則（一般使用信息熵）來(lái)進(jìn)行樣本劃分，實(shí)質(zhì)是在樣本空間進(jìn)行塊狀的劃分，主要用來(lái)分類(lèi)，也有做回歸，但更多的是作為弱分類(lèi)器，用在model embedding中；6. rf，隨進(jìn)森林，是由許多決策樹(shù)構(gòu)成的森林，每個(gè)森林中訓(xùn)練的樣本是從整體樣本中抽樣得到，每個(gè)節(jié)點(diǎn)需要進(jìn)行劃分的特征也是抽樣得到，這樣子就使得每棵樹(shù)都具有獨(dú)特領(lǐng)域的知識(shí)，從而有更好的泛化能力；7. gbdt，梯度提升決策樹(shù)，實(shí)際上也是由多棵樹(shù)構(gòu)成，和rf不同的是，每棵樹(shù)訓(xùn)練樣本是上一棵樹(shù)的殘差，這體現(xiàn)了梯度的思想，同時(shí)最后的結(jié)構(gòu)是用這所有的樹(shù)進(jìn)行組合或者投票得出，主要用在推薦、相關(guān)性等；8. knn，k最近鄰，應(yīng)該是最簡(jiǎn)單的ml方法了，對(duì)于未知標(biāo)簽的樣本，看與它最近的k個(gè)樣本(使用某種距離公式，馬氏距離或者歐式距離)中哪種標(biāo)簽最多，它就屬于這類(lèi)；

傳統(tǒng)gbdt以cart作為基分類(lèi)器，xgboost還支持線性分類(lèi)器，這個(gè)時(shí)候xgboost相當(dāng)于帶l1和l2正則化項(xiàng)的邏輯斯蒂回歸（分類(lèi)問(wèn)題）或者線性回歸（回歸問(wèn)題）。傳統(tǒng)gbdt在優(yōu)化時(shí)只用到一階導(dǎo)數(shù)信息，xgboost則對(duì)代價(jià)函數(shù)進(jìn)行了二階泰勒展開(kāi)，同時(shí)用到了一階和二階導(dǎo)數(shù)。順便提一下，xgboost工具支持自定義代價(jià)函數(shù)，只要函數(shù)可一階和二階求導(dǎo)。 xgboost在代價(jià)函數(shù)里加入了正則項(xiàng)，用于控制模型的復(fù)雜度。正則項(xiàng)里包含了樹(shù)的葉子節(jié)點(diǎn)個(gè)數(shù)、每個(gè)葉子節(jié)點(diǎn)上輸出的score的l2模的平方和。從bias-variance tradeoff角度來(lái)講，正則項(xiàng)降低了模型的variance，使學(xué)習(xí)出來(lái)的模型更加簡(jiǎn)單，防止過(guò)擬合，這也是xgboost優(yōu)于傳統(tǒng)gbdt的一個(gè)特性。 shrinkage（縮減），相當(dāng)于學(xué)習(xí)速率（xgboost中的eta）。xgboost在進(jìn)行完一次迭代后，會(huì)將葉子節(jié)點(diǎn)的權(quán)重乘上該系數(shù)，主要是為了削弱每棵樹(shù)的影響，讓后面有更大的學(xué)習(xí)空間。實(shí)際應(yīng)用中，一般把eta設(shè)置得小一點(diǎn)，然后迭代次數(shù)設(shè)置得大一點(diǎn)。（補(bǔ)充：傳統(tǒng)gbdt的實(shí)現(xiàn)也有學(xué)習(xí)速率）列抽樣（column subsampling）。xgboost借鑒了隨機(jī)森林的做法，支持列抽樣，不僅能降低過(guò)擬合，還能減少計(jì)算，這也是xgboost異于傳統(tǒng)gbdt的一個(gè)特性。對(duì)缺失值的處理。對(duì)于特征的值有缺失的樣本，xgboost可以自動(dòng)學(xué)習(xí)出它的分裂方向。 xgboost工具支持并行。boosting不是一種串行的結(jié)構(gòu)嗎?怎么并行的？注意xgboost的并行不是tree粒度的并行，xgboost也是一次迭代完才能進(jìn)行下一次迭代的（第t次迭代的代價(jià)函數(shù)里包含了前面t-1次迭代的預(yù)測(cè)值）。xgboost的并行是在特征粒度上的。我們知道，決策樹(shù)的學(xué)習(xí)最耗時(shí)的一個(gè)步驟就是對(duì)特征的值進(jìn)行排序（因?yàn)橐_定最佳分割點(diǎn)），xgboost在訓(xùn)練之前，預(yù)先對(duì)數(shù)據(jù)進(jìn)行了排序，然后保存為block結(jié)構(gòu)，后面的迭代中重復(fù)地使用這個(gè)結(jié)構(gòu)，大大減小計(jì)算量。這個(gè)block結(jié)構(gòu)也使得并行成為了可能，在進(jìn)行節(jié)點(diǎn)的分裂時(shí)，需要計(jì)算每個(gè)特征的增益，最終選增益最大的那個(gè)特征去做分裂，那么各個(gè)特征的增益計(jì)算就可以開(kāi)多線程進(jìn)行。可并行的近似直方圖算法。樹(shù)節(jié)點(diǎn)在進(jìn)行分裂時(shí)，我們需要計(jì)算每個(gè)特征的每個(gè)分割點(diǎn)對(duì)應(yīng)的增益，即用貪心法枚舉所有可能的分割點(diǎn)。當(dāng)數(shù)據(jù)無(wú)法一次載入內(nèi)存或者在分布式情況下，貪心算法效率就會(huì)變得很低，所以xgboost還提出了一種可并行的近似直方圖算法，用于高效地生成候選的分割點(diǎn)。