弱監(jiān)督學(xué)習，我知道有監(jiān)督學(xué)習半監(jiān)督學(xué)習那么什么是弱監(jiān)督學(xué)習

來源：整理時間：2023-08-24 07:11:38 編輯：智能門戶手機版

本文目錄一覽

1，我知道有監(jiān)督學(xué)習半監(jiān)督學(xué)習那么什么是弱監(jiān)督學(xué)習
2，Distant supervision是什么意思
3，弱監(jiān)督下的神經(jīng)排序模型是怎么回事
4，adaboost如何訓(xùn)練
5，機器學(xué)習算法中GBDT和XGBOOST的區(qū)別有哪些
6，人工智能機器學(xué)習深度學(xué)習是一種怎樣的層級關(guān)系

1，我知道有監(jiān)督學(xué)習半監(jiān)督學(xué)習那么什么是弱監(jiān)督學(xué)習

半監(jiān)督應(yīng)該是弱監(jiān)督的一種吧。在少量標注樣本的條件下進行學(xué)習。

我知道有監(jiān)督學(xué)習半監(jiān)督學(xué)習那么什么是弱監(jiān)督學(xué)習

2，Distant supervision是什么意思

Distant supervision可以翻譯為“遠程監(jiān)督”再看看別人怎么說的。

遠監(jiān)督。弱監(jiān)督也稱為遠監(jiān)督，數(shù)據(jù)集的標簽是不可靠的(這里的不可靠可以是標記不正確，多種標記，標記不充分，局部標記等)，針對監(jiān)督信息不完整或不明確對象的學(xué)習問題統(tǒng)稱為弱監(jiān)督學(xué)習。

Distant supervision是什么意思

3，弱監(jiān)督下的神經(jīng)排序模型是怎么回事

近年來，無監(jiān)督的深度神經(jīng)網(wǎng)絡(luò)在計算機視覺技術(shù)、自然語言處理和語音識別任務(wù)上都已經(jīng)取得了很大的進步，而在信息檢索的排序上卻仍在原地踏步，沒有太大的改進。其中的原因可能在于排序問題本身的復(fù)雜性，因為在沒有監(jiān)督信號的情況下，神經(jīng)網(wǎng)絡(luò)很難從查詢內(nèi)容和文檔中獲取信息。因此，我們在這篇文章中提出了使用“弱監(jiān)督”來訓(xùn)練神經(jīng)排序模型。也就是說，所有訓(xùn)練所需的標簽都是機器自己獲取的，不存在任何人工輸入的標簽。為此，我們把一個“無監(jiān)督”排序模型的輸出結(jié)果，比如BM25，當做一個“弱監(jiān)督”模型的信號來使用。接下來，我們會進一步基于“前饋神經(jīng)網(wǎng)絡(luò)”對一系列簡單卻十分高效的排序模型進行訓(xùn)練。我們還會考察它們在不同的訓(xùn)練場景下的效果，例如：使用不同的輸入表征（密集/稀疏表征向量，或者是“嵌入”文字表征），分別訓(xùn)練“逐點模型”和“成對模型”。我們能夠從無監(jiān)督IR模型中輕易地獲得“弱標記數(shù)據(jù)”，實驗的結(jié)果反映，提前對大量的“弱標記數(shù)據(jù)”進行訓(xùn)練，對有監(jiān)督的神經(jīng)排序模型非常有益。我們調(diào)查的三個主要問題：問題一：單憑來自無監(jiān)督IR模型的標簽作為弱監(jiān)督訓(xùn)練數(shù)據(jù)，比如BM25，有可能完成一個神經(jīng)排序模型的訓(xùn)練嗎？問題二：在這樣的情況下，什么樣的輸入表征和學(xué)習目標是最適合模型訓(xùn)練的？問題三：弱監(jiān)督的操作過程，尤其是在標記數(shù)據(jù)有限的情況下，能否優(yōu)化有監(jiān)督的學(xué)習模型？排序的體系結(jié)構(gòu)我們對三種神經(jīng)排序模型進行了嘗試：1、分數(shù)模型這種架構(gòu)實際上是一個預(yù)測“查詢文檔”組合的檢索分數(shù)的逐點排序模型。專業(yè)地來說，這種架構(gòu)的目標就是掌握一個“分數(shù)功能”，這一功能能夠決定一個“查詢文檔”的檢索分數(shù)。我們可以用線性回歸圖來大致地表示這個問題：2、排序模型與第一種“分數(shù)模型”相同的是，“排序模型”的目標也是掌握“分數(shù)功能”。但不同的是，“排序模型”并不是為了使分數(shù)搜索功能標準化。因此我們在“排序模型”的訓(xùn)練中使用了“雙情境”。具體來說就是我們在訓(xùn)練中使用了兩個參數(shù)相同的逐點模型。為了最大程度地降低損耗，我們更新了其中的參數(shù)：在推導(dǎo)過程中，由于兩個模型是完全一樣的，我們只取了其中一個作為最終的分數(shù)功能模型，并且把經(jīng)過訓(xùn)練的模型以逐點的方式使用。3、試驗排序模型第三種排序架構(gòu)的基礎(chǔ)是一個包括訓(xùn)練和推導(dǎo)的“雙情境”。這種模型是為了學(xué)習包含一個查詢內(nèi)容和兩個文檔（d1和d2）的“排序功能”而設(shè)計的。根據(jù)查詢內(nèi)容，模型會預(yù)測d1文檔排名高于d2文檔的可能性。這個問題可以用回歸圖大致表達：

水榕是所有水草中最容易養(yǎng)的，出現(xiàn)溶葉是因為放鹽了。除了喂食、清理魚缸、換水之外，過濾系統(tǒng)必須24小時工作，否則，水質(zhì)不良水草也會爛葉。

感覺bp神經(jīng)網(wǎng)絡(luò)模型相對來說適合市場需求相對穩(wěn)定的制造業(yè)，零售業(yè)好像不是很適合

弱監(jiān)督下的神經(jīng)排序模型是怎么回事

4，adaboost如何訓(xùn)練

Paul Viola和Michael Jones于2001年將Adaboost算法利用于人臉檢測中,其基本思想是針對不同的訓(xùn)練集訓(xùn)練同1個分類器（弱分類器），然后把這些不同訓(xùn)練集上的得到的分類器聯(lián)合起來，構(gòu)成1個終究的強分類器。Adaboost 算法中不同的訓(xùn)練集是通過調(diào)劑每一個樣本對應(yīng)的權(quán)重來實現(xiàn)的。開始時，每一個樣本對應(yīng)的權(quán)重是相同的，對h1 分類毛病的樣本，加大其對應(yīng)的權(quán)重；而對分類正確的樣本，下降其權(quán)重，這樣分錯的樣本就被突出出來，從而得到1個新的樣本散布 U2 。在新的樣本散布下，再次對弱分類器進行訓(xùn)練，得到弱分類器 h2 。順次類推，經(jīng)過 T 次循環(huán)，得到 T 個弱分類器，把這 T 個弱分類器按1定的權(quán)堆疊加（boost）起來，得到終究想要的強分類器。訓(xùn)練系統(tǒng)整體框架，由“ 訓(xùn)練部份”和 “ 補充部份”構(gòu)成。根據(jù)系統(tǒng)框架，本文的訓(xùn)練系統(tǒng)可分為以下幾個模塊: (1)以樣本集為輸入，在給定的矩形特點原型下，計算并取得矩形特點集; (2)以特點集為輸入，根據(jù)給定的弱學(xué)習算法，肯定閩值，將特點與弱分類器逐一對應(yīng)，取得弱分類器集; (3)以弱分類器集為輸入，在訓(xùn)練檢出率和誤判率限制下，使用A d a B o o s t 算法挑選最優(yōu)的弱分類器構(gòu)成強分類器; (4)以強分類器集為輸入，將其組合為級聯(lián)分類器; (5)以非人臉圖片集為輸入，組合強分類器為臨時的級聯(lián)分類器，挑選并補充非人臉樣本。

Adaboost也是1種原理簡單，但很實用的有監(jiān)督機器學(xué)習算法，它是daptive boosting的簡稱。說到boosting算法，就不得提1提bagging算法，他們兩個都是把1些弱分類器組合起.

第32 卷2期第2009 年2月計算機學(xué)報C H IN ESE J OU RNAL O F COM PU T ERSVol. 32 No . 2 Feb. 2009 基于動態(tài)權(quán)重裁剪的快速 Adab

原文地址：AdaBoost算法的訓(xùn)練進程作者：charming每一個Haar特點對應(yīng)看1個弱分類器，但其實不是任伺1個Haar特點都能較好的描寫人臉灰度散布的某1特點，如何從大量的Haar...

在opencv 官網(wǎng)上能搜到，只要把你已訓(xùn)練 opencv haar+ adaboost 大神哥，求指教，... 最好解決方案個人經(jīng)驗，是負樣本有問題，解決方案如何在iPhone上使用 Op

你可以把視頻下載到不同的裝備緩存至手機（當前僅支持Android裝備）下載至電腦開始下載定閱Opencv視頻教程分類器訓(xùn)練第1節(jié)adaboost haar 1

5，機器學(xué)習算法中GBDT和XGBOOST的區(qū)別有哪些

很多，主要說下監(jiān)督學(xué)習這塊的算法哈。歡迎討論。svm，支撐向量機，通過找到樣本空間中的一個超平面，實現(xiàn)樣本的分類，也可以作回歸，主要用在文本分類，圖像識別等領(lǐng)域，詳見：；lr，邏輯回歸，本質(zhì)也是線性回歸，通過擬合擬合樣本的某個曲線，然后使用邏輯函數(shù)進行區(qū)間縮放，但是一般用來分類，主要用在ctr預(yù)估、推薦等；nn，神經(jīng)網(wǎng)絡(luò)，通過找到某種非線性模型擬合數(shù)據(jù)，主要用在圖像等；nb，樸素貝葉斯，通過找到樣本所屬于的聯(lián)合分步，然后通過貝葉斯公式，計算樣本的后驗概率，從而進行分類，主要用來文本分類；dt，決策樹，構(gòu)建一棵樹，在節(jié)點按照某種規(guī)則（一般使用信息熵）來進行樣本劃分，實質(zhì)是在樣本空間進行塊狀的劃分，主要用來分類，也有做回歸，但更多的是作為弱分類器，用在model embedding中；rf，隨進森林，是由許多決策樹構(gòu)成的森林，每個森林中訓(xùn)練的樣本是從整體樣本中抽樣得到，每個節(jié)點需要進行劃分的特征也是抽樣得到，這樣子就使得每棵樹都具有獨特領(lǐng)域的知識，從而有更好的泛化能力；gbdt，梯度提升決策樹，實際上也是由多棵樹構(gòu)成，和rf不同的是，每棵樹訓(xùn)練樣本是上一棵樹的殘差，這體現(xiàn)了梯度的思想，同時最后的結(jié)構(gòu)是用這所有的樹進行組合或者投票得出，主要用在推薦、相關(guān)性等；knn，k最近鄰，應(yīng)該是最簡單的ml方法了，對于未知標簽的樣本，看與它最近的k個樣本(使用某種距離公式，馬氏距離或者歐式距離)中哪種標簽最多，它就屬于這類；

傳統(tǒng)gbdt以cart作為基分類器，xgboost還支持線性分類器，這個時候xgboost相當于帶l1和l2正則化項的邏輯斯蒂回歸（分類問題）或者線性回歸（回歸問題）。傳統(tǒng)gbdt在優(yōu)化時只用到一階導(dǎo)數(shù)信息，xgboost則對代價函數(shù)進行了二階泰勒展開，同時用到了一階和二階導(dǎo)數(shù)。順便提一下，xgboost工具支持自定義代價函數(shù)，只要函數(shù)可一階和二階求導(dǎo)。 xgboost在代價函數(shù)里加入了正則項，用于控制模型的復(fù)雜度。正則項里包含了樹的葉子節(jié)點個數(shù)、每個葉子節(jié)點上輸出的score的l2模的平方和。從bias-variance tradeoff角度來講，正則項降低了模型的variance，使學(xué)習出來的模型更加簡單，防止過擬合，這也是xgboost優(yōu)于傳統(tǒng)gbdt的一個特性。 shrinkage（縮減），相當于學(xué)習速率（xgboost中的eta）。xgboost在進行完一次迭代后，會將葉子節(jié)點的權(quán)重乘上該系數(shù)，主要是為了削弱每棵樹的影響，讓后面有更大的學(xué)習空間。實際應(yīng)用中，一般把eta設(shè)置得小一點，然后迭代次數(shù)設(shè)置得大一點。（補充：傳統(tǒng)gbdt的實現(xiàn)也有學(xué)習速率）列抽樣（column subsampling）。xgboost借鑒了隨機森林的做法，支持列抽樣，不僅能降低過擬合，還能減少計算，這也是xgboost異于傳統(tǒng)gbdt的一個特性。對缺失值的處理。對于特征的值有缺失的樣本，xgboost可以自動學(xué)習出它的分裂方向。 xgboost工具支持并行。boosting不是一種串行的結(jié)構(gòu)嗎?怎么并行的？注意xgboost的并行不是tree粒度的并行，xgboost也是一次迭代完才能進行下一次迭代的（第t次迭代的代價函數(shù)里包含了前面t-1次迭代的預(yù)測值）。xgboost的并行是在特征粒度上的。我們知道，決策樹的學(xué)習最耗時的一個步驟就是對特征的值進行排序（因為要確定最佳分割點），xgboost在訓(xùn)練之前，預(yù)先對數(shù)據(jù)進行了排序，然后保存為block結(jié)構(gòu)，后面的迭代中重復(fù)地使用這個結(jié)構(gòu)，大大減小計算量。這個block結(jié)構(gòu)也使得并行成為了可能，在進行節(jié)點的分裂時，需要計算每個特征的增益，最終選增益最大的那個特征去做分裂，那么各個特征的增益計算就可以開多線程進行。可并行的近似直方圖算法。樹節(jié)點在進行分裂時，我們需要計算每個特征的每個分割點對應(yīng)的增益，即用貪心法枚舉所有可能的分割點。當數(shù)據(jù)無法一次載入內(nèi)存或者在分布式情況下，貪心算法效率就會變得很低，所以xgboost還提出了一種可并行的近似直方圖算法，用于高效地生成候選的分割點。

6，人工智能機器學(xué)習深度學(xué)習是一種怎樣的層級關(guān)系

人工智能：從概念提出到走向繁榮1956年，幾個計算機科學(xué)家相聚在達特茅斯會議，提出了“人工智能”的概念，夢想著用當時剛剛出現(xiàn)的計算機來構(gòu)造復(fù)雜的、擁有與人類智慧同樣本質(zhì)特性的機器。其后，人工智能就一直縈繞于人們的腦海之中，并在科研實驗室中慢慢孵化。之后的幾十年，人工智能一直在兩極反轉(zhuǎn)，或被稱作人類文明耀眼未來的預(yù)言，或被當成技術(shù)瘋子的狂想扔到垃圾堆里。直到2012年之前，這兩種聲音還在同時存在。2012年以后，得益于數(shù)據(jù)量的上漲、運算力的提升和機器學(xué)習新算法（深度學(xué)習）的出現(xiàn)，人工智能開始大爆發(fā)。據(jù)領(lǐng)英近日發(fā)布的《全球AI領(lǐng)域人才報告》顯示，截至2017年一季度，基于領(lǐng)英平臺的全球AI（人工智能）領(lǐng)域技術(shù)人才數(shù)量超過190萬，僅國內(nèi)人工智能人才缺口達到500多萬。人工智能的研究領(lǐng)域也在不斷擴大，圖二展示了人工智能研究的各個分支，包括專家系統(tǒng)、機器學(xué)習、進化計算、模糊邏輯、計算機視覺、自然語言處理、推薦系統(tǒng)等。但目前的科研工作都集中在弱人工智能這部分，并很有希望在近期取得重大突破，電影里的人工智能多半都是在描繪強人工智能，而這部分在目前的現(xiàn)實世界里難以真正實現(xiàn)（通常將人工智能分為弱人工智能和強人工智能，前者讓機器具備觀察和感知的能力，可以做到一定程度的理解和推理，而強人工智能讓機器獲得自適應(yīng)能力，解決一些之前沒有遇到過的問題）。弱人工智能有希望取得突破，是如何實現(xiàn)的，“智能”又從何而來呢？這主要歸功于一種實現(xiàn)人工智能的方法——機器學(xué)習。機器學(xué)習：一種實現(xiàn)人工智能的方法機器學(xué)習最基本的做法，是使用算法來解析數(shù)據(jù)、從中學(xué)習，然后對真實世界中的事件做出決策和預(yù)測。與傳統(tǒng)的為解決特定任務(wù)、硬編碼的軟件程序不同，機器學(xué)習是用大量的數(shù)據(jù)來“訓(xùn)練”，通過各種算法從數(shù)據(jù)中學(xué)習如何完成任務(wù)。舉個簡單的例子，當我們?yōu)g覽網(wǎng)上商城時，經(jīng)常會出現(xiàn)商品推薦的信息。這是商城根據(jù)你往期的購物記錄和冗長的收藏清單，識別出這其中哪些是你真正感興趣，并且愿意購買的產(chǎn)品。這樣的決策模型，可以幫助商城為客戶提供建議并鼓勵產(chǎn)品消費。機器學(xué)習直接來源于早期的人工智能領(lǐng)域，傳統(tǒng)的算法包括決策樹、聚類、貝葉斯分類、支持向量機、EM、Adaboost等等。從學(xué)習方法上來分，機器學(xué)習算法可以分為監(jiān)督學(xué)習（如分類問題）、無監(jiān)督學(xué)習（如聚類問題）、半監(jiān)督學(xué)習、集成學(xué)習、深度學(xué)習和強化學(xué)習。傳統(tǒng)的機器學(xué)習算法在指紋識別、基于Haar的人臉檢測、基于HoG特征的物體檢測等領(lǐng)域的應(yīng)用基本達到了商業(yè)化的要求或者特定場景的商業(yè)化水平，但每前進一步都異常艱難，直到深度學(xué)習算法的出現(xiàn)。深度學(xué)習：一種實現(xiàn)機器學(xué)習的技術(shù)深度學(xué)習本來并不是一種獨立的學(xué)習方法，其本身也會用到有監(jiān)督和無監(jiān)督的學(xué)習方法來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。但由于近幾年該領(lǐng)域發(fā)展迅猛，一些特有的學(xué)習手段相繼被提出（如殘差網(wǎng)絡(luò)），因此越來越多的人將其單獨看作一種學(xué)習的方法。最初的深度學(xué)習是利用深度神經(jīng)網(wǎng)絡(luò)來解決特征表達的一種學(xué)習過程。深度神經(jīng)網(wǎng)絡(luò)本身并不是一個全新的概念，可大致理解為包含多個隱含層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。為了提高深層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果，人們對神經(jīng)元的連接方法和激活函數(shù)等方面做出相應(yīng)的調(diào)整。其實有不少想法早年間也曾有過，但由于當時訓(xùn)練數(shù)據(jù)量不足、計算能力落后，因此最終的效果不盡如人意。深度學(xué)習摧枯拉朽般地實現(xiàn)了各種任務(wù)，使得似乎所有的機器輔助功能都變?yōu)榭赡?。無人駕駛汽車，預(yù)防性醫(yī)療保健，甚至是更好的電影推薦，都近在眼前，或者即將實現(xiàn)。三者的區(qū)別和聯(lián)系機器學(xué)習是一種實現(xiàn)人工智能的方法，深度學(xué)習是一種實現(xiàn)機器學(xué)習的技術(shù)。我們就用最簡單的方法——同心圓，可視化地展現(xiàn)出它們?nèi)叩年P(guān)系。目前，業(yè)界有一種錯誤的較為普遍的意識，即“深度學(xué)習最終可能會淘汰掉其他所有機器學(xué)習算法”。這種意識的產(chǎn)生主要是因為，當下深度學(xué)習在計算機視覺、自然語言處理領(lǐng)域的應(yīng)用遠超過傳統(tǒng)的機器學(xué)習方法，并且媒體對深度學(xué)習進行了大肆夸大的報道。深度學(xué)習，作為目前最熱的機器學(xué)習方法，但并不意味著是機器學(xué)習的終點。起碼目前存在以下問題：1. 深度學(xué)習模型需要大量的訓(xùn)練數(shù)據(jù)，才能展現(xiàn)出神奇的效果，但現(xiàn)實生活中往往會遇到小樣本問題，此時深度學(xué)習方法無法入手，傳統(tǒng)的機器學(xué)習方法就可以處理；2. 有些領(lǐng)域，采用傳統(tǒng)的簡單的機器學(xué)習方法，可以很好地解決了，沒必要非得用復(fù)雜的深度學(xué)習方法；3. 深度學(xué)習的思想，來源于人腦的啟發(fā)，但絕不是人腦的模擬，舉個例子，給一個三四歲的小孩看一輛自行車之后，再見到哪怕外觀完全不同的自行車，小孩也十有八九能做出那是一輛自行車的判斷，也就是說，人類的學(xué)習過程往往不需要大規(guī)模的訓(xùn)練數(shù)據(jù)，而現(xiàn)在的深度學(xué)習方法顯然不是對人腦的模擬。