flume可以收集哪些數(shù)據(jù)源？□FlumeOG有三種節(jié)點(diǎn):代理節(jié)點(diǎn)agent、采集器節(jié)點(diǎn)和主節(jié)點(diǎn)。代理負(fù)責(zé)從各種數(shù)據(jù)源收集日志數(shù)據(jù)，并將收集的數(shù)據(jù)集中在收集器中，在被動(dòng)模式下，代理根據(jù)服務(wù)器或代理的特定請(qǐng)求返回?cái)?shù)據(jù)。1、如何繞開(kāi)網(wǎng)站防護(hù)抓取數(shù)據(jù)首先，對(duì)于一個(gè)從事數(shù)據(jù)挖掘或者大數(shù)據(jù)分析的人來(lái)說(shuō)，你必須堅(jiān)信，世界上沒(méi)有一個(gè)網(wǎng)站是絕對(duì)反抄襲的。這意味著所有的網(wǎng)站，只要是網(wǎng)站，就一定會(huì)找到相關(guān)的方法把數(shù)據(jù)爬下來(lái)。即使網(wǎng)站被保護(hù)了，我們也要堅(jiān)定這種信心。通過(guò)不斷更換IP來(lái)使用常規(guī)IP池。從而進(jìn)一步清理和梳理你的身份...