flume可以收集哪些數(shù)據(jù)源？□FlumeOG有三種節(jié)點:代理節(jié)點agent、采集器節(jié)點和主節(jié)點。代理負責(zé)從各種數(shù)據(jù)源收集日志數(shù)據(jù)，并將收集的數(shù)據(jù)集中在收集器中，在被動模式下，代理根據(jù)服務(wù)器或代理的特定請求返回數(shù)據(jù)。

首先，對于一個從事數(shù)據(jù)挖掘或者大數(shù)據(jù)分析的人來說，你必須堅信，世界上沒有一個網(wǎng)站是絕對反抄襲的。這意味著所有的網(wǎng)站，只要是網(wǎng)站，就一定會找到相關(guān)的方法把數(shù)據(jù)爬下來。即使網(wǎng)站被保護了，我們也要堅定這種信心。通過不斷更換IP來使用常規(guī)IP池。從而進一步清理和梳理你的身份和你的相關(guān)cookie技術(shù)，包括最低網(wǎng)站IP封鎖和相關(guān)保護項目。

這是數(shù)據(jù)抓取的第一要義。寫的非常好的爬蟲系統(tǒng)和規(guī)則。一個好的爬蟲系統(tǒng)之后，很多爬蟲規(guī)則需要能夠智能判斷是否被屏蔽，或者編寫幾套相同的規(guī)則從不同的方面發(fā)起相關(guān)收集。有效解決客戶的網(wǎng)絡(luò)問題，同時也有效解決數(shù)據(jù)分析問題。避免視覺數(shù)據(jù)收集。在網(wǎng)站保護項目中，您通常通過可視化或常規(guī)方式來抓取數(shù)據(jù)。在數(shù)據(jù)采集過程中，盡量不要看數(shù)據(jù)，而是在傳輸過程中讀碼或者截包，也就是截取數(shù)據(jù)分包借用自己的包實現(xiàn)數(shù)據(jù)，抓取，挖掘。

1。Serverzabbix系統(tǒng)核心進程，輪詢和捕獲數(shù)據(jù)，發(fā)送通知等。是zabbixagent和zabbixproxy報告數(shù)據(jù)的對象。服務(wù)器本身可以遠程檢測網(wǎng)絡(luò)服務(wù)。所有前端和后端配置、統(tǒng)計信息和操作數(shù)據(jù)都存儲在這里。它包括服務(wù)器、前端接口和后端數(shù)據(jù)庫。2.代理部署在被監(jiān)控的主機上，監(jiān)控本地資源和應(yīng)用程序，并將結(jié)果報告給zabbixserver。

有主動和被動檢測模式。在被動模式下，代理根據(jù)服務(wù)器或代理的特定請求返回數(shù)據(jù)。在主動模式下，服務(wù)器首先主動獲取監(jiān)控項目列表，然后檢測并返回新數(shù)據(jù)。采用主動檢測還是被動檢測取決于相應(yīng)監(jiān)控項目的配置。3.代理可以部署，也可以不部署，主要用來分擔(dān)服務(wù)器的負載。在遠程地點、分支機構(gòu)、網(wǎng)絡(luò)集中監(jiān)控的場景下，是一個很好的解決方案。

Hadoop在可擴展性、健壯性、計算性能、成本等方面具有不可替代的優(yōu)勢。實際上已經(jīng)成為互聯(lián)網(wǎng)公司的主流大數(shù)據(jù)分析平臺。本文主要介紹了一種基于Hadoop平臺的多維分析和數(shù)據(jù)挖掘平臺架構(gòu)。作為一家互聯(lián)網(wǎng)數(shù)據(jù)分析公司，我們在海量數(shù)據(jù)分析領(lǐng)域真的是“被逼上梁山”了。多年來，在苛刻的業(yè)務(wù)需求和數(shù)據(jù)壓力下，我們嘗試了幾乎所有可能的大數(shù)據(jù)分析方法，最終登陸Hadoop平臺。

根據(jù)數(shù)據(jù)分析的實時性，可以分為實時數(shù)據(jù)分析和離線數(shù)據(jù)分析。實時數(shù)據(jù)分析一般用在金融、移動、互聯(lián)網(wǎng)B2C等產(chǎn)品中，往往需要幾秒鐘內(nèi)分析上億行數(shù)據(jù)，以達到不影響用戶體驗的目的。為了滿足這種需求，我們可以使用設(shè)計良好的傳統(tǒng)關(guān)系數(shù)據(jù)庫來組成并行處理集群，或者使用一些內(nèi)存計算平臺，或者采用HDD架構(gòu)，這無疑需要很高的軟硬件成本。

elasticsearch默認不開放跨域。我們需要跨域配置，配置集群節(jié)點名:修改容器中的文件/usr/share/elastic search/config/elastic search . yml。添加的配置如下:參數(shù)描述:cluster.name:集群服務(wù)名http.cors.enabled:跨域http.cors.alloworigin:允許跨域域名。* IP發(fā)現(xiàn)。zen.minimum _ master _ nodes:代表所有域名network.host:外部訪問。最小數(shù)量的主節(jié)點安裝完成后，重啟容器dockerrestartelasticsearch。重訪問效果如下:安裝elasticsearch管理界面elasticsearchhq后，訪問控制臺地址:elastic search SW _ StorageElasticSearch 7:elastic search ESW版本_ Storage _ ES _ Cluster _ NodeSelasticSearch:9。

1)、采集功能◆物理層支持RS232/485/422、以太網(wǎng)、現(xiàn)場總線(如CANBus、DeviceNet、Profibus、LonWorks等。)◆支持GPRS、CDMA、數(shù)字電臺、電話撥號、衛(wèi)星等多種遠程通信方式◆串口最多可支持32個(視硬件型號而定)◆支持多種采集模式:L同步/異步lPollingl平衡/不平衡L自動通知L訂閱/發(fā)布◆對每個通道和每個驅(qū)動程序采用獨立的進程管理模式。任何驅(qū)動故障或運行不穩(wěn)定都不會影響整個系統(tǒng)◆支持透明協(xié)議傳輸功能◆對采集的數(shù)據(jù)具有死區(qū)壓縮、量程轉(zhuǎn)換、濾波、去除小信號等功能◆對采集的數(shù)據(jù)支持時間戳和質(zhì)量戳功能，如果采集的設(shè)備沒有時間戳和質(zhì)量戳，支持自動添加◆支持寫優(yōu)先級處理。支持頻繁讀寫的均衡處理2)采集接口的通信協(xié)議和標(biāo)準(zhǔn):◆工控:OPCClient、ModbusMaster◆電源:IEC/102/103/104Master、DNPMaster、genuine client、JBUS等◆樓宇:LonWorks、BACnetClient、Bat。

架構(gòu):□FlumeOG有三種節(jié)點:代理節(jié)點agent、收集器節(jié)點和主節(jié)點。代理負責(zé)從各種數(shù)據(jù)源收集日志數(shù)據(jù)，將收集到的數(shù)據(jù)集中在收集器中，然后收集器節(jié)點在HDFS中收集并存儲這些數(shù)據(jù)，主管理器負責(zé)管理代理\\ \\收集器的活動。