爬蟲會感染虛擬機挖礦病毒

1. 我把非常微小的小爬蟲子吃了，會不會有病啊

應該問題不大，到了胃裡面會被胃酸殺死的。但是盡量不要吃活的以及不熟悉的東西，說不定哪種動物對身體會有損傷。

2. 用太陽HTTP做爬蟲抓取，會不會有被封號的危險

提供代理IP，這樣就不會被封了。

3. 可以用爬蟲來獲取一些網站的內容，那麼一些網站會做反爬蟲程序么難做么會對搜索引擎造成什麼影響

正規情況下可以用robots協議阻止搜索引擎爬取網站
但並不是所有的搜索引擎都遵循robots協議(某些知名搜索引擎也不遵守，該協議不是強制遵循的)
一般反爬蟲的程序最簡單的方法就是通過UserAgent識別爬蟲，但並不是所有爬蟲都有明確的UserAgent，還有些不知名的搜索引擎不設置自己獨有的UserAgent，同時UserAgent也可以被任意的偽造，所以並不能保證完全過濾一些爬蟲。
為了更進一步識別爬蟲，只能通過限制某個IP的訪問，如果IP在變化也很難阻止其爬行，僅能根據一些訪問行為進行分析是否為爬蟲自動抓取，如果是爬蟲，則可以用一個403返回碼阻止網頁的顯示。這樣搜索引擎抓到的頁面都是403錯誤頁面，具體內容無法抓取。
如果有人專門想要抓取你的網站內容，它可以專門定製一種策略來想辦法模擬人工訪問，很難做到徹底阻止。

4. 開始使用爬蟲技術後，這個爬蟲不會是對全球網路進行抓取吧。而我存儲太少，會不會爆了

使用爬蟲技術需要提前設置爬蟲爬取的入口，也就是起始網址，在信息爬取過程中可以對爬取的內容數量、信息收集規則進行限定，你想要爬取多少內容要看爬蟲能收集到多少網址，理論上爬蟲是可以對全球網路進行抓取的，但操作起來不現實，而且沒人會這么做，爬蟲不是潘多拉盒子里的怪獸只要放出就不受控制，不需要擔心存儲太少，硬碟真要是存滿了，程序會報錯並停止運行，所以不必擔心會爆掉。

5. 網路爬蟲 威脅

威脅主要是流量方面，包括爬蟲的訪問以及搜索引擎被使用帶來的實際用戶訪問。

對網站有好有壞，不好的地方會增加網站的訪問負荷；好的地方也是增加了訪問流量，如果搜索引擎收錄了你的網站，你的網站的流量會增加，也就是有更多的用戶訪問量。

你想讓更多用戶知道的話，就允許網路爬蟲，如果需要防止的話，就需要監測網站，把一些不良網路爬蟲的給堵止掉，一般是封IP。

6. 百度爬蟲病毒是什麼怎樣才能清除

網路爬蟲是一個自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁，是搜索引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件，聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析演算法過濾與主題無關的鏈接，保留有用的鏈接並將其放入等待抓取的URL隊列。然後，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，並重復上述過程，直到達到系統的某一條件時停止，另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索；對於聚焦爬蟲來說，這一過程所得到的分析結果還可能對以後的抓取過程給出反饋和指導。 如果你的網站要被網路搜索引擎收集，必須要讓網路爬蟲來搜索。

7. 下面的這一段爬蟲為什麼會出錯

建議可以使用selenium 實現自動輸入密碼賬號登陸，然後進行爬取

採取一下回答 我也是python的愛好者，大家可以交流交流 這是我自己寫的一個豆瓣自動頂貼的 利用的就是selenium自動登陸 然後進行一系列操作

8. 為什麼的我的python爬蟲結果會有如下的代碼，請前輩們不吝賜教

比如5101就是一級科目，5101.16就是明細科目，如果下級還有科目系統不會 讓你選擇上級組科目的，說明你這些科目就是明細科目了

9. python爬蟲怎麼會違法，要是不小心幫了不法分子抓了數據，不法分子被抓自己會受牽連嗎，還有

你時刻知道自己在做什麼就好了。
robots.txt 說到底也是君子協議，一般相當多的網站都只允許搜索引擎爬取頁面。如果你要遵守君子協議——沒什麼不好——但只恐怕寸步難行。
爬蟲本質上和你訪問網頁沒什麼不同。當爬蟲和人的行為沒什麼不同的時候網站根本就分不清你是用爬蟲訪問還是人為訪問了。說到底，當訪問頻率太快的時候根本就不是人的行為了。
用爬蟲來縮短自己獲得目標數據的時間，這是十分正常的事。但是如果自己的爬蟲拖垮別人的網站，這是不道德的。
爬蟲說到底只是一個工具，就像是一把刀。好壞取決於使用者，而不在於工具本身。

10. 伺服器上的爬蟲為什麼就會被目標網站識別出來

網站會通過以下幾個方面來識別對方是爬蟲還是真實用戶，讓我們一起來看看吧。

一、單一IP非常規的訪問頻次
我們經常會遇到這樣一種情況，提示「刷新頻率過快，請歇一會」，這都是網站為了緩解壓力才對「用戶」作出的限制。而爬蟲相對於真實用戶來說訪問的頻次更快，如果單一IP訪問頻次非常高，那麼將會被判為「爬蟲」，進而受到限制。

二、單一IP非常規的數據流量
當單一IP的數據流量非常大時，也會引起網站的注意。說到數據流量有些朋友就會有疑問了，下載站的數據流量大也是很正常的。這里說的數據流量不只是單一的下載數據流量，而是大量的並發請求。高並發請求很容易對伺服器造成高負荷，所以受到限制也是很正常的。為了避免這個因這個原因被封可以用個ip池量大的http比如ipidea每日覆蓋全球的ip資源。

三、headers頭部校驗
除了上面比較明顯的爬蟲行為，網站還會校驗headers。headers頭部的參數很多，其實也容易偽裝，但有些初學者往往會忽略。比較常見的是User-Agent、Referer這兩個參數，不同的瀏覽器有不同的User-Agent，訪問來源也各不相同，如果不注意的話，很容易被識別。

四、鏈接
我們知道，爬蟲爬取頁面時，會識別頁面中所有的URL地址去爬取，特別是一些沒有明確目標的爬蟲。有的網站會將一些鏈接放在CSS里或者JS里，這些鏈接正常用戶是不會去訪問的，它們就相當於陷進，作用是釣出爬蟲，一不小心就容易中招。

以上是比較常見的識別爬蟲的手段，要想不被目標網站這么快識別，就要有效的規避這幾點，做好爬蟲策略，當然反爬手段遠遠不止這些，這就需要好好研究了。