爬虫会感染虚拟机挖矿病毒

1. 我把非常微小的小爬虫子吃了，会不会有病啊

应该问题不大，到了胃里面会被胃酸杀死的。但是尽量不要吃活的以及不熟悉的东西，说不定哪种动物对身体会有损伤。

2. 用太阳HTTP做爬虫抓取，会不会有被封号的危险

提供代理IP，这样就不会被封了。

3. 可以用爬虫来获取一些网站的内容，那么一些网站会做反爬虫程序么难做么会对搜索引擎造成什么影响

正规情况下可以用robots协议阻止搜索引擎爬取网站
但并不是所有的搜索引擎都遵循robots协议(某些知名搜索引擎也不遵守，该协议不是强制遵循的)
一般反爬虫的程序最简单的方法就是通过UserAgent识别爬虫，但并不是所有爬虫都有明确的UserAgent，还有些不知名的搜索引擎不设置自己独有的UserAgent，同时UserAgent也可以被任意的伪造，所以并不能保证完全过滤一些爬虫。
为了更进一步识别爬虫，只能通过限制某个IP的访问，如果IP在变化也很难阻止其爬行，仅能根据一些访问行为进行分析是否为爬虫自动抓取，如果是爬虫，则可以用一个403返回码阻止网页的显示。这样搜索引擎抓到的页面都是403错误页面，具体内容无法抓取。
如果有人专门想要抓取你的网站内容，它可以专门定制一种策略来想办法模拟人工访问，很难做到彻底阻止。

4. 开始使用爬虫技术后，这个爬虫不会是对全球网络进行抓取吧。而我存储太少，会不会爆了

使用爬虫技术需要提前设置爬虫爬取的入口，也就是起始网址，在信息爬取过程中可以对爬取的内容数量、信息收集规则进行限定，你想要爬取多少内容要看爬虫能收集到多少网址，理论上爬虫是可以对全球网络进行抓取的，但操作起来不现实，而且没人会这么做，爬虫不是潘多拉盒子里的怪兽只要放出就不受控制，不需要担心存储太少，硬盘真要是存满了，程序会报错并停止运行，所以不必担心会爆掉。

5. 网络爬虫 威胁

威胁主要是流量方面，包括爬虫的访问以及搜索引擎被使用带来的实际用户访问。

对网站有好有坏，不好的地方会增加网站的访问负荷；好的地方也是增加了访问流量，如果搜索引擎收录了你的网站，你的网站的流量会增加，也就是有更多的用户访问量。

你想让更多用户知道的话，就允许网络爬虫，如果需要防止的话，就需要监测网站，把一些不良网络爬虫的给堵止掉，一般是封IP。

6. 百度爬虫病毒是什么怎样才能清除

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件，聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止，另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。 如果你的网站要被网络搜索引擎收集，必须要让网络爬虫来搜索。

7. 下面的这一段爬虫为什么会出错

建议可以使用selenium 实现自动输入密码账号登陆，然后进行爬取

采取一下回答 我也是python的爱好者，大家可以交流交流 这是我自己写的一个豆瓣自动顶贴的 利用的就是selenium自动登陆 然后进行一系列操作

8. 为什么的我的python爬虫结果会有如下的代码，请前辈们不吝赐教

比如5101就是一级科目，5101.16就是明细科目，如果下级还有科目系统不会 让你选择上级组科目的，说明你这些科目就是明细科目了

9. python爬虫怎么会违法，要是不小心帮了不法分子抓了数据，不法分子被抓自己会受牵连吗，还有

你时刻知道自己在做什么就好了。
robots.txt 说到底也是君子协议，一般相当多的网站都只允许搜索引擎爬取页面。如果你要遵守君子协议——没什么不好——但只恐怕寸步难行。
爬虫本质上和你访问网页没什么不同。当爬虫和人的行为没什么不同的时候网站根本就分不清你是用爬虫访问还是人为访问了。说到底，当访问频率太快的时候根本就不是人的行为了。
用爬虫来缩短自己获得目标数据的时间，这是十分正常的事。但是如果自己的爬虫拖垮别人的网站，这是不道德的。
爬虫说到底只是一个工具，就像是一把刀。好坏取决于使用者，而不在于工具本身。

10. 服务器上的爬虫为什么就会被目标网站识别出来

网站会通过以下几个方面来识别对方是爬虫还是真实用户，让我们一起来看看吧。

一、单一IP非常规的访问频次
我们经常会遇到这样一种情况，提示“刷新频率过快，请歇一会”，这都是网站为了缓解压力才对“用户”作出的限制。而爬虫相对于真实用户来说访问的频次更快，如果单一IP访问频次非常高，那么将会被判为“爬虫”，进而受到限制。

二、单一IP非常规的数据流量
当单一IP的数据流量非常大时，也会引起网站的注意。说到数据流量有些朋友就会有疑问了，下载站的数据流量大也是很正常的。这里说的数据流量不只是单一的下载数据流量，而是大量的并发请求。高并发请求很容易对服务器造成高负荷，所以受到限制也是很正常的。为了避免这个因这个原因被封可以用个ip池量大的http比如ipidea每日覆盖全球的ip资源。

三、headers头部校验
除了上面比较明显的爬虫行为，网站还会校验headers。headers头部的参数很多，其实也容易伪装，但有些初学者往往会忽略。比较常见的是User-Agent、Referer这两个参数，不同的浏览器有不同的User-Agent，访问来源也各不相同，如果不注意的话，很容易被识别。

四、链接
我们知道，爬虫爬取页面时，会识别页面中所有的URL地址去爬取，特别是一些没有明确目标的爬虫。有的网站会将一些链接放在CSS里或者JS里，这些链接正常用户是不会去访问的，它们就相当于陷进，作用是钓出爬虫，一不小心就容易中招。

以上是比较常见的识别爬虫的手段，要想不被目标网站这么快识别，就要有效的规避这几点，做好爬虫策略，当然反爬手段远远不止这些，这就需要好好研究了。