近年来，“网络爬虫”作为一种能快速精准地获取数据信息的基础性网络技术，得到了越来越多的青睐和应用。那么它到底是一个什么东东呢？

“网络爬虫”到底是个啥？

      “网络爬虫”又称为“网页蜘蛛”，它是一种按照一定的规则，自动地抓取万维网（无数个网络站点和网页的集合）信息的程序或者脚本。

      爬虫作为搜索引擎的核心部件，大多用于整合收集万维网（无数个网络站点和网页的集合）上承载的大量信息，这类爬虫会遵循网站与爬虫之间的“君子协议”-robots.txt文件，网站通过robots协议告知爬虫可抓取的页面。遵循“君子协议”且以合理频率爬取网站内容的爬虫被称为“善意爬虫。”

是“益”虫也是“害”虫！

      但随着信息爆炸时代的到来，数据信息的重要性与日俱增，灰黑产业链催生出大量的不遵循“君子协议”的“恶意爬虫”。如节假日时段，抢票爬虫恶意爬取出行网站数据，进行大量抢票。

      公考查分时段，爬取当地政府查分网站使考生无法正常查分，随后通过提升虚假查分网站的权值，诱使考生在本站查询分数，从而窃取考生的考试成绩信息与身份信息。

      并且有大量、反复、且高频率爬取电商网站攫取他人商品数据进行不正当竞争等。这类“恶意爬虫”大多具备高频率高并发的特性，近乎于DDoS攻击的请求频率会影响正常用户的访问体验甚至使服务器宕机。

      网络爬虫合法性的讨论仍然存在，情况也比较复杂。目前许多问题还处于模糊地带。然而，可以肯定的是，只要有互联网，就会有网络爬虫。只有网络爬虫让体量巨大的互联网变得可以搜索，使爆炸式增长的互联网变得更加容易访问和获取，在可预见的未来，互联网爬虫技术将继续得到发展。

      但是对于网站的运维人员来说，他们对爬虫来说是又爱又恨，既希望善意爬虫为自家站点增加曝光度，又不希望恶意爬虫天天过来找麻烦。故在区分人为访问和爬虫访问的基础上，进一步辨别善恶爬虫成为解决爬虫困扰的关键。

天融信WAF惩“恶”除“奸”啦~

      此时，一位名为天融信Web应用防火墙系统（TopWAF）的靓仔低调路过。对于解决恶意爬虫危害，他有何妙招呢？

      首先，TopWAF内置完备爬虫防护规则，同时支持自定义爬虫指纹，结合智能攻击检测引擎，可精准识别当前流行通用的爬虫核心指纹。

      其次，TopWAF可导入Web站点的“君子协议”-robots.txt文件，快速区分正常爬虫与恶意爬虫。针对符合robots.txt的爬虫程序可任其按照网站的要求进行部分内容抓取，对于不符合协议的恶意爬虫，TopWAF进行即时阻断，降低网站带宽负担，防止恶意爬虫程序导致站点系统瘫痪。

网络安全保障工作,疫情期间单位网络安全保障要求,防止重大网络安全事件,大连企业加强信息安全和网络数据保护,企事业单位网络安全支撑保障,疫情防控期间的网络安全保障工作要求

网络安全,物理安全,系统安全,大连网络安全,大连网域网络安全设备,网络设备管理,安全管理,大连网络设备物理安全,大连网络安全审查,操作系统安全,大连网络安全扫描,网络安全隐患,大连网络设备物理安全管理,WEB安全防护,IPS,大连下一代防火墙,DDOS攻击,7层流量控制,僵尸网络防护,大连数据库安全,漏洞保护,安全隔离,大连访问控制,安全访问,应用识别与控制,网络安全