<span id="6l005"><sup id="6l005"></sup></span>

      <span id="6l005"></span><ol id="6l005"><tbody id="6l005"><noscript id="6l005"></noscript></tbody></ol>

      1. <acronym id="6l005"><sup id="6l005"></sup></acronym>

        <acronym id="6l005"></acronym>

          1. <ruby id="6l005"></ruby><ruby id="6l005"></ruby>

            1. <ol id="6l005"><output id="6l005"></output></ol>

              <track id="6l005"><em id="6l005"></em></track>

            2. <optgroup id="6l005"></optgroup>

              1. <track id="6l005"><em id="6l005"></em></track>

                <span id="6l005"></span>
              2. <ol id="6l005"><output id="6l005"><nav id="6l005"></nav></output></ol>

                <acronym id="6l005"></acronym>

                  <optgroup id="6l005"></optgroup>

                  <span id="6l005"></span>

                1. <optgroup id="6l005"></optgroup>
                  <optgroup id="6l005"><em id="6l005"></em></optgroup>

                  網絡營銷
                  當前位置:首頁 >> 新聞資訊 >> 網絡營銷 >> 常見的網絡爬蟲有哪些 標識是什么?
                  常見的網絡爬蟲有哪些 標識是什么?
                  發布日期:2023-01-30 16:26:31 閱讀次數:5151 字體大?。?a href="javascript:;" onClick="ChangeFontSize('content',18)">大

                  1 serpstatbot 爬蟲

                  UserAgent 信息為:
                      serpstatbot/2.1 (advanced backlink tracking bot; https://serpstatbot.com/; abuse@serpstatbot.com)

                  ip地址:5.9.55.228

                  這是一家國外的網絡爬蟲工具,會抓取我們網站的SEO信息。官方介紹說,如果不想被serpstatbot抓取,可以在根目錄下創建robots.txt 文件。在文件中填寫。

                  User-agent: serpstatbot
                  Disallow: /

                  那么這個爬蟲就不會再訪問我們的網站了

                  官網為:https://serpstatbot.com/

                  2 bing 爬蟲

                  UserAgent 信息為:
                        Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/103.0.5060.134 Safari/537.36
                  或:
                        Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

                  ip地址:157.55.39.80,157.55.39.201

                  這個是Bing搜索的官方爬蟲

                  3 阿里云態勢感知

                  UserAgent信息為:
                      Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.6.2333.33 Safari/537.36 AliyunTaiShiGanZhi https://www.aliyun.com/product/sas

                  可以屏蔽訪問,通過屏蔽:47.110.180.0/224 屏蔽這個網段。

                  4 Google 爬蟲

                  UserAgent信息為:
                        Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html),Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.5304.110 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

                  ip地址為:66.249.77.63 ,66.249.77.34

                  5 百度爬蟲

                  UserAgent信息為:
                      Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

                  ip地址為:116.179.32.109,220.181.108.91,116.179.37.*

                  百度的蜘蛛類型比較多,之間有差異,有小程序的、電腦端的、移動端的,還有渲染的;IP地址也很多,不過國內基本上沒有人會屏蔽百度蜘蛛吧(大概都不會)

                  6 SeznamBot 爬蟲

                  UserAgent信息:
                      Mozilla/5.0 (compatible; SeznamBot/3.2; +http://napoveda.seznam.cz/en/seznambot-intro/),Mozilla/5.0 (compatible; SeznamBot/4.0-RC1; +http://napoveda.seznam.cz/seznambot-intro/)

                  ip地址為:77.75.76.166,77.75.79.31

                  和serpostatbot一樣,屬于國外的爬蟲工具,可以屏蔽。

                  7 YisouSpider 爬蟲

                  UserAgent:
                      Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36

                  ip地址為: 101.67.49.72,39.173.105.172,60.188.10.170,101.67.49.191 ,112.13.112.104,112.13.112.139等信息。

                  這個是神馬搜索的爬蟲。

                  8 頭條爬蟲

                  今日頭條的爬蟲信息。

                  UserAgent:
                      Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181;Bytespider;https://zhanzhang.toutiao.com/ 
                  或者
                      Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)

                  ip地址為:110.249.202.37 ,111.225.148.58

                  9 PetalBot 爬蟲

                  這個是華為花瓣搜索爬蟲。

                  UserAgent:
                      Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)

                  Ip地址為:114.119.159.226,114.119.153.191

                  10 YandexBot 爬蟲

                  這個是俄羅斯Yandex搜索引擎的爬蟲工具。

                  UserAgent:
                      Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

                  IP地址為:5.255.253.111

                  遵守:robots協議  要是不做外貿的話,可以屏蔽掉

                  11 AhrefsBot 爬蟲

                  國外營銷網站爬蟲??梢云帘蔚?/p>

                  UserAgent:
                      Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)

                  IP地址為:51.222.253.2,51.222.253.6

                  遵守:robots協議 可以屏蔽掉

                  12 Expanse 掃描

                  Palo Alto Networks公司旗下的Expanse 會通過ip地址掃描我們的服務器

                  UserAgent:
                      Expanse, a Palo Alto Networks company, searches across the global IPv4 space multiple times per day to identify customers&#39; presences on the Internet. If you would like to be excluded from our scans, please send IP addresses/domains to: scaninfo@paloaltonetworks.com

                  ip地址為:205.210.31.132,198.235.24.29

                  好像沒啥用,國內用戶可以屏蔽掉

                  13 Sogou 爬蟲

                  UserAgent:
                      Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

                  IP地址為:58.250.125.82

                  哎 已經半死不活了,可以不用管它,也可以屏蔽掉

                  14 MJ12Bot 爬蟲

                  國外的SEO分析爬蟲,和SemrushBot類似。我們如果不面對國外客戶。完全可以屏蔽。

                  UserAgent:
                      Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)

                  ip地址為:173.212.245.225

                  特別說明:

                  1.以上只是部分爬蟲, 還有很多這里沒有做太多展示。

                  2.上面的Ip地址僅供參考。因為ip地址可以變動。


                  文章標簽:
                  国产日韩欧美中文字幕|亚洲一区无码哀羞在线|91麻豆国产语对白在线观看|久久精品不卡一区二区三区