zblog插件网

【蜘蛛蜘蛛蜘蛛】 搜索引擎蜘蛛大全 网站蜘蛛样本 bot spider 垃圾蜘蛛 屏蔽蜘蛛

zblog1年前zblog问题解答110 
蜘蛛样本

bingbot PetalBot Amazonbot  BLEXBot  MJ12bot 
Googlebot DotBot BacklinksExtendedBot GPTBot AhrefsBot facebookexternalhit Applebot Orbbot Pandalytics serpstatbot
l9explore panscient YisouSpider Bytespider

python-requests BitSightBot “Sogou web spider” fluid Baiduspider-render Baiduspider


360Spider iaskspider
 
PetalBot

114.119.159.62 - - [26/Mar/2025:17:28:07 +0800] "GET /vplayer/6098-0-146.html HTTP/1.1" 200 17769 "https://www.1111111.com/vplayer/6098-1-146.html" "Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)"


114.119.158.45 - - [26/Mar/2025:12:52:28 +0800] "GET /detail/33194.html HTTP/1.1" 200 10975 "http://www.sychuangde.com/vodshow/jq----%E5%85%B6%E5%AE%83----3---2019.html" "Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)"


61.130.144.159 - - [27/Mar/2025:01:35:56 +0800] "GET /xmlrpc.php HTTP/1.1" 404 548 "http://www.zbkcy.com" "Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)"

360Spider 
42.236.17.56 - - [26/Mar/2025:13:40:13 +0800] "GET / HTTP/1.1" 200 21912 "http://111.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider" （疑似造假）

Baiduspider-render
116.179.37.227 - - [27/Mar/2025:03:06:20 +0800] "GET / HTTP/1.1" 200 23001 "-" "Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)"

Baiduspider
220.181.108.146 - - [27/Mar/2025:03:06:20 +0800] "GET / HTTP/1.1" 200 21296 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +


Baiduspider移动UA：

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

或

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)


Baiduspider PC UA：

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

或

Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)


Baiduspider  小程序UA：

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

 


fluid
167.253.34.3 - - [27/Mar/2025:07:10:42 +0800] "GET /robots.txt HTTP/1.0" 200 362 "-" "Mozilla/4.0 (compatible; fluid/0.0; +http://www.leak.info/bot.html)"

BitSightBot
185.117.225.15 - - [26/Mar/2025:23:13:09 +0800] "GET / HTTP/1.1" 200 22696 "-" "Mozilla/5.0 (compatible; BitSightBot/1.0)"

Sogou web spider
223.109.252.153 - - [26/Mar/2025:17:14:35 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"

python-requests
185.117.225.15 - - [26/Mar/2025:23:13:08 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "python-requests/2.31.0"

Bytespider
111.225.149.62 - - [27/Mar/2025:03:03:45 +0800] "GET /vodshow/dalu-%E7%BE%8E%E5%9B%BD----R------2015.html HTTP/1.1" 200 5992 "-" "Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)"

YisouSpider
106.8.131.93 - - [27/Mar/2025:03:03:27 +0800] "GET /vodshow/jieshuo----%E6%97%A5%E8%AF%AD-K------.html HTTP/1.1" 200 7663 "-" "YisouSpider"


panscient
84.239.37.18 - - [27/Mar/2025:02:38:23 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "panscient.com"

l9explore
45.148.10.35 - - [27/Mar/2025:01:34:06 +0800] "GET /staging/.git/config HTTP/1.1" 200 121 "-" "l9explore/1.2.2"

serpstatbot
136.243.212.110 - - [26/Mar/2025:22:23:34 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "serpstatbot/2.1 (advanced backlink tracking bot; https://serpstatbot.com/; abuse@serpstatbot.com)"

Pandalytics
54.170.187.157 - - [26/Mar/2025:22:00:41 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Pandalytics/2.0 (https://domainsbot.com/pandalytics/)"

Orbbot
35.221.4.163 - - [26/Mar/2025:20:59:59 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 (compatible; Orbbot/1.1;)"

Applebot
17.241.219.88 - - [26/Mar/2025:20:20:37 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)"

facebookexternalhit
173.252.83.3 - - [26/Mar/2025:18:17:43 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)"

AhrefsBot
51.222.253.3 - - [26/Mar/2025:14:34:18 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)"

GPTBot
4.227.36.19 - - [26/Mar/2025:13:48:49 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)"

BacklinksExtendedBot
185.170.167.18 - - [26/Mar/2025:13:26:38 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 (compatible; BacklinksExtendedBot)"

DotBot
216.244.66.234 - - [26/Mar/2025:12:59:42 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)"

BLEXBot	
135.181.166.58 - - [26/Mar/2025:12:51:57 +0800] "GET /ajgyb_344_345 HTTP/1.1" 200 121 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +https://help.seranking.com/en/blex-crawler)"

Amazonbot	
184.73.239.35 - - [26/Mar/2025:12:52:05 +0800] "GET /vodshow/kh-%E6%B3%95%E5%9B%BD-time-%E9%9D%92%E6%98%A5-%E6%97%A5%E8%AF%AD-G------.html HTTP/1.1" 200 6984 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Chrome/119.0.6045.214 Safari/537.36"

MJ12bot	
65.108.0.71 - - [26/Mar/2025:12:52:17 +0800] "GET /robots.txt HTTP/1.0" 444 0 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)"

bingbot	
207.46.13.51 - - [26/Mar/2025:12:52:24 +0800] "GET /home/69209534.html HTTP/1.1" 200 121 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36"



Googlebot

66.249.69.98 - - [26/Mar/2025:12:59:31 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"


垃圾蜘蛛列表

Amazonbot
dotbot
claudebot
ClaudeBot
Googlebot
AhrefsBot
externalagent
developers.facebook.com
developer.amazon.com
dataforseo.com
DataForSeoBot
webmeup-crawler.com
BLEXBot
ahrefs.com
openai.com
GPTBot
AwarioBot
awario.com
dataforseo
dataforseo-bot
blex-crawler
MJ12bot
mj12bot.com
serpstatbot
PetalBot

# 头条
toutiao
Bytespider
zhanzhang.toutiao.com


返回列表

上一篇：python 定时任务 计划任务 宝塔python 项目 宝塔python配置

下一篇：IDE爆红问题 PHP注释 php Doc注释

相关文章

http？https？相对协议？ // 相对协议 相对协议的主要作用是根据当前页面的协议（HTTP或HTTPS）来自动选择使用哪个协议来加载资源。

http？https？相对协议？ // 相对协议 相对协议的主要作用是根据当前页面的协议（HTTP或HTTPS）来自动选择使用哪个协议来加载资源。

相对协议的主要作用是根据当前页面的协议（HTTP或HTTPS）来自动选择使用哪个协议来加载资源。当你在HTML中使用一个以//开头的URL时，浏览器会检查当前页面是通过HTTP还是HTTPS加载的，并...

zblog的 $this->lang['msg']['operation_failed']，lang到底都配置什么？在哪里查看？都有哪些值？zblog语言包

zblog的 $this->lang['msg']['operation_failed']，lang到底都配置什么？在哪里查看？都有哪些值？zblog语言包

在上一篇文章《zblog函数ShowHint('good')中good是怎么来的？允许哪些，不允许哪些？》源码中有一个 $content = $this->lang[&...

zblog发（更新）文章写表 关于ID 骚操作 更新ID 修改ID

zb_system/function/lib/base.php 的 Save() 函数 接口 Filter_Plugin_Post_Save ...

php exlpode 字符串转数组函数（普通字符串 分割 + 正则表达式 分割）

============普通字符串 分割explode() 函数是 PHP 中的一个非常实用的字符串处理函数，它的作用是将一个字符串按照指定的分隔符分割成数组。这个函数经常用于处理 CSV 文件、UR...

bin2hex 函数 php 将二进制数据转换为十六进制表示的字符串。

在PHP中，bin2hex 函数用于将二进制数据转换为十六进制表示的字符串。这个函数非常有用，尤其是在处理二进制数据并需要将其以人类可读的格式输出或存储时。函数原型如下：php复制代码str...

盗版宝塔如何升级正版

先参考  http://zblog.gongshi5.com/post/65.html root  16 大概率不行宝塔bt命令失效如何修复面板2024-01-05 16...

zblog插件网 Copyright zblog.gongshi5.com zblog插件网 .All Rights Reserved.

Powered By Z-BlogPHP. Theme by TOYEAN.