zblog插件网

【蜘蛛蜘蛛蜘蛛】 搜索引擎蜘蛛大全 网站蜘蛛样本 bot spider 垃圾蜘蛛 屏蔽蜘蛛

zblog9个月前zblog问题解答98 
蜘蛛样本

bingbot PetalBot Amazonbot  BLEXBot  MJ12bot 
Googlebot DotBot BacklinksExtendedBot GPTBot AhrefsBot facebookexternalhit Applebot Orbbot Pandalytics serpstatbot
l9explore panscient YisouSpider Bytespider

python-requests BitSightBot “Sogou web spider” fluid Baiduspider-render Baiduspider


360Spider iaskspider
 
PetalBot

114.119.159.62 - - [26/Mar/2025:17:28:07 +0800] "GET /vplayer/6098-0-146.html HTTP/1.1" 200 17769 "https://www.1111111.com/vplayer/6098-1-146.html" "Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)"


114.119.158.45 - - [26/Mar/2025:12:52:28 +0800] "GET /detail/33194.html HTTP/1.1" 200 10975 "http://www.sychuangde.com/vodshow/jq----%E5%85%B6%E5%AE%83----3---2019.html" "Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)"


61.130.144.159 - - [27/Mar/2025:01:35:56 +0800] "GET /xmlrpc.php HTTP/1.1" 404 548 "http://www.zbkcy.com" "Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)"

360Spider 
42.236.17.56 - - [26/Mar/2025:13:40:13 +0800] "GET / HTTP/1.1" 200 21912 "http://111.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider" （疑似造假）

Baiduspider-render
116.179.37.227 - - [27/Mar/2025:03:06:20 +0800] "GET / HTTP/1.1" 200 23001 "-" "Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)"

Baiduspider
220.181.108.146 - - [27/Mar/2025:03:06:20 +0800] "GET / HTTP/1.1" 200 21296 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +


Baiduspider移动UA：

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

或

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)


Baiduspider PC UA：

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

或

Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)


Baiduspider  小程序UA：

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

 


fluid
167.253.34.3 - - [27/Mar/2025:07:10:42 +0800] "GET /robots.txt HTTP/1.0" 200 362 "-" "Mozilla/4.0 (compatible; fluid/0.0; +http://www.leak.info/bot.html)"

BitSightBot
185.117.225.15 - - [26/Mar/2025:23:13:09 +0800] "GET / HTTP/1.1" 200 22696 "-" "Mozilla/5.0 (compatible; BitSightBot/1.0)"

Sogou web spider
223.109.252.153 - - [26/Mar/2025:17:14:35 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"

python-requests
185.117.225.15 - - [26/Mar/2025:23:13:08 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "python-requests/2.31.0"

Bytespider
111.225.149.62 - - [27/Mar/2025:03:03:45 +0800] "GET /vodshow/dalu-%E7%BE%8E%E5%9B%BD----R------2015.html HTTP/1.1" 200 5992 "-" "Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)"

YisouSpider
106.8.131.93 - - [27/Mar/2025:03:03:27 +0800] "GET /vodshow/jieshuo----%E6%97%A5%E8%AF%AD-K------.html HTTP/1.1" 200 7663 "-" "YisouSpider"


panscient
84.239.37.18 - - [27/Mar/2025:02:38:23 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "panscient.com"

l9explore
45.148.10.35 - - [27/Mar/2025:01:34:06 +0800] "GET /staging/.git/config HTTP/1.1" 200 121 "-" "l9explore/1.2.2"

serpstatbot
136.243.212.110 - - [26/Mar/2025:22:23:34 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "serpstatbot/2.1 (advanced backlink tracking bot; https://serpstatbot.com/; abuse@serpstatbot.com)"

Pandalytics
54.170.187.157 - - [26/Mar/2025:22:00:41 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Pandalytics/2.0 (https://domainsbot.com/pandalytics/)"

Orbbot
35.221.4.163 - - [26/Mar/2025:20:59:59 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 (compatible; Orbbot/1.1;)"

Applebot
17.241.219.88 - - [26/Mar/2025:20:20:37 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)"

facebookexternalhit
173.252.83.3 - - [26/Mar/2025:18:17:43 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)"

AhrefsBot
51.222.253.3 - - [26/Mar/2025:14:34:18 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)"

GPTBot
4.227.36.19 - - [26/Mar/2025:13:48:49 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)"

BacklinksExtendedBot
185.170.167.18 - - [26/Mar/2025:13:26:38 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 (compatible; BacklinksExtendedBot)"

DotBot
216.244.66.234 - - [26/Mar/2025:12:59:42 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)"

BLEXBot	
135.181.166.58 - - [26/Mar/2025:12:51:57 +0800] "GET /ajgyb_344_345 HTTP/1.1" 200 121 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +https://help.seranking.com/en/blex-crawler)"

Amazonbot	
184.73.239.35 - - [26/Mar/2025:12:52:05 +0800] "GET /vodshow/kh-%E6%B3%95%E5%9B%BD-time-%E9%9D%92%E6%98%A5-%E6%97%A5%E8%AF%AD-G------.html HTTP/1.1" 200 6984 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Chrome/119.0.6045.214 Safari/537.36"

MJ12bot	
65.108.0.71 - - [26/Mar/2025:12:52:17 +0800] "GET /robots.txt HTTP/1.0" 444 0 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)"

bingbot	
207.46.13.51 - - [26/Mar/2025:12:52:24 +0800] "GET /home/69209534.html HTTP/1.1" 200 121 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36"



Googlebot

66.249.69.98 - - [26/Mar/2025:12:59:31 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"


垃圾蜘蛛列表

Amazonbot
dotbot
claudebot
ClaudeBot
Googlebot
AhrefsBot
externalagent
developers.facebook.com
developer.amazon.com
dataforseo.com
DataForSeoBot
webmeup-crawler.com
BLEXBot
ahrefs.com
openai.com
GPTBot
AwarioBot
awario.com
dataforseo
dataforseo-bot
blex-crawler
MJ12bot
mj12bot.com
serpstatbot
PetalBot

# 头条
toutiao
Bytespider
zhanzhang.toutiao.com


返回列表

上一篇：python 定时任务 计划任务 宝塔python 项目 宝塔python配置

下一篇：IDE爆红问题 PHP注释 php Doc注释

相关文章

php文件名字 去掉特殊字符 zblog实现

FormatString($article->Title, '[filename]') zb_system/function/c_system_common.ph...

宝塔mysql重启 service mysql restart

宝塔mysql重启 service mysql restart

service mysql restart...

HTTP 错误 413.1 - Request Entity Too Large未显示页面，因为请求实体过大。Web 服务器拒绝为请求提供服务，因为该请求实体过大。

HTTP 错误 413.1 - Request Entity Too Large未显示页面，因为请求实体过大。最可能的原因:Web 服务器拒绝为请求提供服务，因为该请求实体过大。Web 服务器无法为请...

Call to undefined function xnxf()zblog提示“可能的错误原因提示或500网络错误”时排查错误的方法

Call to undefined function xnxf()zblog提示“可能的错误原因提示或500网络错误”时排查错误的方法

很多时候都有可能遇到《错误提示》这类的提示，产生这个错误的原因一般来说都是服务端报错，如下图准备工作：1、进入后台，在网站设置的全局设置里，打开调试模式。2、如果不能进后台，那就用ftp连进网站，编辑...

ucs-4 这是啥编码 mb_convert_encoding($content, 'ucs-4', 'utf-8') 啥意思

UCS-4 是一种Unicode字符编码形式，全称为 Universal Character Set - 4 bytes。它是Unicode标准的一种实现，其中每个字符都使用4个字...

Nginx规则 重定向

location ~* /show/.*\.(?:jpg|webp) {   rewrite ^/show/(.*)$ /$1&...

zblog插件网 Copyright zblog.gongshi5.com zblog插件网 .All Rights Reserved.

Powered By Z-BlogPHP. Theme by TOYEAN.