zblog插件网

【蜘蛛蜘蛛蜘蛛】 搜索引擎蜘蛛大全 网站蜘蛛样本 bot spider 垃圾蜘蛛 屏蔽蜘蛛

zblog1年前zblog问题解答138 
蜘蛛样本

bingbot PetalBot Amazonbot  BLEXBot  MJ12bot 
Googlebot DotBot BacklinksExtendedBot GPTBot AhrefsBot facebookexternalhit Applebot Orbbot Pandalytics serpstatbot
l9explore panscient YisouSpider Bytespider

python-requests BitSightBot “Sogou web spider” fluid Baiduspider-render Baiduspider


360Spider iaskspider
 
PetalBot

114.119.159.62 - - [26/Mar/2025:17:28:07 +0800] "GET /vplayer/6098-0-146.html HTTP/1.1" 200 17769 "https://www.1111111.com/vplayer/6098-1-146.html" "Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)"


114.119.158.45 - - [26/Mar/2025:12:52:28 +0800] "GET /detail/33194.html HTTP/1.1" 200 10975 "http://www.sychuangde.com/vodshow/jq----%E5%85%B6%E5%AE%83----3---2019.html" "Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)"


61.130.144.159 - - [27/Mar/2025:01:35:56 +0800] "GET /xmlrpc.php HTTP/1.1" 404 548 "http://www.zbkcy.com" "Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)"

360Spider 
42.236.17.56 - - [26/Mar/2025:13:40:13 +0800] "GET / HTTP/1.1" 200 21912 "http://111.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider" （疑似造假）

Baiduspider-render
116.179.37.227 - - [27/Mar/2025:03:06:20 +0800] "GET / HTTP/1.1" 200 23001 "-" "Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)"

Baiduspider
220.181.108.146 - - [27/Mar/2025:03:06:20 +0800] "GET / HTTP/1.1" 200 21296 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +


Baiduspider移动UA：

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

或

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)


Baiduspider PC UA：

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

或

Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)


Baiduspider  小程序UA：

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

 


fluid
167.253.34.3 - - [27/Mar/2025:07:10:42 +0800] "GET /robots.txt HTTP/1.0" 200 362 "-" "Mozilla/4.0 (compatible; fluid/0.0; +http://www.leak.info/bot.html)"

BitSightBot
185.117.225.15 - - [26/Mar/2025:23:13:09 +0800] "GET / HTTP/1.1" 200 22696 "-" "Mozilla/5.0 (compatible; BitSightBot/1.0)"

Sogou web spider
223.109.252.153 - - [26/Mar/2025:17:14:35 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"

python-requests
185.117.225.15 - - [26/Mar/2025:23:13:08 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "python-requests/2.31.0"

Bytespider
111.225.149.62 - - [27/Mar/2025:03:03:45 +0800] "GET /vodshow/dalu-%E7%BE%8E%E5%9B%BD----R------2015.html HTTP/1.1" 200 5992 "-" "Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/)"

YisouSpider
106.8.131.93 - - [27/Mar/2025:03:03:27 +0800] "GET /vodshow/jieshuo----%E6%97%A5%E8%AF%AD-K------.html HTTP/1.1" 200 7663 "-" "YisouSpider"


panscient
84.239.37.18 - - [27/Mar/2025:02:38:23 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "panscient.com"

l9explore
45.148.10.35 - - [27/Mar/2025:01:34:06 +0800] "GET /staging/.git/config HTTP/1.1" 200 121 "-" "l9explore/1.2.2"

serpstatbot
136.243.212.110 - - [26/Mar/2025:22:23:34 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "serpstatbot/2.1 (advanced backlink tracking bot; https://serpstatbot.com/; abuse@serpstatbot.com)"

Pandalytics
54.170.187.157 - - [26/Mar/2025:22:00:41 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Pandalytics/2.0 (https://domainsbot.com/pandalytics/)"

Orbbot
35.221.4.163 - - [26/Mar/2025:20:59:59 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 (compatible; Orbbot/1.1;)"

Applebot
17.241.219.88 - - [26/Mar/2025:20:20:37 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)"

facebookexternalhit
173.252.83.3 - - [26/Mar/2025:18:17:43 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)"

AhrefsBot
51.222.253.3 - - [26/Mar/2025:14:34:18 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)"

GPTBot
4.227.36.19 - - [26/Mar/2025:13:48:49 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)"

BacklinksExtendedBot
185.170.167.18 - - [26/Mar/2025:13:26:38 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 (compatible; BacklinksExtendedBot)"

DotBot
216.244.66.234 - - [26/Mar/2025:12:59:42 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; help@moz.com)"

BLEXBot	
135.181.166.58 - - [26/Mar/2025:12:51:57 +0800] "GET /ajgyb_344_345 HTTP/1.1" 200 121 "-" "Mozilla/5.0 (compatible; BLEXBot/1.0; +https://help.seranking.com/en/blex-crawler)"

Amazonbot	
184.73.239.35 - - [26/Mar/2025:12:52:05 +0800] "GET /vodshow/kh-%E6%B3%95%E5%9B%BD-time-%E9%9D%92%E6%98%A5-%E6%97%A5%E8%AF%AD-G------.html HTTP/1.1" 200 6984 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Chrome/119.0.6045.214 Safari/537.36"

MJ12bot	
65.108.0.71 - - [26/Mar/2025:12:52:17 +0800] "GET /robots.txt HTTP/1.0" 444 0 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)"

bingbot	
207.46.13.51 - - [26/Mar/2025:12:52:24 +0800] "GET /home/69209534.html HTTP/1.1" 200 121 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36"



Googlebot

66.249.69.98 - - [26/Mar/2025:12:59:31 +0800] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"


垃圾蜘蛛列表

Amazonbot
dotbot
claudebot
ClaudeBot
Googlebot
AhrefsBot
externalagent
developers.facebook.com
developer.amazon.com
dataforseo.com
DataForSeoBot
webmeup-crawler.com
BLEXBot
ahrefs.com
openai.com
GPTBot
AwarioBot
awario.com
dataforseo
dataforseo-bot
blex-crawler
MJ12bot
mj12bot.com
serpstatbot
PetalBot

# 头条
toutiao
Bytespider
zhanzhang.toutiao.com


返回列表

上一篇：python 定时任务 计划任务 宝塔python 项目 宝塔python配置

下一篇：IDE爆红问题 PHP注释 php Doc注释

相关文章

phpstrom设置 打开项目 可以在新窗口中打开项目，替换当前窗口中的项目，或者将项目附加到已经打开的项目。您想如何打开项目? 不再询问(D)

phpstrom设置 打开项目 可以在新窗口中打开项目，替换当前窗口中的项目，或者将项目附加到已经打开的项目。您想如何打开项目? 不再询问(D)

打开项目 可以在新窗口中打开项目，替换当前窗口中的项目，或者将项目附加到已经打开的项目。您想如何打开项目? 不再询问(D)  在phpstorm 我点了 不在询问，我现在想 继续弹出这个...

通过在页面或自定义组件的 JSON 配置中添加以下配置开始适配

JSON 配置通过在页面或自定义组件的 JSON 配置中添加以下配置开始适配：{ "componentFramework": "glass-easel...

php数组相加 数组合并 array_merge() 函数

php数组相加 数组合并 array_merge() 函数

在 PHP 中，当你说“数组相加”时，这通常指的是将两个数组合并成一个新的数组。但是，因为数组可以是索引数组（数字键）或关联数组（字符串键），所以合并数组的方法会有所不同。以下是几种合并数组的常见方法...

Call to undefined function xnxf()zblog提示“可能的错误原因提示或500网络错误”时排查错误的方法

Call to undefined function xnxf()zblog提示“可能的错误原因提示或500网络错误”时排查错误的方法

很多时候都有可能遇到《错误提示》这类的提示，产生这个错误的原因一般来说都是服务端报错，如下图准备工作：1、进入后台，在网站设置的全局设置里，打开调试模式。2、如果不能进后台，那就用ftp连进网站，编辑...

/www/server/php/80/sbin/php-fpm: error while loading shared libraries: libsodium.so.23: cannot open

/www/server/php/80/sbin/php-fpm: error while loading shared libraries: libsodium.so.23: cannot open

安装php8失败  安装php8.0失败机器的安装源不行 安装源无法安装libsodium-devel软件，所以安装好php后会报错，更换系统的安装源后，重新安装libs...

http？https？相对协议？ // 相对协议 相对协议的主要作用是根据当前页面的协议（HTTP或HTTPS）来自动选择使用哪个协议来加载资源。

http？https？相对协议？ // 相对协议 相对协议的主要作用是根据当前页面的协议（HTTP或HTTPS）来自动选择使用哪个协议来加载资源。

相对协议的主要作用是根据当前页面的协议（HTTP或HTTPS）来自动选择使用哪个协议来加载资源。当你在HTML中使用一个以//开头的URL时，浏览器会检查当前页面是通过HTTP还是HTTPS加载的，并...

zblog插件网 Copyright zblog.gongshi5.com zblog插件网 .All Rights Reserved.

Powered By Z-BlogPHP. Theme by TOYEAN.