大家需要注意去看360Spider的IP段,比如下面这条记录:
42.236.12.194 - - [27/Dec/2022:15:28:25 +0800] "GET /list-11-384.html HTTP/1.1" 200 10377 "https://bbs.xzwidea.cn/list-11-384.html" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 6P Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.83 Mobile Safari/537.36; 360Spider"
里面就有42.236.12.*开头的,我们就去看哪些360Spider蜘蛛段访问比较频繁,直接禁用就行,我每次被爬停后分析发现这些IP段访问比较多,所以都禁止了。
42.236.17.0/24
42.236.12.0/24
123.149.76.0/24
42.236.101.0/24
卡了就拒绝这几个IP段。
当然如果是需要360蜘蛛的就不要直接禁止,可以选择调低360站长中心的蜘蛛压力。