介紹
前言:有些網站不想做SEO,加上可能配置不好,各大搜索引擎蜘蛛的抓取反而給服務器造成了壓力。
方案1:首先你得擁有一個寶塔防火墻,直接在防火墻里找到:User-Agent過濾,然后添加以下規則內容:
(Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot)
方案2:在寶塔面板找到對應的網站,點擊設置,點擊配置文件,加入以下代碼:
if ($http_user_agent ~* "Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot") {
return 403; }
Nginx內部標志UA的變量為 $http_user_agent,想要屏蔽某個UA,找到其它UA的關鍵詞,按上面的設置即可。
沒有回復內容