當前位置:首頁 ? 新手建站 ? 正文

12.28
12.28

站長吐槽:頭條搜索爬蟲暴力抓取網站內容

1389 人參與  2019年11月09日 22:48  分類 : 新手建站  點這評論
最近有站長在網上發文吐槽表示,字節跳動為了快速發展搜索業務派出爬蟲四處暴力抓取網站內容,部分配置較低的網站已經直接癱瘓,給中小網站主們造成了很大的損失和困擾,嚴重影響了網站正常的用戶訪問。
該站長表示,今年7月份,他突然發現公司的網站經常性打不開,網頁加載極其緩慢,有時甚至直接癱瘓。經過一系列排查后,在服務器日志上發現了bytespider爬蟲的痕跡。
該爬蟲抓取的頻率每天達幾百萬次,高則上千萬次,服務器帶寬負載飆至100%,而且該爬蟲在抓取時完全不遵守網站的robots協議。
該站長順著該爬蟲的IP地址查詢,證實,該爬蟲就是字節跳動的搜索爬蟲。
并且,在CSDN、V2EX等技術論壇也了解到,從字節跳動開始做搜索之后,其實網絡上就一直有站長抱怨頭條搜索爬蟲抓取過于暴力的聲音,遭受字節跳動的搜索爬蟲暴力抓取的不是個例,很多小網站他們也沒放過。
有小網站主抱怨表示:字節跳動的爬蟲“一上午對網站發出46萬次請求”,網站都癱瘓了,百度也沒有這么折騰的!
最后,該站長表示,像我們這樣做SEO的人來說,主要工作目標就是希望自己家網站能在主流搜索引擎的搜索結果中排在前面的位置,“對于像百度、搜狗、360等搜索引擎的規范抓取和收錄各位站長都是非常歡迎的,但是頭條搜索爬蟲這樣瘋狂爬取內容網站都給整癱瘓了,不僅沒給網站帶來流量,還影響了正常的用戶訪問,這就很不“講究”了。
但是對此,字節跳動的回應則是,“網絡報道不實,目前頭條搜索設有反饋機制,網站因為爬蟲受到影響,可以直接通過郵件反饋處理。”明顯是不準備正面回應的。
所以通過頭條搜索爬蟲暴力抓取網站內容來看,磊哥個人覺得,字節跳動入局全網搜索攪動搜素市場是好事,但是為了快速崛起讓自己家爬蟲四處暴力抓取,就有問題了,大網站服務器配置高,技術人員多還好,很多小網站根本就頂不住字節跳動的搜索爬蟲這么折騰。

搜索引擎的索引數據是靠點滴積累起來的,百度、搜狗.360經歷了那么多年的發展積累才走到今天,頭條搜索想要瘋狂爬取內容,“一口吃個胖子”,只會讓站長們遠離。

整理自站長那點事

來源:紫菜頭網賺博客(微信/QQ號:779178376),轉載請保留出處和鏈接!

本文鏈接:http://www.qvzdfs.tw/post/1961.html

12.14
12.14

本文標簽:新手建站  

<< 上一篇 下一篇 >>

  • 評論(6)
  • 贊助本站

◎歡迎參與討論,請在這里發表您的看法、交流您的觀點。

紫菜頭網賺公眾平臺

image

我是廣告

    文字廣告位

網賺博客 | 網絡營銷 |

中国体育彩票投注网