Googlebot

谷歌的網頁抓取機器人，類似於中國的Baiduspider（百度蜘蛛）

Googlebot 和Mediapartners-Google 是非常勤奮的機器人，如果他們影響到你伺服器的承受力，你可以通過 robots.txt 檔案加以制止。

基本介紹

• 中文名：谷歌機器人
• 外文名：Googlebot
• 實質：Google的web 抓取漫遊器
• 意義：google的機器人
• 俗稱：google爬蟲。

Googlebot指的是Google的機器人，或蜘蛛。一般Google會讓不同的Googlebot來對你的網頁內容進行處理，其中包括：

1， 抓取文字內容，獲取內容來保存於Google網頁搜尋和新聞搜尋的資料庫。
2， Googlebot-mobile：它的功能是抓取網頁中的文字內容來讓手機用戶搜尋。
3， Googlebot-Image：抓取網頁內的圖片內容，保存入Google 圖片搜尋資料庫。
4， Mediapartners-Google：抓取網頁中的文字內容，用於Google Adsense 分析關鍵字。只有投放了Google Adsense 的網頁才會被 Mediapartners-Google 探測器爬取。
5， Adsbot-Google：抓取網頁中的文字內容，用於為Google AdWords 提供參考。只有Google AdWords 的目標網頁才會被 Adsbot-Google 探測器爬取。