什么是 Googlebot？Google 的網(wǎng)頁抓取機器人
Googlebot 是 Google 的網(wǎng)頁抓取機器人（有時稱為"信息采集軟件"）。抓取是 Googlebot 發(fā)現(xiàn)新網(wǎng)頁和更新的網(wǎng)頁以將這些網(wǎng)頁添加到 Google 索引中的過程。
我們使用許多計算機來提取（或"抓取"）網(wǎng)站上的大量網(wǎng)頁。Googlebot 使用算法確定抓取過程：計算機程序確定要抓取的網(wǎng)站、抓取頻率以及從每個網(wǎng)站抓取的網(wǎng)頁數(shù)量。
進行抓取時，Googlebot 會先查看以前的抓取過程所生成的一系列網(wǎng)頁網(wǎng)址，包含網(wǎng)站站長提供的站點地圖數(shù)據(jù)。Googlebot 在訪問其中的每個網(wǎng)站時，會檢測各網(wǎng)頁上的鏈接（SRC 和 HREF），并將這些鏈接添加到要抓取的網(wǎng)頁列表。它會記錄新出現(xiàn)的網(wǎng)站、現(xiàn)有網(wǎng)站的更新以及無效鏈接，并據(jù)此更新 Google 索引。
致語網(wǎng)站站長：Googlebot 和您的網(wǎng)站
Googlebot 如何訪問您的網(wǎng)站
Googlebot 對大多數(shù)網(wǎng)站的平均訪問頻率為幾秒鐘一次。但是，如果網(wǎng)絡(luò)有延遲，則訪問頻率可能會在短時間內(nèi)有所提高。一般來說，Googlebot 每次只會下載各網(wǎng)頁的一份副本。如果您發(fā)現(xiàn) Googlebot 多次下載同一網(wǎng)頁，可能是因為抓取工具停止后又重新啟動所致。
我們將 Googlebot 分布在多臺計算機上，以便提高性能并隨著網(wǎng)絡(luò)規(guī)模的擴大而擴大。此外，為了降低帶寬占用，我們會在幾臺計算機上運行多個抓取工具，而這些計算機通常位于他們正在網(wǎng)絡(luò)中編制索引的網(wǎng)站附近。因此，您的日志可能會顯示來自 google.com 上的多臺計算機的訪問記錄，而且所有計算機使用的都是用戶代理 Googlebot。我們的目標(biāo)是：每次訪問您的網(wǎng)站時，以您服務(wù)器的帶寬所允許的速度盡可能多地抓取網(wǎng)頁。請求更改抓取速度。
阻止 Googlebot 抓取您網(wǎng)站上的內(nèi)容
對于網(wǎng)絡(luò)服務(wù)器，要想通過不發(fā)布指向它的鏈接的方式來達(dá)到保密目的幾乎是不可能的。只要有人通過您"私密"服務(wù)器上的鏈接訪問其他網(wǎng)絡(luò)服務(wù)器，您的"私密"網(wǎng)址就會出現(xiàn)在引用頁標(biāo)簽中，而其他網(wǎng)絡(luò)服務(wù)器也會存儲這些網(wǎng)址并將其發(fā)布在自己的引用頁日志中。同樣，網(wǎng)絡(luò)中包含許多過期和已損壞的鏈接。只要有人發(fā)布了指向您網(wǎng)站的不正確鏈接，或未能成功更新鏈接以反映您服務(wù)器的更改，Googlebot 就會嘗試從您的網(wǎng)站下載不正確的鏈接。
如果要阻止 Googlebot 抓取您網(wǎng)站上的內(nèi)容，您可以選擇使用多種方法，包括使用 robots.txt 阻止其訪問您服務(wù)器上的文件和目錄。
您創(chuàng)建完 robots.txt 文件后，Googlebot 可能需要一段時間才能發(fā)現(xiàn)您的更改。如果 Googlebot 仍繼續(xù)抓取您在 robots.txt 文件中阻止的內(nèi)容，請檢查 robots.txt 文件的位置是否正確。該文件必須位于服務(wù)器的頂層目錄（例如：www.320999.cn/robots.txt）中；如果位于子目錄，則不會產(chǎn)生任何效果。
如果您只想阻止網(wǎng)絡(luò)服務(wù)器日志顯示"未找到文件"這樣一種錯誤訊息，則可以創(chuàng)建名為 robots.txt 的空文件。如果您想阻止 Googlebot 跟蹤您網(wǎng)站上某網(wǎng)頁中的任何鏈接，則可以使用 nofollow 元標(biāo)記。要阻止 Googlebot 跟蹤某個鏈接，請在該鏈接中添加 rel="nofollow" 屬性。
下面提供了更多相關(guān)提示：
- 測試 robots.txt 是否按照預(yù)期方式工作。使用網(wǎng)站站長工具中的"測試 robots.txt"工具，您可以親眼看看 Googlebot 究竟是如何解析 robots.txt 文件中的內(nèi)容的。Google 用戶代理為
Googlebot，這再合適不過了。 - 使用網(wǎng)站站長工具中的"Googlebot 抓取方式"工具，您可以了解 Googlebot 看到的網(wǎng)站究竟是什么樣子。對網(wǎng)站內(nèi)容或網(wǎng)站在搜索結(jié)果中的出現(xiàn)率進行問題排查時，此工具非常有用。
確保您的網(wǎng)站可被抓取
Googlebot 通過跟蹤指向網(wǎng)頁的各種鏈接抓取網(wǎng)站。在網(wǎng)站站長工具的抓取錯誤頁中，會列出 Googlebot 抓取您的網(wǎng)站時所發(fā)現(xiàn)的全部問題。我們建議您定期查看這些抓取錯誤，以識別您網(wǎng)站上出現(xiàn)的所有問題。