分析google抓取網(wǎng)站的原理

　　1、抓取

　　抓取是 Googlebot 發(fā)現(xiàn)新網(wǎng)頁(yè)并更新這些網(wǎng)頁(yè)以將網(wǎng)頁(yè)添加到 Google 索引中的過(guò)程。

　　我們使用許多計(jì)算機(jī)來(lái)獲取(或"抓取")網(wǎng)站上的大量網(wǎng)頁(yè)。執(zhí)行獲取任務(wù)的程序叫做 Googlebot(也被稱(chēng)為漫游器或信息采集軟件)。Googlebot 使用算法來(lái)進(jìn)行抓取：計(jì)算機(jī)程序會(huì)確定要抓取的網(wǎng)站、抓取頻率以及從每個(gè)網(wǎng)站中獲取的網(wǎng)頁(yè)數(shù)量。

　　Google 的抓取過(guò)程是根據(jù)網(wǎng)頁(yè)網(wǎng)址的列表進(jìn)行的，該列表是在之前進(jìn)行的抓取過(guò)程中形成的，且隨著網(wǎng)站管理員所提供的 Sitemap 數(shù)據(jù)不斷進(jìn)行擴(kuò)充。在 Googlebot 訪問(wèn)每個(gè)網(wǎng)站時(shí)，它會(huì)檢測(cè)每個(gè)網(wǎng)頁(yè)上的鏈接，并將這些鏈接添加到它要抓取的網(wǎng)頁(yè)列表中。新建立的網(wǎng)站、對(duì)現(xiàn)有網(wǎng)站所進(jìn)行的更改以及無(wú)效鏈接都會(huì)被記錄下來(lái)，并用于更新 Google 索引。

　　Google 不允許以收取費(fèi)用的方式來(lái)提高網(wǎng)站抓取頻率。我們會(huì)對(duì)搜索業(yè)務(wù)和以盈利為目的的 AdWords 服務(wù)加以區(qū)分。

　　2、編制索引

　　Googlebot 會(huì)處理所抓取的每個(gè)網(wǎng)頁(yè)，以便將其找到的所有字詞和這些字詞在每個(gè)網(wǎng)頁(yè)上的位置都匯編到包含大量索引的列表中。此外，我們還會(huì)處理關(guān)鍵內(nèi)容標(biāo)記和屬性中的信息，例如 TITLE 標(biāo)記或 ALT 屬性。Googlebot 可處理許多類(lèi)型的內(nèi)容，但并非全部類(lèi)型的內(nèi)容。例如，我們無(wú)法處理某些 Rich Media 文件或動(dòng)態(tài)網(wǎng)頁(yè)的內(nèi)容。

　　3、提供結(jié)果

　　用戶輸入查詢時(shí)，我們的計(jì)算機(jī)會(huì)搜索索引以查找匹配的網(wǎng)頁(yè)，并返回我們認(rèn)為與用戶搜索最為相關(guān)的結(jié)果。相關(guān)性由 200 多個(gè)因素來(lái)確定，其中之一即為指定網(wǎng)頁(yè)的 PageRank。PageRank 是根據(jù)其他網(wǎng)頁(yè)中的導(dǎo)入鏈接對(duì)某個(gè)網(wǎng)頁(yè)的重要性所進(jìn)行的衡量。簡(jiǎn)單來(lái)說(shuō)，其他網(wǎng)站中指向您網(wǎng)站網(wǎng)頁(yè)的各個(gè)鏈接構(gòu)成了您網(wǎng)站的 PageRank。并非所有鏈接都具有同樣的價(jià)值：Google 致力于通過(guò)指明垃圾鏈接和其他會(huì)對(duì)搜索結(jié)果造成負(fù)面影響的行為來(lái)不斷改善用戶體驗(yàn)。根據(jù)您所提供的內(nèi)容的質(zhì)量所指定的鏈接是最好的鏈接。

　　要讓您的網(wǎng)站在搜索結(jié)果頁(yè)中獲得較好的排名，您一定要確保 Google 能夠正確地抓取您的網(wǎng)站并將其編入索引。我們的網(wǎng)站管理員指南列出了一些可幫助您避免常見(jiàn)問(wèn)題并改善網(wǎng)站排名的最佳實(shí)踐。

　　Google 的相關(guān)搜索、拼寫(xiě)建議和 Google 建議功能旨在通過(guò)顯示相關(guān)字詞、常見(jiàn)拼寫(xiě)錯(cuò)誤和常見(jiàn)查詢來(lái)幫助用戶節(jié)省搜索時(shí)間。與我們的 google.com 搜索結(jié)果相似，這些功能所使用的關(guān)鍵字會(huì)由我們的網(wǎng)絡(luò)抓取工具和搜索算法自動(dòng)生成。我們只有在認(rèn)為這些建議可以節(jié)省用戶時(shí)間時(shí)才會(huì)顯示這些建議。如果某個(gè)網(wǎng)站因某一關(guān)鍵字而獲得較高的排名，這是因?yàn)椋�我們已通過(guò)算法確定了其內(nèi)容對(duì)用戶的查詢更具相關(guān)性。