robots.txt對一個網(wǎng)站的影響有多大

　　大家好，我是Jrasy，剛剛有一篇文章精準(zhǔn)的介紹了我從事SEO行業(yè)4年來的所有經(jīng)驗(yàn)，最后特別提到了一個關(guān)于robots.txt的問題，不管這個文件對于一個網(wǎng)站的影響有多大，我個人覺的我都有必要先告訴對這個文件有興趣的人，這個文件要怎么寫。

　　robots.txt很簡單，是非常非常簡單。有的人不懂robots是什么，有什么用?

　　robots就是一個必須放在網(wǎng)站根目錄、讓搜索蜘蛛讀取的txt文件，文件名必須是小寫的"robots.txt"。通過robots.txt可以控制SE收錄內(nèi)容，告訴蜘蛛哪些文件和目錄可以收錄，哪些不可以收錄。

　　在這里說明下，如果在網(wǎng)站目錄下加了這個文件，搜索引擎會認(rèn)為你是一個比較正規(guī)標(biāo)準(zhǔn)的站。

　　搜索引擎會對你有個好印象，我的論壇就有ROBOTS文件，有個前輩曾經(jīng)還告訴過我，ROBOTS文件會對網(wǎng)站的關(guān)鍵詞有影響，具體也沒說的太清楚，例如我給我的學(xué)員用來做教程用的一個網(wǎng)站，ROBOTS文件是程序本來就帶的，也沒發(fā)現(xiàn)什么問題，更不用說對關(guān)鍵詞有什么影響，切入整體，ROBOTS文件如何寫!

　　用幾個最常見的情況，直接舉例說明：

　　1. 允許所有SE收錄本站：robots.txt為空就可以，什么都不要寫。

　　2. 禁止所有SE收錄網(wǎng)站的某些目錄：

　　User-agent: *

　　Disallow: /目錄名1/

　　Disallow: /目錄名2/

　　Disallow: /目錄名3/

　　3. 禁止某個SE收錄本站，例如禁止百度：

　　User-agent: Baiduspider

　　Disallow: /

　　4. 禁止所有SE收錄本站：

　　User-agent: *

　　Disallow: /

　　5. 加入sitemap.xml路徑。

　　ROBOTS的潛力到底有多大?Jrasy有時間再跟大家討論