robots.txt對(duì)一個(gè)網(wǎng)站的影響有多大

　　大家好，我是Jrasy，剛剛有一篇文章精準(zhǔn)的介紹了我從事SEO行業(yè)4年來的所有經(jīng)驗(yàn)，最后特別提到了一個(gè)關(guān)于robots.txt的問題，不管這個(gè)文件對(duì)于一個(gè)網(wǎng)站的影響有多大，我個(gè)人覺的我都有必要先告訴對(duì)這個(gè)文件有興趣的人，這個(gè)文件要怎么寫。

　　robots.txt很簡(jiǎn)單，是非常非常簡(jiǎn)單。有的人不懂robots是什么，有什么用?

　　robots就是一個(gè)必須放在網(wǎng)站根目錄、讓搜索蜘蛛讀取的txt文件，文件名必須是小寫的"robots.txt"。通過robots.txt可以控制SE收錄內(nèi)容，告訴蜘蛛哪些文件和目錄可以收錄，哪些不可以收錄。

　　在這里說明下，如果在網(wǎng)站目錄下加了這個(gè)文件，搜索引擎會(huì)認(rèn)為你是一個(gè)比較正規(guī)標(biāo)準(zhǔn)的站。

　　搜索引擎會(huì)對(duì)你有個(gè)好印象，我的論壇就有ROBOTS文件，有個(gè)前輩曾經(jīng)還告訴過我，ROBOTS文件會(huì)對(duì)網(wǎng)站的關(guān)鍵詞有影響，具體也沒說的太清楚，例如我給我的學(xué)員用來做教程用的一個(gè)網(wǎng)站，ROBOTS文件是程序本來就帶的，也沒發(fā)現(xiàn)什么問題，更不用說對(duì)關(guān)鍵詞有什么影響，切入整體，ROBOTS文件如何寫!

　　用幾個(gè)最常見的情況，直接舉例說明：

　　1. 允許所有SE收錄本站：robots.txt為空就可以，什么都不要寫。

　　2. 禁止所有SE收錄網(wǎng)站的某些目錄：

　　User-agent: *

　　Disallow: /目錄名1/

　　Disallow: /目錄名2/

　　Disallow: /目錄名3/

　　3. 禁止某個(gè)SE收錄本站，例如禁止百度：

　　User-agent: Baiduspider

　　Disallow: /

　　4. 禁止所有SE收錄本站：

　　User-agent: *

　　Disallow: /

　　5. 加入sitemap.xml路徑。

　　ROBOTS的潛力到底有多大?Jrasy有時(shí)間再跟大家討論