Home > SEO基礎 > robots.txt文件設置方法

robots.txt文件設置方法

????????由于現在免費的網站程序越來越成熟,利用網站程序一天就可以做很多個網站,大家也都喜歡在線做網站,就是直接把網站程序通過FTP工具上傳到服務器空間,安裝設置好后就開始添加內容,但是由于網站在規劃設計階段總還不是那么完美,一些東西還沒有完全確定下來之前網站經常需要修改一些東西,而做SEO的人都知道,百度或者谷歌對于經常變動的新網站通常的做法都是放入觀察期,因為搜索引擎會覺得你的網站還不穩定,所以很多人就想到了設置robots.txt文件來禁止搜索引擎對于網站更新的內容進行抓取,等網站完全設計好后再進行相應的設置或者直接刪除這個文件,允許搜索引擎抓取我們的網站頁面。

???????? 這個文件能夠幫我們很大的忙,在服務器下面沒有,我們可以在本地編寫好之后上傳到服務器根目下,下面給大家舉例它的有關功能以及編寫方法。(注意我的語句大小寫,大小寫必須要一致,因為這個文件區分大小寫。)
(允許所有搜索引擎抓取任何內容)
User-agent:*
Disallow:
(禁止所有搜索引擎抓取任何內容)
User-agent:*
Disallow:/
(告訴所有搜索引擎不爬行aaa跟bbb目錄下的這是一個神奇的網站。。。內容和123.html文件)
User-agent:*
Disallow:/aaa/
Disallow:/bbb/
Disallow:/這是一個神奇的網站。。。/123.html
(告訴除百度意外所有搜索引擎不準爬aaa目錄下的123.htm文件)
User-agent:Baiduspider
Disallow:
User-agent:*
Disallow:/aaa/
Disallow:123.htm
(告訴搜索引擎不準爬aaa目錄和文件,但是可以爬aaa目錄下bbb的內容)
User-agent:*
Disallow:/aaa/
Allow:/aaa/bbb/
(告訴谷歌允許抓取所有.html為后綴的URL,不允許百度抓取所有以.html為后綴的URL,禁止所有所有搜索引擎抓取.jpg格式的文件)
User-agent:googlebot
Allow:.html$
User-agent:baiduspider
Disallow:.html$
User-agent:*
Disallow:.jpg$
(告訴蜘蛛禁止抓取任何帶.asp后綴的文件)
User-agent:*
Disallow:/*.asp
? ?? ?以上是robots.txt文件在網站中作用,供大家借鑒。

文章作者:admin
本文地址:http://www.momsnq.tw/robots-txt
版權所有 ? 轉載時必須以鏈接形式注明作者和原始出處!

No comments yet.

Leave a comment

教程免費下載


輸入你的E-mail訂閱博客
電子書將發送到你的郵箱

英超冠军