解讀robots文件與優化的關系
文章來源:周口中原傳媒有限公司 瀏覽次數:1641次 發布日期:2012.12.19
首先我們要明白什么是robots是什么?其實說白了robot文件和瀏覽者沒有任何的關系,這個文件時放在網站程序的根目錄的,是針對蜘蛛而做的一個文件,在這個文件里設置的有蜘蛛可以抓取的頁面,可以訪問的頁面,不可以訪問的頁面,等等都是在這個文件里面設置的,比如說,Disallow: /目錄名1/ 這就是不允許爬行蜘蛛不能訪問目錄名1文件夾面的所有文件,在這文件夾里面所有的文件都不會被百度蜘蛛抓取,同樣的我們也可以設置多個這樣的文件,比如說:Disallow: /目錄名1/ ,Disallow: /目錄名1/ ,Disallow: /目錄名2/ ,Disallow: /目錄名3/ 這里的設置就是說不允許蜘蛛抓取目錄名1、目錄名2、目錄名3、等等,我們這里設置了不能抓取一個文件夾的內容,那么我們怎么設置不讓他抓取一個網站的內容呢?那么我們可以設置百度蜘蛛不能訪問,比如說:User-agent: Baiduspider,這里的設置就是說不允許百度蜘蛛抓取網站的所有內容,除了這樣的設置以外我們換可以設置網站只能訪問那個根目錄,比如說:Allow:/目錄名/運行訪問“目錄名”,以上就是robot與優化的關系
下一篇: 關于召開2013年周口中原傳媒有限公司乒乓球比賽的通知上一篇: 公司業務新拓展,服務拓展至省外