杭州SEO優化公司-專業提供SEO網站優化/網站建設服務
杭州seo優化

robots.txt協議文件寫法

robots.txt協議文件寫法公司專業從事關鍵詞優化的公司,我們主要做整站排名優化

新站排名優化,網站托管,網站建設等,通過SEO技術優化在百度首頁位置展示您的網站。

SEO工具
當前位置:首頁 > SEO工具

robots.txt協議文件寫法

2019-08-15

白馬小編

  很多建站系統,在建成網站后,都網站根目錄,默認有robots.txt協議文件。在網站優化競爭日益加劇的今天,原本設立之初無優化因素的robots.txt文件也被最大化使用,掌握其寫法,有備無患。
  
   一:robots.txt協議文件有什么用?
  
  搜索引擎訪問一個網站的時候,最先訪問的文件就是robots.txt。她告訴搜索引擎蜘蛛,哪些網站頁面可以被抓取,哪些禁止抓取。表面來看,這個功能作用有限。從搜索引擎優化的角度來看,可以通過屏蔽頁面,達到集中權重的作用,這,也是優化人員最為看重的地方。
  
  以某seo站點為例,其robots.txt文件如圖所示:

  很多建站系統,在建成網站后,都網站根目錄,默認有robots.txt協議文件。在網站優化競爭日益加劇的今天,原本設立之初無優化因素的robots.txt文件也被最大化使用,掌握其寫法,有備無患。      一:robots.txt協議文件有什么用?      搜索引擎訪問一個網站的時候,最先訪問的文件就是robots.txt。她告訴搜索引擎蜘蛛,哪些網站頁面可以被抓取,哪些禁止抓取。表面來看,這個功能作用有限。從搜索引擎優化的角度來看,可以通過屏蔽頁面,達到集中權重的作用,這,也是優化人員最為看重的地方。      以某seo站點為例,其robots.txt文件如圖所示:      robots.txt協議文件展示      二:網站設置robots.txt的幾個原因。      1:設置訪問權限保護網站安全。      2:禁止搜索引擎爬取無效頁面,集中權值到主要頁面。      三:怎么用標準寫法書寫協議?      有幾個概念需掌握。      User-agent表示定義哪個搜索引擎,如User-agent:Baiduspider,定義百度蜘蛛。      Disallow表示禁止訪問。      Allow表示運行訪問。      通過以上三個命令,可以組合多種寫法,允許哪個搜索引擎訪問或禁止哪個頁面。      四:robots.txt文件放在那里?      此文件需放置在網站的根目錄,且對字母大小有限制,文件名必須為小寫字母。所有的命令第一個字母需大寫,其余的小寫。且命令之后要有一個英文字符空格。      五:哪些時候需要使用該協議。      1:無用頁面,很多網站都有聯系我們,用戶協議等頁面,這些頁面相對于搜索引擎優化來講,作用不大,此時需要使用Disallow命令禁止這些頁面被搜索引擎抓取。      2:動態頁面,企業類型站點屏蔽動態頁面,有利于網站安全。且多個網址訪問同一頁面,會造成權重分散。因此,一般情況下,屏蔽動態頁面,保留靜態或偽靜態頁面。      3:網站后臺頁面,網站后臺也可以歸類于無用頁面,禁止收錄有百益而無一害。
  
  robots.txt協議文件展示
  
   二:網站設置robots.txt的幾個原因。
  
  1:設置訪問權限保護網站安全。
  
  2:禁止搜索引擎爬取無效頁面,集中權值到主要頁面。
  
   三:怎么用標準寫法書寫協議?
  
  有幾個概念需掌握。
  
  User-agent表示定義哪個搜索引擎,如User-agent:Baiduspider,定義百度蜘蛛。
  
  Disallow表示禁止訪問。
  
  Allow表示運行訪問。
  
  通過以上三個命令,可以組合多種寫法,允許哪個搜索引擎訪問或禁止哪個頁面。
  
   四:robots.txt文件放在那里?
  
  此文件需放置在網站的根目錄,且對字母大小有限制,文件名必須為小寫字母。所有的命令第一個字母需大寫,其余的小寫。且命令之后要有一個英文字符空格。
  
   五:哪些時候需要使用該協議。
  
  1:無用頁面,很多網站都有聯系我們,用戶協議等頁面,這些頁面相對于搜索引擎優化來講,作用不大,此時需要使用Disallow命令禁止這些頁面被搜索引擎抓取。
  
  2:動態頁面,企業類型站點屏蔽動態頁面,有利于網站安全。且多個網址訪問同一頁面,會造成權重分散。因此,一般情況下,屏蔽動態頁面,保留靜態或偽靜態頁面。
  
  3:網站后臺頁面,網站后臺也可以歸類于無用頁面,禁止收錄有百益而無一害。

  把不想讓百度蜘蛛抓取的目錄或者頁面,寫到robots.txt文件里,然后上傳到網站根目錄就可以了。


(★^O^★)MG相扑君的逆袭_正规平台 20140105快船vs马刺 大富豪棋牌游戏官网下载 苹果琼崖麻将下载安装 大庆麻将横宝啥意思 甘肃十一选五任六多少钱 我在ewin棋牌输了50万 活塞vs火箭在线直播 安徽快3大小走势图 开心棋牌支付宝提现版 吉祥麻将官方版 百家乐路单 彩库宝典库图 打成都麻将血战到底 独行侠vs火箭 大乐透25选5 聚众赌博金额