»點此完善

網站簡介-robots.txt文件常用寫法示例(完整版)

robots.txt文件常用寫法示例(完整版)

  robots.txt文件用法舉例:

  1. 允許所有的robot訪問

  User-agent: * Allow: / 或者 User-agent: * Disallow:

  2. 禁止所有搜索引擎訪問網站的任何部分

  User-agent: *

  Disallow: /

  3. 僅禁止Baiduspider訪問您的網站

  User-agent: Baiduspider

  Disallow: /

  4. 僅允許Baiduspider訪問您的網站

  User-agent: Baiduspider

  Disallow:

  5. 禁止spider訪問特定目錄

  User-agent: *

  Disallow: /cgi-bin/

  Disallow: /tmp/

  Disallow: /~joe/

  6. 允許訪問特定目錄中的部分url

  User-agent: *

  Allow: /cgi-bin/see

  Allow: /tmp/hi

  Allow: /~joe/look

  Disallow: /cgi-bin/

  Disallow: /tmp/

  Disallow: /~joe/

  7. 使用”*”限制訪問url

  禁止訪問/cgi-bin/目錄下的所有以”.htm”為后綴的URL(包含子目錄)。

  User-agent: *

  Disallow: /cgi-bin/*.htm

  8. 使用”$”限制訪問url

  僅允許訪問以”.htm”為后綴的URL。

  User-agent: *

  Allow: .htm$

  Disallow: /

  例9. 禁止訪問網站中所有的動態頁面

  User-agent: *

  Disallow: /*?*

  10. 禁止Baiduspider抓取網站上所有圖片

  僅允許抓取網頁,禁止抓取任何圖片。

  User-agent: Baiduspider

  Disallow: .jpg$

  Disallow: .jpeg$

  Disallow: .gif$

  Disallow: .png$

  Disallow: .bmp$

  11. 僅允許Baiduspider抓取網頁和.gif格式圖片

  允許抓取網頁和gif格式圖片,不允許抓取其他格式圖片

  User-agent: Baiduspider

  Allow: .gif$

  Disallow: .jpg$

  Disallow: .jpeg$

  Disallow: .png$

  Disallow: .bmp$

  12. 僅禁止Baiduspider抓取.jpg格式圖片

  User-agent: Baiduspider

  Disallow: .jpg$

  0430分享的robots.txt文件寫法相關知識:

  搜索引擎使用spider程序自動訪問互聯網上的網頁并獲取網頁信息。spider在訪問一個網站時,會首先會檢查該網站的根域下是否有一個叫做robots.txt的純文本文件。您可以在您的網站中創建一個純文本文件robots.txt,在文件中聲明該網站中不想被robot訪問的部分或者指定搜索引擎只收錄特定的部分。

  請注意,僅當您的網站包含不希望被搜索引擎收錄的內容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容,請勿建立robots.txt文件或者創建一個內容為空的robots.txt文件。

  robots.txt 放置位置

  robots.txt文件應該放置在網站根目錄下。舉例來說,當spider訪問一個網站如:holidays5.com時,首先會檢查該網站中是否存在http://www.holidays5.com/robots.txt 這個文件,如果 Spider找到這個文件,它就會根據這個文件的內容,來確定它訪問權限的范圍。

  robots.txt 格式

  文件包含一條或更多的記錄,這些記錄通過空行分開(以CR,CR/NL, or NL作為結束符),每一條記錄的格式如下所示:”:”。在該文件中可以使用#進行注解。該文件中的記錄通常以一行或多行User-agent開始,后面加上若干Disallow和Allow行,詳細情況如下。

  User-agent:

  該項的值用于描述搜索引擎robot的名字。在”robots.txt”文件中,如果有多條User-agent記錄說明有多個robot會受到”robots.txt”的限制,對該文件來說,至少要有一條User-agent記錄。 如果該項的值設為*,則對任何robot均有效,在”robots.txt”文件中,”User-agent:*”這樣的記錄只能有一條。如果在”robots.txt”文件中,加入”User- agent:SomeBot”和若干Disallow、Allow行,那么名為”SomeBot”只受到”User-agent:SomeBot”后面的 Disallow和Allow行的限制。 Disallow: 該項的值用于描述不希望被訪問的一組URL,這個值可以是一條完整的路徑,也可以是路徑的非空前綴,以Disallow項的值開頭的URL不會被robot訪問。例 如”Disallow: /help”禁止robot訪問/help*.html、/help/index.html, 而”Disallow: /help/”則允許robot訪問/help*.html,不能訪問/help/index.html。

  "Disallow:"說明允許robot訪問該網站的所有url,在”/robots.txt”文件中,至少要有一條Disallow記錄。如果”/robots.txt”不存在或者為空文件,則對于所有的搜索引擎robot,該網站都是開放的。

  Allow:

  該項的值用于描述希望被訪問的一組URL,與Disallow項相似,這個值可以是一條完整的路徑,也可以是路徑的前綴,以Allow項的值開頭的URL是允許robot訪問的。例如”Allow:/hibaidu”允許robot訪問/hibaidu.htm、/hibaiducom.html、 /hibaidu/com.html。一個網站的所有URL默認是Allow的,所以Allow通常與Disallow搭配使用,實現允許訪問一部分網頁同時禁止訪問其它所有URL的功能。

  需要特別注意的是Disallow與Allow行的順序是有意義的,robot會根據第一個匹配成功的 Allow或Disallow行確定是否訪問某個URL。

  使用”*”和”$”: Baiduspider 支持使用通配符”*”和”$”來模糊匹配url。 “$” 匹配行結束符。 “*” 匹配0或多個任意字符。


歡迎您訪問0430網站庫
上壹站:  允許所有的robot訪問,robots.txt文件怎么寫?
當前推薦網站:  robots.txt文件常用寫法示例(完整版)
下壹站:  HTTP狀態碼:網頁狀態碼查看知識大全


申明:本資料由全球網站庫會員提供,轉載請註明出處,資料來源:http://cht.0430.com/cn/web236613/。
robots.txt文件常用寫法示例(完整版) 感謝您的支持與分享!

»如果您覺得'robots.txt文件常用寫法示例(完整版)'相關資料不全,請點此協作更新!
復制本頁網址,與您QQ/MSN上的好友分享,就是您對0430網站庫最大的支持!
踩踩此網站0
支持此網站0
(站長之聲:支持本站,就來頂壹下吧!)  
現在有0人對'robots.txt文件常用寫法示例(完整版)'發表評論 »查看全部評論
您的姓名: * 可選項,留空即為匿名發表
評論內容:
剩余字數:  * 按 Ctrl + Enter 發送.
           
全球網站庫溫馨提示:資料由cht.0430.com會員自行發布,請大家自辯真偽;評論只需提交壹次,請耐心等候審核通過,方可顯示.
網站版本: English  中文(简体)  中文(繁體)  日本語  Español
關於我們 | 聯系我們 | 貢獻網站 | 免責聲明 | 友情鏈接 | 意見反饋 | 分類目錄 | 收錄條件 | 返回頂部
Copyright 2004-2020 版權所有 cht.0430.com
網站聲明:本網站所分享網站資料取之於網、用之於網,請大家參考使用時自行辨明、後果自負,0430不承擔任何責任。
全球網站庫 - 二十四小時在線的免費頂級網站目錄 - 讓網站與我們的生活更近!