?快速了解robot文件
2019-12-23 20:54:13
來源：
揚州新竹網絡科技有限公司
何為Robots協議？Robots協議是國際互聯網界通行的道德規范，基于以下原則建立：
1、搜索技術應服務于人類，同時尊重信息提供者的意愿，并維護其隱私權；
2、網站有義務保護其使用者的個人信息和隱私不被侵犯。
何為robot文件？robots.txt是限制搜索引擎spider（或稱為蜘蛛）收錄或爬取您網站內容的一種文件。搜索引擎蜘蛛在網站中首先訪問的文件就是robot文件，當然，也可以沒有robot文件，不過spider會訪問您的網站的所有頁面。
robot文件有何作用？屏蔽您網站的死鏈接，限制spider爬取您的網站內容，保護您網站的隱私內容。例如您的后臺目錄，或者存有您個人信息的頁面或目錄。
如果您網站的重復頁面或死鏈接過多，搜索引擎蜘蛛會認為您的網站不行，價值較低，就會降低您網站的權重，網站排名就會下降，如果創建了robot文件并寫入了相應的規則，那么搜索引擎蜘蛛就不會爬取您限制的頁面，您網站的權重與排名也就不會降低了。
如何構建robot文件？robot文件也沒什么特殊的地方，就是一文本文件（txt）。新建一個文本文件，然后重命名為robots并在此文件中編寫相應的規則，醉后上傳到網站跟目錄就行了，注意一定要放置到跟目錄且文件名一定要小寫，不然就失效了。
如何編寫robot文件規則？
或許您沒有太多的時間來了解并學會robot文件規則，那么您可以生成robot文件規則，當然，您需要一定的英語基礎，并了解特定的名詞。假設您有時間來學習的話，就往下看下面的規則。
現假設一個robot文件里面規則有：
User-agent: *
Disallow: /admin/
Disallow: /user/
規則解讀為：所有的搜索引擎蜘蛛都不允許訪問根目錄的admin目錄與user目錄。
現在你可能就明白了，user-agent:后面輸入的是欲限制搜索引擎蜘蛛的名稱，*為全部限制，baiduspider為限制百度搜索引擎蜘蛛不可以訪問。
disallow:后面追加的是欲限制蜘蛛訪問的目錄名稱。
注意，不管你有多少個disallow，只要有一個后面為空或者只有一個/符號的，就是所以目錄都可以訪問。符號一定是英文符號。
robot文件只是一種規則，并不是強制約束搜索引擎蜘蛛，需要搜索引擎蜘蛛配合才有用，有些spider會不顧您的robot文件,擅自訪問您的限制頁面。不過，就目前而且，大部分spider是遵守的robots.txt規則的。
1、搜索技術應服務于人類，同時尊重信息提供者的意愿，并維護其隱私權；
2、網站有義務保護其使用者的個人信息和隱私不被侵犯。
何為robot文件？robots.txt是限制搜索引擎spider（或稱為蜘蛛）收錄或爬取您網站內容的一種文件。搜索引擎蜘蛛在網站中首先訪問的文件就是robot文件，當然，也可以沒有robot文件，不過spider會訪問您的網站的所有頁面。
robot文件有何作用？屏蔽您網站的死鏈接，限制spider爬取您的網站內容，保護您網站的隱私內容。例如您的后臺目錄，或者存有您個人信息的頁面或目錄。
如果您網站的重復頁面或死鏈接過多，搜索引擎蜘蛛會認為您的網站不行，價值較低，就會降低您網站的權重，網站排名就會下降，如果創建了robot文件并寫入了相應的規則，那么搜索引擎蜘蛛就不會爬取您限制的頁面，您網站的權重與排名也就不會降低了。
如何構建robot文件？robot文件也沒什么特殊的地方，就是一文本文件（txt）。新建一個文本文件，然后重命名為robots并在此文件中編寫相應的規則，醉后上傳到網站跟目錄就行了，注意一定要放置到跟目錄且文件名一定要小寫，不然就失效了。
如何編寫robot文件規則？
或許您沒有太多的時間來了解并學會robot文件規則，那么您可以生成robot文件規則，當然，您需要一定的英語基礎，并了解特定的名詞。假設您有時間來學習的話，就往下看下面的規則。
現假設一個robot文件里面規則有：
User-agent: *
Disallow: /admin/
Disallow: /user/
規則解讀為：所有的搜索引擎蜘蛛都不允許訪問根目錄的admin目錄與user目錄。
現在你可能就明白了，user-agent:后面輸入的是欲限制搜索引擎蜘蛛的名稱，*為全部限制，baiduspider為限制百度搜索引擎蜘蛛不可以訪問。
disallow:后面追加的是欲限制蜘蛛訪問的目錄名稱。
注意，不管你有多少個disallow，只要有一個后面為空或者只有一個/符號的，就是所以目錄都可以訪問。符號一定是英文符號。
robot文件只是一種規則，并不是強制約束搜索引擎蜘蛛，需要搜索引擎蜘蛛配合才有用，有些spider會不顧您的robot文件,擅自訪問您的限制頁面。不過，就目前而且，大部分spider是遵守的robots.txt規則的。
本站文章均為新竹網站建設摘自權威資料，書籍，或網絡原創文章，如有版權糾紛或者違規問題，請即刻聯系我們刪除，我們歡迎您分享，引用和轉載，我們謝絕直接復制和抄襲！感謝...
猜你喜歡
聯絡方式：
電話：
郵箱：1700970777@qq.com
微信公眾號 
手機網站 
小程序 
我們猜你喜歡
-
如何提高優惠券使用率,優惠券營銷方法
優惠券的使用非常廣泛，從線下門店到線上電商，尤其是電商、o2o、金融理財等行業經常使用到優惠券的。但并不是每一個商家的優惠券都能激發用戶的興趣，有的優惠券使用率很高，有的則是極低；那么如何借助運營手段來提高優惠券的使用率呢？ 優惠券有什么類型 ...
-
小程序制作成本如何
現在市場上開發小程序的公司大致分為兩種，一種是賣模版的，一種是自主開發的。模板小程序價格在千元之間浮動，因為它也是根據小程序的功能來定價的。找開發公司定制開發的話，價格也是在幾千到幾萬之間，市場都是這樣的。 &nbs...
-
草根創業者下一個風口：娃娃機
引言：PC互聯網、移動互聯網這些時代，大家是不是發覺流量越來越難獲取了?這幾年線上流量被瓜分的所剩無幾，幾近枯竭。各個大佬們正著手搶奪線下流量，以支撐起大而強的身軀和持續的增長! 如果說微信群控是去年一個風口項目的話，那么今年熱門的項目應該是娃娃...
-
你知道什么企業財務系統嗎？
來來來，新竹網絡的小編就來給你講講啥子是企業財務系統！ 企業財務系統也可以稱之為會計系統，是根據財務目標設立組織機構、崗位，配置管理權責和人員，對經營活動、財務活動進行反映、監督、控制、協調的運作體系。 你的企業有沒有出現過管理問題？企業的快速成長有沒有引...
-
移動CRM的必要趨勢
在大趨勢下，目前的信息溝通技術不斷革新，網絡技術也在快速發展。很多傳統企業的銷售模式也在不斷發生變化，本地化、單一化的銷售模式已發展成跨地域、多層級的復雜模式，銷售形體越來越巨大，銷售網點越來越廣泛，需要進行溝通和交流的信息內容也越...
