網站資訊 news
您現在的位置:首頁 > 網站資訊 > 什么是robots.txt?
NEWS

新聞資訊

什么是robots.txt?

發布時間:2017/03/09 網站資訊 瀏覽次數:633

昆山網站建設

建好了自己的網站,當然希望搜索引擎來抓取并給我們帶來好的流量,但是也有一些頁面,比如我們網站管理后臺的地址,比如我們一些私有的秘密性文檔,我們不想讓搜索引擎抓取,這時,就用到了robots.txt文件。

主流的搜索引擎都支持并簽署了《互聯網搜索引擎服務自律公約》,表態全部支持robots協議。搜索引擎支持robots協議,也就是在抓取網站內容之前需要先抓取網站的robots.txt文件,并根據robots.txt文件的要求,對網站內容進行抓取。

這樣的話,站長就可以通過robots.txt文件,利用robots協議,讓搜索引擎不抓取自己保密的內容或不想讓抓取的內容,而只讓搜索引擎抓取和收錄能夠帶來流量和排名的頁面。這個文件的作用有以下三條:
1、屏蔽網站內的死鏈接。
2、屏蔽搜索引擎蜘蛛抓取站點內重復內容和頁面。
3、阻止搜索引擎索引網站隱私性的內容。

云風網絡是集昆山網站制作,昆山網頁設計,昆山網站推廣于一體的昆山網絡公司,業務涵蓋:昆山手機網站制作,昆山網站設計,昆山網絡建設,昆山做網站,昆山網站建設,電話:13912673321

相關推薦
點擊這里給我發消息 技術咨詢
回到頂部
双色球在线自动选号