網站資訊 news
您現在的位置:首頁 > 網站資訊 > 關于robots禁止抓取,但并不禁止索引的說明
NEWS

新聞資訊

  • 【云風網絡】復工延期通知
    2020/02/09

      尊敬的客戶:由于新冠疫情原因!我公司復工延期,具體時間另行通知!期間只提供應急處理,帶來不便敬請諒解!

  • 2020寒假結束昆山市開學時間可能會推遲…
    2020/01/29

    蘇州關于加強新型冠狀病毒感染的肺炎疫情防控工作的通告(第3號) 2020-01-26 21:32 為維護公眾生命安全和身體健康,落實江蘇...

  • 簡單的html代碼 加粗 加亮 字型加大 變色的寫法
    2020/01/01

    字體加粗:<b>寫上你想寫的字</b> 字體加大: <big>寫上你想寫的字</big> 字體控制大?。?lt;h1>...

  • chrome瀏覽器如何將網頁保存為圖片
    2019/12/19

    1、ctrl+shift+i打開審查元素窗口 2、ctrl+shift+p,輸入full,回車 3、等待3秒鐘…

  • 老而不死的三種編程語言
    2019/11/07

    老而不死的三種編程語言 導讀: 在軟件世界中,鐵打的二進制,流水的語言。從計算機誕生至今,不知誕生了多少門編程語言。譯...

  • AI人工智能的10種常用算法
    2019/09/25

    ML的常用算法有個常識性的認識,沒有代碼,沒有復雜的理論推導,就是圖解一下,知道這些算法是什么,它們是怎么應用的,例子...

  • 網站如何進行安全設置
    2019/08/28

    為了安全起見,建議先做好全站數據和文件的備份,以下教程是AB模板網的總結經驗,本人也是這樣設置,并且沒有任何問題) 1、...

關于robots禁止抓取,但并不禁止索引的說明

發布時間:2017/03/06 網站資訊 瀏覽次數:971

昆山網站建設

robots.txt寫明了某個頁面不讓搜索引擎去抓取,搜索引擎就一定會支持協議,不去抓取,但這并不代表搜索引擎不索引這個頁面。也就是說,搜索引擎不知道這個頁面上的內容(因為有協議),但因為這個頁面可能存在有外鏈是指向這個頁面的,那么,搜索引擎就會知道這個頁面的存在。在搜索引擎的數據庫里也有這個文件的數據,但搜索引擎并不知道頁面上有什么內容。于是就會出現這樣的怪事,你在搜索引擎上搜索時,依然可以搜出這個頁面,但不顯示這個頁面的內容,比如,title可能是外鏈給它指明的錨文本,說明也是其他的說明文字。當然,也就沒有快照。

舉個例子,淘寶網用robots.txt禁止百度的抓取,但是你搜淘寶,依然會有顯示。不抓取,但是有索引。
因此,我們理解robots.txt時,一定要理解清楚,它是禁止抓取,但并不禁止索引。

云風網絡是集昆山網站制作,昆山網頁設計,昆山網站推廣于一體的昆山網絡公司,業務涵蓋:昆山手機網站制作,昆山網站設計,昆山網絡建設,昆山做網站,昆山網站建設,電話:13912673321

相關推薦
點擊這里給我發消息 技術咨詢
回到頂部
双色球在线自动选号