網站資訊 news
您現在的位置:首頁 > 網站資訊 > 蜘蛛真的會“爬”嗎?
NEWS

新聞資訊

  • 【云風網絡】復工延期通知
    2020/02/09

      尊敬的客戶:由于新冠疫情原因!我公司復工延期,具體時間另行通知!期間只提供應急處理,帶來不便敬請諒解!

  • 2020寒假結束昆山市開學時間可能會推遲…
    2020/01/29

    蘇州關于加強新型冠狀病毒感染的肺炎疫情防控工作的通告(第3號) 2020-01-26 21:32 為維護公眾生命安全和身體健康,落實江蘇...

  • 簡單的html代碼 加粗 加亮 字型加大 變色的寫法
    2020/01/01

    字體加粗:<b>寫上你想寫的字</b> 字體加大: <big>寫上你想寫的字</big> 字體控制大?。?lt;h1>...

  • chrome瀏覽器如何將網頁保存為圖片
    2019/12/19

    1、ctrl+shift+i打開審查元素窗口 2、ctrl+shift+p,輸入full,回車 3、等待3秒鐘…

  • 老而不死的三種編程語言
    2019/11/07

    老而不死的三種編程語言 導讀: 在軟件世界中,鐵打的二進制,流水的語言。從計算機誕生至今,不知誕生了多少門編程語言。譯...

  • AI人工智能的10種常用算法
    2019/09/25

    ML的常用算法有個常識性的認識,沒有代碼,沒有復雜的理論推導,就是圖解一下,知道這些算法是什么,它們是怎么應用的,例子...

  • 網站如何進行安全設置
    2019/08/28

    為了安全起見,建議先做好全站數據和文件的備份,以下教程是AB模板網的總結經驗,本人也是這樣設置,并且沒有任何問題) 1、...

蜘蛛真的會“爬”嗎?

發布時間:2017/03/04 網站資訊 瀏覽次數:839

昆山網站建設

既然給Spider這樣一個名字,它總應當是會“爬”的吧?這是很多SEO初學者頭腦中最直觀的概念。

在最初的SEO教學中,為了讓更多的初學者學會引蜘蛛的方法,總是告訴入門者說,在某些已經被搜索引擎抓取的頁面上放上鏈接,蜘蛛就會順著這個鏈接到你的站點上去爬行并收錄了。這對于初學者來說,理解是好理解了,但是卻告訴了初學者一個錯誤的概念,讓初學者認為蜘蛛是會自行“爬”行的。

而真相是什么呢?

站長們在查看自己的網站日志的時候,會發現,所有的Spider在對網站的訪問中并沒有refer,中間沒有提交過程,而是直接訪問。這才是spider的真正工作方法。Spider抓取一個網頁后會優先把網頁中的URL提取出來,同時記錄和計算URL(什么是URL?)的形式、位置、錨文本(什么是錨文本?)、當前面所賦于的權值等信息,然后把這些URL合并到抓取隊列中,并根據每個URL所附有的總權重值等信息進行抓取隊列排序。而因為spider發現的URL越來越多,權重又各不相同,那么,這個列表中的順序是不斷變化的,并不是從一個頁面沿著鏈接“爬”行到另一個頁面的抓取過程。所以,蜘蛛不會“爬”。

也就是說,蜘蛛對每一個網頁的抓取都是單次訪問抓取,每訪問一個頁面都會把頁面上的信息抓取回來,并把上面的鏈接重新排入待抓取列表預備下次直接訪問。并不是搜索引擎派出了無數個“蜘蛛”到網站上爬行。

云風網絡是集昆山網站制作,昆山網頁設計,昆山網站推廣于一體的昆山網絡公司,業務涵蓋:昆山手機網站制作,昆山網站設計,昆山網絡建設,昆山做網站,昆山網站建設,電話:13912673321

相關推薦
點擊這里給我發消息 技術咨詢
回到頂部
双色球在线自动选号