1. 首頁 > 生活百科 > >

「旺格子優化軟件」robots是什么？

小知識

1、什么是robots.txt

robots.txt是一個文本文件， 一個存儲在網站根目錄中的文本文件 。 它通常告訴蜘蛛這個網站中的哪些內容不應該被搜索引擎爬蟲訪問， 哪些內容可以被爬蟲訪問 。 這個機器人必須是小寫的 。 這是一個用Web蜘蛛建立的協議 。 當網絡蜘蛛來到您的網站時， 它們將看到的第一件事情是您網站的根目錄中的robots.txt協議文件 。 它會根據您的規則進行爬行， 但是一些傲慢的網絡蜘蛛通常不遵守規
則 。 網絡蜘蛛會跟隨， 如果你的網站的根目錄沒有這個文件， 網絡蜘蛛會跟隨我們網站上的鏈接逐一抓取 。

「旺格子優化軟件」robots是什么？

文章插圖

2、Robots.txt的角色
（1）它可以引導搜索引擎蜘蛛抓取特定的列或內容 。 就像你去一個陌生的城市， 有人會給你指路 。
（2）當我們修改網站或優化URL重寫時， 阻止壞鏈接 。 除非你必須這樣做， 否則不要修改網站 。 這對網站是非常有害的 。 這將導致權利的下降或排名被完全包括在內 。
（3）死鏈接和404錯誤頁可以被阻止 。 隨著網站的發展， 死鏈接和404個錯誤頁面是不可避免的 。
（4）沒有內容或值的屏蔽頁 。
（5）屏蔽重復頁面， 如評論頁面和搜索結果頁面 。
（6）屏蔽任何不想包含的頁面 。
【「旺格子優化軟件」robots是什么？】（7）引導蜘蛛抓取站點地圖 。 讓蜘蛛爬行鏈接到我們的網站更快 。

    推薦閱讀