在建設網站后，蜘蛛爬取的個文件是網站的robots文件而非其他，因此正確的robots文件協議設置就顯得特別重要。一般來講，正確的設置原則有幾個點：
1:不希望蜘蛛索引的文件屏蔽掉。
2:依據網站安全性考慮，一些活絡的文件也需屏蔽。
3:可將xml格式的地圖放置到文件中。
二、網站是否設置依據搜索引擎的xml格式的網站地圖。
網站地圖關于搜索引擎來講，是和睦的。能將網站的整體結構條理呈現給搜索引擎，以便于搜索引擎率的索引網站。關于網站地圖的制作，有許多的教程，一些周六的cms建站系統也有相應的插件，不在贅述。
三、網站是否設置正確的404頁面。
早些年，404頁面并不是一個優化點，跟著搜索引擎算法不斷進化，許多點都能歸納于優化點。網站設置404頁面，告訴用戶頁面是否刪掉無法訪問，高手搜索引擎某頁面的狀況，是很有必要的。其他，不建議404頁面自動跳轉到主頁或某一個頁面，由用戶自動選擇即可。
四、分析網站鏈接的唯一性。
許多時分，一個網站的頁面能一同被多個頁面訪問到，這是不利于關鍵鏈接會集權值的。一般操作是設置一個更重要的url給搜索引擎，其他的鏈接通過301重定向指向這個url，其他，可通過canonical標簽予以處理。
五、確診網站同ip站點的健康狀況。
同一個ip站點有事有許多，假設其他站點或多或少存在不健康的狀況，很有可能涉及到自己的站點，這種狀況下，就需求確診同ip站點是否存在問題。
滬公網安備 31011702004659號
標識編號2021111009083918