被搜索引擎抓取是讓網站獲得好的搜索排名(míng)的步,那麽怎麽才能(néng)讓他(tā)容易被抓取呢(ne)?今天我們就來聊聊這方面的事情。
1、簡單明了的網站結構
Spider抓取相當于對web這個有(yǒu)向圖進行遍曆,那麽一個簡單明了結構層次分(fēn)明的網站肯定是它所喜歡的,并盡量保證spider的可(kě)讀性。
(1)樹型結構更優的結構即“首頁(yè)—頻道—詳情頁(yè)”;
(2)扁平首頁(yè)到詳情頁(yè)的層次盡量少,既對抓取友好又(yòu)可(kě)以很(hěn)好的傳遞權重。
(3)網狀保證每個頁(yè)面都至少有(yǒu)一個文(wén)本鏈接指向,可(kě)以使網站盡可(kě)能(néng)全面的被抓取收錄,内鏈建設同樣對排序能(néng)夠産(chǎn)生積極作(zuò)用(yòng)。
(4)導航為(wèi)每個頁(yè)面加一個導航方便用(yòng)戶知曉所在路徑。
(5)子域與目錄的選擇相信有(yǒu)大批的站長(cháng)對此有(yǒu)疑問,在我們看來,當内容較少并且内容相關度較高時建議以目錄形式來實現,有(yǒu)利于權重的繼承與收斂;當内容量較多(duō)并且與主站相關度略差時建議再以子域的形式來實現。
2、簡潔美觀的url規則
(1)性網站中(zhōng)同一内容頁(yè)隻與一個url相對應,過多(duō)形式的url将分(fēn)散該頁(yè)面的權重,并且目标url在系統中(zhōng)有(yǒu)被濾重的風險;
(2)簡潔性動态參數盡量少,保證url盡量短;
(3)美觀性使得用(yòng)戶及機器能(néng)夠通過url即可(kě)判斷出頁(yè)面内容的主旨;我們推薦如下形式的url:url盡量短且易讀使得用(yòng)戶能(néng)夠快速理(lǐ)解,例如使用(yòng)拼音作(zuò)為(wèi)目錄名(míng)稱;同一内容在系統中(zhōng)隻産(chǎn)生的url與之對應,去掉無意義的參數;如果無法保證url的性,盡量使不同形式的url301到目标url;防止用(yòng)戶輸錯的備用(yòng)域名(míng)301至主域名(míng)。
3、其它注意事項
(1)不要忽略倒黴的robots文(wén)件,默認情況下部分(fēn)系統robots是封禁搜索引擎抓取的,當網站建立後及時查看并書寫合适的robots文(wén)件,網站日常維護過程中(zhōng)也要注意定期檢查;
(2)建立網站sitemap文(wén)件、死鏈文(wén)件,并及時通過百度站長(cháng)平台進行提交;
(3)部分(fēn)電(diàn)商(shāng)網站存在地域跳轉問題,有(yǒu)貨無貨建議統一做成一個頁(yè)面,在頁(yè)面中(zhōng)标識有(yǒu)無貨即可(kě),不要此地區(qū)無貨即返回一個無效頁(yè)面,由于spider出口的有(yǒu)限性将造成正常頁(yè)面無法收錄。
(4)合理(lǐ)利用(yòng)站長(cháng)平台提供的robots、sitemap、索引量、抓取壓力、死鏈提交、開封網站改版等工(gōng)具(jù)。