做seo的知道，robots文件是搜索引擎訪問(wèn)網(wǎng)站到達(dá)的第一個(gè)文件。robots文件里的內(nèi)容告訴搜索引擎，網(wǎng)站上的內(nèi)容那些可以抓取，哪些不可以抓取。搜索引擎會(huì)依照robots上的文件旨意來(lái)抓取網(wǎng)站的內(nèi)容。
接下來(lái)，搜索引擎就會(huì)按照網(wǎng)站上的鏈接進(jìn)行抓取，我們把搜索引擎形象的比作蜘蛛，網(wǎng)站上的各種鏈接就好像是蜘蛛網(wǎng)，以此我們可以理解，如果網(wǎng)站的架構(gòu)比較合理，那么蜘蛛爬取的就很方便。
如果網(wǎng)站結(jié)構(gòu)比較復(fù)雜，是由無(wú)數(shù)個(gè)鏈接成的網(wǎng)狀，一個(gè)一個(gè)的頁(yè)面連著，蜘蛛想要找到產(chǎn)品，也不是一件容易的事情，所以，網(wǎng)站地圖就顯得越來(lái)重要了。就如同我們?nèi)艘粯用康揭粋€(gè)陌生的地方，如果到一個(gè)陌生城市如果有張地圖，我們是不是很方便的去游覽這個(gè)城市呢。
網(wǎng)站地圖大致分為兩種：html網(wǎng)站地圖和xml網(wǎng)站地圖，有很多新手seo開(kāi)始不清楚二者某些方面的區(qū)別。
1.xml網(wǎng)站地圖是seo領(lǐng)域所說(shuō)的真正意義上的網(wǎng)站地圖，是給搜索引擎看準(zhǔn)備的，xml網(wǎng)站地圖可以告訴搜索引擎哪個(gè)頁(yè)面是重要頁(yè)面，就像地圖清晰呈現(xiàn)主街道，相當(dāng)于給了搜索引擎一個(gè)方向指引，以及內(nèi)容更新的頻率，但是xml網(wǎng)站地圖也是為搜索引擎提供參考意見(jiàn)而已，搜索引擎并不一定完全按照你設(shè)置的參數(shù)來(lái)定案，就像你游覽這個(gè)城市，想去哪里還是你說(shuō)了算。
2.html網(wǎng)站地圖是產(chǎn)品思維的網(wǎng)站地圖，是增強(qiáng)用戶瀏覽體驗(yàn)的，寫給網(wǎng)站用戶看的。它好比書(shū)的目錄，給用戶了解整個(gè)網(wǎng)站的網(wǎng)絡(luò)結(jié)構(gòu)，不至于迷路。
總結(jié)下：
html ：人看的網(wǎng)站地圖
xml：機(jī)器看的網(wǎng)站地圖
但是xml和html格式的地圖都需要寫入robots文件嗎？這個(gè)問(wèn)題沒(méi)有絕對(duì)的是或者不是，兩個(gè)都放如也可以，放一個(gè)也行。
但是基于上面說(shuō)的xml是一定要放的，目地是便于蜘蛛對(duì)網(wǎng)站的抓取。html格式的網(wǎng)站地圖，更適合放在網(wǎng)站的底部導(dǎo)航上。