在互聯(lián)網(wǎng)如此發(fā)達(dá)的今天,同一個(gè)資料會(huì)在多個(gè)網(wǎng)站發(fā)布,同一新聞會(huì)被大部分媒體網(wǎng)站報(bào)道,再加上小站長(zhǎng)和SEO人員孜孜不倦地網(wǎng)絡(luò)采集,造成了網(wǎng)絡(luò)上擁有大量的重復(fù)信息。然而當(dāng)用戶搜索某個(gè)關(guān)鍵詞時(shí),搜索引擎必定不想呈現(xiàn)給用戶的搜索結(jié)果都是相同的內(nèi)容。抓取這些重復(fù)的網(wǎng)頁(yè),在一定程度上就是對(duì)搜索引擎自身資源的浪費(fèi)