搜索引擎的3個(gè)目標(biāo)

搜索引擎可以說是目前所有互聯(lián)網(wǎng)應(yīng)用里技術(shù)含量最高的一種，盡管其應(yīng)用形式非常簡(jiǎn)單：用戶輸入查詢?cè)~，搜索引擎返回搜索結(jié)果。但是要為以億計(jì)數(shù)的互聯(lián)網(wǎng)用戶提供準(zhǔn)確快速的搜索結(jié)果，里面包含了很多技術(shù)手段?？偟膩碚f，搜索引擎技術(shù)所希望達(dá)到的目標(biāo)可以歸納為：更全、更快、更準(zhǔn)，如圖1-1所示。

圖1-1　搜索引擎3個(gè)目標(biāo)

所謂“更全”，是從其索引的網(wǎng)頁數(shù)量而言的，目前任意一個(gè)商業(yè)搜索引擎索引網(wǎng)頁的覆蓋范圍都只占了互聯(lián)網(wǎng)頁面的一部分，可以通過提高網(wǎng)絡(luò)爬蟲相關(guān)技術(shù)來達(dá)到此目標(biāo)。

“更快”這個(gè)目標(biāo)則貫穿于搜索引擎的大多數(shù)技術(shù)方向，比如索引相關(guān)技術(shù)、緩存等技術(shù)的提出都是直接為了達(dá)到此目的。而其他很多技術(shù)也間接為此服務(wù)，即使是分布式海量云存儲(chǔ)平臺(tái)，也是為了能夠處理海量的網(wǎng)頁數(shù)據(jù)，以達(dá)到對(duì)“更全”和“更快”這兩個(gè)目標(biāo)的響應(yīng)和支持。

在這3個(gè)目標(biāo)中，如何使得搜索結(jié)果“更準(zhǔn)”是最為關(guān)鍵的目標(biāo)。無論是排序技術(shù)也好，還是鏈接分析技術(shù)也好，抑或是用戶研究等技術(shù)，最終都是為了使搜索結(jié)果更加準(zhǔn)確，以此增強(qiáng)用戶體驗(yàn)。對(duì)于一個(gè)搜索引擎來說，達(dá)到“更全”與“更快”可以使其不落后于同類產(chǎn)品，但是如果能夠做到“更準(zhǔn)”，則能夠構(gòu)建核心競(jìng)爭(zhēng)能力。

搜索引擎的3個(gè)核心問題

如上所述，搜索引擎如何能夠搜得更準(zhǔn)是其最重要的目標(biāo)，那么如何才能使得搜索結(jié)果更準(zhǔn)確？這里面涉及了3個(gè)核心問題。

3個(gè)核心問題

1　用戶真正的需求是什么

搜索引擎用戶輸入的查詢請(qǐng)求非常簡(jiǎn)短，查詢的平均長(zhǎng)度是2.7個(gè)單詞。如何從如此短的查詢請(qǐng)求里獲知隱藏其后的真實(shí)用戶需求？這是搜索引擎首先需要解決的非常重要的問題。如果不能獲取用戶真正的搜索意圖，搜索的準(zhǔn)確性無從談
起，即使后續(xù)內(nèi)容匹配算法再精巧也無濟(jì)于事。

從另外一個(gè)角度看，即使是同一個(gè)查詢?cè)~，不同用戶的搜索目的是不同的，如何識(shí)別這種差異？如果更進(jìn)一步，即使是同一個(gè)用戶發(fā)出的同一個(gè)查詢?cè)~，也可能因?yàn)橛脩羲巿?chǎng)景不同，其目的存在差異，又如何識(shí)別？所有這些都是搜索引擎需要解決的核心問題，即用戶在此時(shí)此地發(fā)出某個(gè)查詢，他的真實(shí)搜索意圖到底是什么。

2　哪些信息是和用戶需求真正相關(guān)的

上述第一個(gè)核心問題是從用戶需求角度出發(fā)的，另外兩個(gè)核心問題則是從數(shù)據(jù)角度考慮的。搜索引擎本質(zhì)上是一個(gè)匹配過程，即從海量數(shù)據(jù)里面找到能夠匹配用戶需求的內(nèi)容。所以，在明確用戶真實(shí)意圖這個(gè)前提條件做到后，如何找到能夠滿
足用戶需求的信息則成為關(guān)鍵因素。

判斷內(nèi)容和用戶查詢關(guān)鍵詞的相關(guān)性，一直是信息檢索領(lǐng)域的核心研究課題，不斷提出的信息檢索模型即在試圖解決這個(gè)問題。相關(guān)研究歷時(shí)近60年，盡管不斷有新方法提出，檢索效果總體而言也在逐步改進(jìn)，但是這個(gè)領(lǐng)域的基本指導(dǎo)思想還是基于關(guān)鍵詞的匹配，包括現(xiàn)在所有搜索引擎的相關(guān)性計(jì)算部分，其基本計(jì)算思路和幾十年前相比并無本質(zhì)差異。

如何能夠在這個(gè)核心問題上有所突破？這個(gè)問題將會(huì)越來越重要，而從關(guān)鍵詞匹配到讓機(jī)器真正理解信息所代表的含義是解決這個(gè)問題必須邁過的門檻。從目前來看，盡管包括人工智能在內(nèi)的很多相關(guān)研究領(lǐng)域?qū)Υ擞兴M(jìn)展，但是短期內(nèi)還未能看到解決這一問題的清晰技術(shù)思路。

3　哪些信息是用戶可以信賴的

搜索本質(zhì)上是找到能夠滿足用戶需求的信息，盡管相關(guān)性是衡量信息是否滿足用戶需求的一個(gè)重要方面，但并非全部。信息是否值得信賴是另外一個(gè)重要的衡量標(biāo)準(zhǔn)。

搜索引擎需要處理的信息對(duì)象是互聯(lián)網(wǎng)上任意用戶發(fā)布的內(nèi)容，但是內(nèi)容發(fā)布者所發(fā)布內(nèi)容是否可信并無明確判斷標(biāo)準(zhǔn)。這其間存在惡意的信息發(fā)布者故意歪曲事實(shí)的情況，也有信息發(fā)布者無心的錯(cuò)誤。在同一個(gè)查詢的搜索結(jié)果內(nèi)，完全可能存在相互矛盾的搜索答案，此時(shí)信息的可信性即成為突出問題。

比如用戶想到某一餐館就餐，在做出消費(fèi)決定前，在網(wǎng)上搜索曾在此餐館就餐的用戶的過往評(píng)論，以此輔助決策。而搜索到的相關(guān)內(nèi)容，完全有可能是餐館故意發(fā)布的一些好評(píng)信息，以此誤導(dǎo)消費(fèi)者。但是如果信息發(fā)布者是該用戶的朋友，那么信息的可信性就會(huì)大大增加。

從某種角度看，鏈接分析之所以能夠改善搜索結(jié)果，可以認(rèn)為是對(duì)信息的可信賴度做出的評(píng)判。即將網(wǎng)頁的重要性作為是否可信賴的一個(gè)判斷標(biāo)準(zhǔn)，返回重要網(wǎng)頁即是返回可信賴網(wǎng)頁。