搜索引擎怎樣對(duì)付“暗網(wǎng)”

　　網(wǎng)海無(wú)邊，回頭是岸。

　　擺在搜索引擎面前的難題很多，剪不斷，理還亂，但有一個(gè)怎么繞也繞不開——暗網(wǎng)(hidden web)�；ヂ�(lián)網(wǎng)上每天都在誕生無(wú)窮無(wú)盡的新信息，這些信息存在的方式也無(wú)窮無(wú)盡——文字、聲音、圖像、交互數(shù)據(jù)，或者別的。

　　面對(duì)信息存在狀態(tài)的多元化，內(nèi)容的海量化，人類很焦慮，總想探求冰山底下不為人知的世界，這便是技術(shù)的偉大之處。

　　近來(lái)，由于百度“阿拉丁”的熱炒，“暗網(wǎng)”問(wèn)題又一次被大家關(guān)注。業(yè)內(nèi)人士也由此陷入一個(gè)誤區(qū)，實(shí)際上，早在1994年，Jill Ellsworth就開始提到“invisible Web”這個(gè)詞，“暗網(wǎng)”自搜索引擎誕生的那一天起，就一直是個(gè)問(wèn)題，恐怕也終將得不到100%的解決。

　　“暗網(wǎng)”有多暗?

　　既然是“暗網(wǎng)”，到底它有多大的容量，很難有一個(gè)明確的數(shù)字。有人說(shuō)，現(xiàn)在可搜索的網(wǎng)頁(yè)占到了37%;有人說(shuō)有100億個(gè)不重復(fù)的表單;還有人說(shuō)是淺層www資源的500倍。爭(zhēng)論這個(gè)問(wèn)題意義不大，對(duì)比淺層www(即Surface Web，靜態(tài)頁(yè)面、超鏈接、文件)，讓我們來(lái)看看BrightPlanet公司之前發(fā)布的一個(gè)技術(shù)白皮書(《The Deep Web-Surfacing the Hidden Value》)的結(jié)論：

　　1、Deep Web包含7500TB的信息，而Surface Web包含的信息容量只有19TB。

　　2、Deep Web包含5500億獨(dú)立文檔，想對(duì)應(yīng)的Surface Web只包含10億個(gè)。

　　3、現(xiàn)有的Deep Web站點(diǎn)估計(jì)超過(guò)100000個(gè)。

　　4、60個(gè)最大Deep Web站點(diǎn)就已包含750TB信息，超過(guò)Surface Web所包含信息的40倍。

　　5、平均看，Deep Web站點(diǎn)的月訪問(wèn)量比Surface Web站點(diǎn)高出50%，并且與Surface Web站點(diǎn)相比有更多的鏈接�？墒悄切┑湫偷拇笮虳eep Web站點(diǎn)在互聯(lián)網(wǎng)搜索領(lǐng)域卻不知名。

　　6、Deep Web是互聯(lián)網(wǎng)新信息增長(zhǎng)的最大來(lái)源。

　　7、Deep Web站點(diǎn)在信息內(nèi)容范圍上比一般Surface Web站點(diǎn)更專更深。

　　8、Deep Web包含的有效高質(zhì)內(nèi)容總量至少是Surface Web的1000到2000倍。

　　9、超過(guò)一半的Deep Web內(nèi)容都保存在專業(yè)領(lǐng)域的數(shù)據(jù)庫(kù)中。

　　10、95%的Deep Web信息都是面向公共訪問(wèn)的，而不是需要付費(fèi)或者訂閱的。

　　簡(jiǎn)單的說(shuō)，“暗網(wǎng)”比你想象中的還要龐大，還要未知，但它們的應(yīng)用卻比你想象中的要多。因此，我們可以得到一個(gè)結(jié)論——盡管網(wǎng)海無(wú)邊，但探索“暗網(wǎng)”對(duì)人類更從容地把握信息是極有意義的。

　　目前主流的應(yīng)對(duì)策略

　　之前我曾留意到陳佼的一篇針對(duì)“阿拉丁”的文章(深入解析百度“阿拉丁”平臺(tái))，其中提到了搜索引擎對(duì)“暗網(wǎng)”的應(yīng)對(duì)策略。實(shí)際上，針對(duì)暗網(wǎng)的策略非常復(fù)雜，簡(jiǎn)直可以發(fā)展多個(gè)交叉學(xué)科來(lái)研究，舉個(gè)簡(jiǎn)單的例子，微軟亞洲研究院一直在研究關(guān)于聲音信息的處理和檢索，這項(xiàng)研究耗時(shí)多年，一直未有突破性進(jìn)展，即便如此，它也只是對(duì)付“暗網(wǎng)”的一小部分。

　　飯要一口一口的吃。在我看來(lái)，當(dāng)前要解決的所謂“暗網(wǎng)”，主要是針對(duì)的是Dynamic content(動(dòng)態(tài)內(nèi)容)，這也是各大搜索引擎現(xiàn)在工作的重中之重。對(duì)此，主要有兩大策略——主動(dòng)策略和被動(dòng)策略。

　　這就好比有一座未知的寶藏，現(xiàn)在想要得到它，一種方法是拿著藏寶圖，將其找到，發(fā)掘出來(lái)，這就是所謂“主動(dòng)”;另一種方法是讓寶藏“自己顯露出來(lái)”，等待開發(fā)。

　　主動(dòng)策略：優(yōu)化數(shù)據(jù)分析，優(yōu)化算法，從堡壘的外部攻破。

　　Google的Jayant Madhavan在VLDB 2008會(huì)議上作了題為“Google’s Deep-Web Crawl”的報(bào)告，其中詳細(xì)闡述了Google的一些策略，其核心就是信息模板(informative templates)。其實(shí)理解起來(lái)很簡(jiǎn)單，可以叫做“混水摸魚”，多摸幾次，反復(fù)總結(jié)，就能最大限度接近于知道摸到的是魚還是石塊。

　　2008奧運(yùn)期間，百度也曾經(jīng)針對(duì)大量相關(guān)關(guān)鍵詞進(jìn)行處理優(yōu)化，整合各種狀態(tài)的內(nèi)容信息，取得了很好的效果。

　　被動(dòng)策略：讓網(wǎng)站方參與到“暗網(wǎng)”的顯現(xiàn)中來(lái)，主動(dòng)“洗白”。

　　這是一種迂回的策略。陳佼在博文中提到的One box、Subscribed Link、Search Monkey等都屬于這種，它是通過(guò)開放的API允許用戶主動(dòng)將結(jié)構(gòu)化的數(shù)據(jù)提交上來(lái)。百度公布的搜索開放平臺(tái)也是其中的先驅(qū)之一。

　　這種策略很討巧，但它不僅是個(gè)單純的技術(shù)問(wèn)題，更是個(gè)博弈問(wèn)題。據(jù)我所知，韓國(guó)的很多互聯(lián)網(wǎng)公司都拒絕google的爬蟲，很多報(bào)紙網(wǎng)站也對(duì)google的抓取深惡痛絕，并別提主動(dòng)協(xié)助了。

　　對(duì)比解析搜索巨頭應(yīng)對(duì)“暗網(wǎng)”的策略

　　在做對(duì)比解析之前，有一點(diǎn)我想表達(dá)：在應(yīng)對(duì)“暗網(wǎng)”方面，世界各地的搜索引擎幾乎是同時(shí)起步的，或許走的路子有一些差異，但殊途同歸，這一點(diǎn)尤其值得肯定。

　　Google：霸道而獨(dú)斷

　　如果你仔細(xì)解讀一下Google’s Deep-Web Crawl報(bào)告就會(huì)明白，Google依然以其引以為傲的算法來(lái)針對(duì)“暗網(wǎng)”，已經(jīng)出來(lái)的產(chǎn)品如onebox、Subscribed Links，乃至Google base等。

　　Google很懂技術(shù)，但樹大招風(fēng)，如果不懂得平衡各方利益，天才容易寡助。比如Google base這個(gè)產(chǎn)品，架子很大，但生態(tài)鏈太短，目前的發(fā)展看來(lái)并不樂(lè)觀。我倒是建議Google考慮收購(gòu)一下現(xiàn)在正火的Wolfram Alpha，從本質(zhì)上來(lái)說(shuō)，這也是一個(gè)對(duì)付“

　　暗網(wǎng)”的產(chǎn)品。

　　Yahoo：簡(jiǎn)單的事情復(fù)雜化，Search Monkey是Yahoo對(duì)付“暗網(wǎng)”的拳頭，很開放，很自由，很有顛覆感，但與Google習(xí)慣用技術(shù)眼光來(lái)解決問(wèn)題一樣，

　　Yahoo要面對(duì)的是無(wú)序和混亂的可能。之前與業(yè)內(nèi)朋友交流，大家有一個(gè)共識(shí)，Yahoo是一家非常強(qiáng)悍的公司，擁有無(wú)數(shù)天才，但它常常將簡(jiǎn)單的問(wèn)題復(fù)雜化，造成失控。在Search Monkey中，Yahoo開放了圖片、視頻、游戲等大量?jī)?nèi)容，展現(xiàn)的權(quán)限都交給用戶決定，也是基于這一思維。

　　百度：聰明而謹(jǐn)慎

　　百度的搜索開放平臺(tái)很有意思，它有3個(gè)非常突出的特點(diǎn)：

　　其一，開放卻又限制。思維上是開放的，面向的也是所有的網(wǎng)站，但在數(shù)據(jù)內(nèi)容和網(wǎng)站的資質(zhì)上，它又有嚴(yán)格的審核，以保證搜索體驗(yàn)。在哲學(xué)中有一句話說(shuō)：自由不是絕對(duì)的，而是相對(duì)的。百度的中庸在搜索開放平臺(tái)上反映得淋漓盡致。

　　其二，注重利益的均衡。和Google、Yahoo不同，百度的策略注重生態(tài)平衡——搜索引擎、網(wǎng)站、用戶。它的機(jī)制是：百度為用戶提供更好的搜索體驗(yàn)，把控資源，讓更優(yōu)質(zhì)的網(wǎng)站內(nèi)容得到展現(xiàn)，而網(wǎng)站從中攫取品牌價(jià)值和流量的提升。

　　其三，謹(jǐn)慎對(duì)待一切。我和一些站長(zhǎng)就搜索開放平臺(tái)進(jìn)行過(guò)交流，在提交審核的數(shù)據(jù)中，百度偏好“確定性信息”和“數(shù)字性信息”，而對(duì)一些模棱兩可、非確定性文字信息幾乎都拒之門外，從中可以看出百度搜索開放平臺(tái)的謹(jǐn)慎。

　　三大巨頭都是將搜索引擎從“可讀”變?yōu)椤翱蓪憽保�但不同的思維方式?jīng)Q定了不同的處理方式。不管如何，在應(yīng)對(duì)“暗網(wǎng)”的戰(zhàn)爭(zhēng)中，信息的使用者才是最大的贏家。

　　最后送一句話給致力于突破“暗網(wǎng)”的搜索業(yè)界朋友們：人類若能妥善地搜尋資料，實(shí)在已經(jīng)改變世界了。