搜索引擎怎樣對付“暗網”

　　網海無邊，回頭是岸。

　　擺在搜索引擎面前的難題很多，剪不斷，理還亂，但有一個怎么繞也繞不開——暗網(hidden web)。互聯網上每天都在誕生無窮無盡的新信息，這些信息存在的方式也無窮無盡——文字、聲音、圖像、交互數據，或者別的。

　　面對信息存在狀態的多元化，內容的海量化，人類很焦慮，總想探求冰山底下不為人知的世界，這便是技術的偉大之處。

　　近來，由于百度“阿拉丁”的熱炒，“暗網”問題又一次被大家關注。業內人士也由此陷入一個誤區，實際上，早在1994年，Jill Ellsworth就開始提到“invisible Web”這個詞，“暗網”自搜索引擎誕生的那一天起，就一直是個問題，恐怕也終將得不到100%的解決。

　　“暗網”有多暗?

　　既然是“暗網”，到底它有多大的容量，很難有一個明確的數字。有人說，現在可搜索的網頁占到了37%;有人說有100億個不重復的表單;還有人說是淺層www資源的500倍。爭論這個問題意義不大，對比淺層www(即Surface Web，靜態頁面、超鏈接、文件)，讓我們來看看BrightPlanet公司之前發布的一個技術白皮書(《The Deep Web-Surfacing the Hidden Value》)的結論：

　　1、Deep Web包含7500TB的信息，而Surface Web包含的信息容量只有19TB。

　　2、Deep Web包含5500億獨立文檔，想對應的Surface Web只包含10億個。

　　3、現有的Deep Web站點估計超過100000個。

　　4、60個最大Deep Web站點就已包含750TB信息，超過Surface Web所包含信息的40倍。

　　5、平均看，Deep Web站點的月訪問量比Surface Web站點高出50%，并且與Surface Web站點相比有更多的鏈接。可是那些典型的大型Deep Web站點在互聯網搜索領域卻不知名。

　　6、Deep Web是互聯網新信息增長的最大來源。

　　7、Deep Web站點在信息內容范圍上比一般Surface Web站點更專更深。

　　8、Deep Web包含的有效高質內容總量至少是Surface Web的1000到2000倍。

　　9、超過一半的Deep Web內容都保存在專業領域的數據庫中。

　　10、95%的Deep Web信息都是面向公共訪問的，而不是需要付費或者訂閱的。

　　簡單的說，“暗網”比你想象中的還要龐大，還要未知，但它們的應用卻比你想象中的要多。因此，我們可以得到一個結論——盡管網海無邊，但探索“暗網”對人類更從容地把握信息是極有意義的。

　　目前主流的應對策略

　　之前我曾留意到陳佼的一篇針對“阿拉丁”的文章(深入解析百度“阿拉丁”平臺)，其中提到了搜索引擎對“暗網”的應對策略。實際上，針對暗網的策略非常復雜，簡直可以發展多個交叉學科來研究，舉個簡單的例子，微軟亞洲研究院一直在研究關于聲音信息的處理和檢索，這項研究耗時多年，一直未有突破性進展，即便如此，它也只是對付“暗網”的一小部分。

　　飯要一口一口的吃。在我看來，當前要解決的所謂“暗網”，主要是針對的是Dynamic content(動態內容)，這也是各大搜索引擎現在工作的重中之重。對此，主要有兩大策略——主動策略和被動策略。

　　這就好比有一座未知的寶藏，現在想要得到它，一種方法是拿著藏寶圖，將其找到，發掘出來，這就是所謂“主動”;另一種方法是讓寶藏“自己顯露出來”，等待開發。

　　主動策略：優化數據分析，優化算法，從堡壘的外部攻破。

　　Google的Jayant Madhavan在VLDB 2008會議上作了題為“Google’s Deep-Web Crawl”的報告，其中詳細闡述了Google的一些策略，其核心就是信息模板(informative templates)。其實理解起來很簡單，可以叫做“混水摸魚”，多摸幾次，反復總結，就能最大限度接近于知道摸到的是魚還是石塊。

　　2008奧運期間，百度也曾經針對大量相關關鍵詞進行處理優化，整合各種狀態的內容信息，取得了很好的效果。

　　被動策略：讓網站方參與到“暗網”的顯現中來，主動“洗白”。

　　這是一種迂回的策略。陳佼在博文中提到的One box、Subscribed Link、Search Monkey等都屬于這種，它是通過開放的API允許用戶主動將結構化的數據提交上來。百度公布的搜索開放平臺也是其中的先驅之一。

　　這種策略很討巧，但它不僅是個單純的技術問題，更是個博弈問題。據我所知，韓國的很多互聯網公司都拒絕google的爬蟲，很多報紙網站也對google的抓取深惡痛絕，并別提主動協助了。

　　對比解析搜索巨頭應對“暗網”的策略

　　在做對比解析之前，有一點我想表達：在應對“暗網”方面，世界各地的搜索引擎幾乎是同時起步的，或許走的路子有一些差異，但殊途同歸，這一點尤其值得肯定。

　　Google：霸道而獨斷

　　如果你仔細解讀一下Google’s Deep-Web Crawl報告就會明白，Google依然以其引以為傲的算法來針對“暗網”，已經出來的產品如onebox、Subscribed Links，乃至Google base等。

　　Google很懂技術，但樹大招風，如果不懂得平衡各方利益，天才容易寡助。比如Google base這個產品，架子很大，但生態鏈太短，目前的發展看來并不樂觀。我倒是建議Google考慮收購一下現在正火的Wolfram Alpha，從本質上來說，這也是一個對付“

　　暗網”的產品。

　　Yahoo：簡單的事情復雜化，Search Monkey是Yahoo對付“暗網”的拳頭，很開放，很自由，很有顛覆感，但與Google習慣用技術眼光來解決問題一樣，

　　Yahoo要面對的是無序和混亂的可能。之前與業內朋友交流，大家有一個共識，Yahoo是一家非常強悍的公司，擁有無數天才，但它常常將簡單的問題復雜化，造成失控。在Search Monkey中，Yahoo開放了圖片、視頻、游戲等大量內容，展現的權限都交給用戶決定，也是基于這一思維。

　　百度：聰明而謹慎

　　百度的搜索開放平臺很有意思，它有3個非常突出的特點：

　　其一，開放卻又限制。思維上是開放的，面向的也是所有的網站，但在數據內容和網站的資質上，它又有嚴格的審核，以保證搜索體驗。在哲學中有一句話說：自由不是絕對的，而是相對的。百度的中庸在搜索開放平臺上反映得淋漓盡致。

　　其二，注重利益的均衡。和Google、Yahoo不同，百度的策略注重生態平衡——搜索引擎、網站、用戶。它的機制是：百度為用戶提供更好的搜索體驗，把控資源，讓更優質的網站內容得到展現，而網站從中攫取品牌價值和流量的提升。

　　其三，謹慎對待一切。我和一些站長就搜索開放平臺進行過交流，在提交審核的數據中，百度偏好“確定性信息”和“數字性信息”，而對一些模棱兩可、非確定性文字信息幾乎都拒之門外，從中可以看出百度搜索開放平臺的謹慎。

　　三大巨頭都是將搜索引擎從“可讀”變為“可寫”，但不同的思維方式決定了不同的處理方式。不管如何，在應對“暗網”的戰爭中，信息的使用者才是最大的贏家。

　　最后送一句話給致力于突破“暗網”的搜索業界朋友們：人類若能妥善地搜尋資料，實在已經改變世界了。