模板建站動態

東莞建站網絡公司告訴你搜索引擎面對的挑戰

 

　　搜索引擎系統是最復雜的計算系統之一，當今主流搜索引擎服務商都是有財力，人力，技術的大公司。即使有技術，人力，財力的保證，搜索引擎還是面臨很多技術挑戰。搜索引擎誕生后的十多年中，技術已經得到了長足的進步。我們今天看到的搜索結果質量與10年前相比已經好多了。不過這還只是一個開始，搜索引擎必然還會有更多創新，提供更多，更準確的內容。

 

　　1頁面抓取需要快而全面。

 

　　現在主流搜索引擎都已經能在幾天之內更新重要頁面，權重高的網站上的新文件幾小時甚至幾分鐘之內就會被收錄。不過，這種快速收錄和更新也只能局限于高權重網站。很多頁面幾個月不被重新抓取和更新，也是常見的。

 

　　要返回最好的結果，搜索引擎也必須抓取盡量全面的頁面，這就需要解決很多技術問題。一些網站并不利于搜索引擎蜘蛛爬行和抓取，諸如網站鏈接結構的缺陷，大量使用Flash,JavaScript腳本，或者把內容放在用戶必須登錄以后才能訪問的部分，都增大了搜索引擎抓取內容的難度。

 

　　2海量數據存儲。

 

　　一些大型網站單是一個網站就有百萬，千萬，甚至上億頁面，可以想象網上所有網站的頁面加起來是一個什么數據量。搜索引擎蜘蛛抓取頁面后，還必須有效存儲這些數據，數據結構必須合理，具備極高的擴展性，寫入及訪問速度要求也很高。

 

　　除了頁面數據，搜索引擎還需要存儲頁面之間的鏈接關系及大量歷史數據，這樣的數據量是用戶無法想象的。估計百度有三四十萬臺以上服務器，Google有幾十個數據中心，上百萬臺服務器。這樣大規模的數據存儲和訪問必然存在很多技術挑戰。

 

　　3索引處理快速有效，具有可擴展性。

 

　　搜索引擎將頁面數據抓取和存儲后，還要進行索引處理，包括鏈接關系的計算，正向索引，倒排索引等。由于數據庫中頁面數量大，進行PR之類的迭代計算也是耗時費力的。要想提供相關又及時的搜索結果，僅僅抓取沒有用，還必須進行大量索引計算。由于隨時都有新數據，新頁面加入，因此索引處理也要具備很好的擴展性。

 

　　4查詢處理快速準確。

 

　　查詢是普通用戶唯一能看到的搜索引擎工作步驟。用戶在搜索框輸入查詢詞，單擊“搜索”按鈕后，通常不到一秒就會看到搜索結果。表面最簡單的過程，實際上涉及非常復雜的后臺處理。在最后的查詢階段，最重要的難題是怎樣在不到一秒的時間內，快速從幾十萬，幾百萬，甚至幾千萬包含搜索詞的頁面中，找到最合理，最相關的1000個頁面，并且按照相關性，權威性排列。

 

　　5判斷用戶意圖及人工智能。

 

　　東莞建站網絡公司搜索引擎目前正在致力于基于對用戶搜索習慣的了解，歷史數據的積累，以及語義搜索技術的基礎上，判斷搜索意圖，理解文檔真實意義，返回更相關的結果。今后搜索引擎是否能達到人工只能水平，真正了解用戶查詢的意義和目前，讓我們拭目以待。