模板建站動態

    回顧過去，展望未來，未來成瞭，GOOGLE等是不會公之於眾的。我們可以將現有的搜索引擎看作一個黑盒，通過向黑盒提交輸入，判斷黑盒返回的輸出大致判斷黑盒裡面不為人知的技術細節。

    查詢處理與分詞是一個中文搜索引擎必不可少的工作，而百度作為一個典型的中文搜索引擎一直強調其“中文處理”方面具有其它搜索引擎所不具有的關鍵技術和優勢。那麼我們就來看看百度到底采用瞭哪些所謂的核心技術。我們分兩個部分來講述：查詢處理和中文分詞。

    先來談系列一：查詢處理

    用戶向搜索引擎提交查詢，搜索引擎一般在接受到用戶查詢後要做一些處理，然後在索引數據庫裡面提取相關的信息。那麼百度在接受到用戶查詢後做瞭些什麼工作呢？

    1、假設用戶提交瞭不隻一個查詢串，比如“信息檢索理論工具”。
    那麼搜索引擎首先做的是根據分隔符比如空格，標點符號，將查詢串分割成若幹子查詢串，比如上面的查詢就會被解析為：<信息檢索，理論，工具>三個子字符串；這個道理簡單，我們接著往下看。

    2、假設提交的查詢有重復的內容，搜索引擎怎麼處理呢？比如查詢“理論 工具理論”，百度是將重復的字符串當作隻出現過一次，也就是處理成等價的“理論工具”，而GOOGLE顯然是沒有進行歸並，而是將重復查詢子串的權重增大進行處理。那麼是如何得出這個結論的呢？我們可以將“理論工具”提交給百度，再返回文檔，大致看看第一頁的返回內容。接著繼續，我們提交查詢“理論 工具理論”，在看看返回結果，仍然是那麼多返回文檔，當然這個不能說明太多問題，那看看第一頁返回結果的排序，看出來瞭嗎？順序完全沒有變化，而 GOOGLE 則排序有些變動，這說明百度是將重復的查詢歸並成一個處理的，而且字符串之間的先後出現順序基本不予考慮（GOOGLE是考慮瞭這個順序關系的）。

    3、假設提交的中文查詢包含英文單詞，搜索引擎是怎麼處理的？比如查詢”電影BT下載”，百度的方法是將中文字符串中的英文當作一個整體保留，並以此為斷點將中文切分開，這樣上述的查詢就切為<電影，BT，下載>，不論中間的英文是否一個字典裡能查到的單詞也好，還是隨機的字符也好，都會當作一個整體來對待。至於為什麼，你用查詢“電影dfdfdf下載”看看結果就知道瞭。當然如果查詢中包含數字，也是如此辦理。

    到目前為止，看似都很簡單，也很清楚，百度怎麼處理用戶查詢的呢？歸納如下：首先根據分割符號將查詢分開，然後看看是否有重復的字符串，如果有，就拋棄多餘的，隻保留一個，接著判斷是否有英文或者數字，如果有的話，把英文或者數字當作一個整體保留並把前後的中文切開。

    暫時先談到這裡，接下來我們會談及中文分詞技術，請繼續關註我們第一頁！

培戀網絡原創版權，轉載請註明出處：

培戀網原創版權，網站建設提供網站代運營、模板網站制作轉載請注明出處,本文地址：http://www.gdszrq.com/news/49782.html