在日常使用百度搜索內(nèi)容的時(shí)候，從輸入關(guān)鍵詞，到百度給出搜索結(jié)果的過程，往往僅需幾毫秒即可完成。百度是如何在浩如煙海的互聯(lián)網(wǎng)資源中，以如此之快的速度將您的網(wǎng)站內(nèi)容展現(xiàn)給用戶?這背后蘊(yùn)藏著什么樣的工作流程和運(yùn)算邏輯?事實(shí)上，百度搜索引擎的工作并非僅僅如同首頁搜索框一樣簡單。

搜索引擎為用戶展現(xiàn)的每一條搜索結(jié)果，都對(duì)應(yīng)著互聯(lián)網(wǎng)上的一個(gè)頁面。每一條搜索結(jié)果從產(chǎn)生到被搜索引擎展現(xiàn)給用戶，都需要經(jīng)過四個(gè)過程：抓取、過濾、建立索引和輸出結(jié)果。

抓取

百度蜘蛛，會(huì)通過搜索引擎系統(tǒng)的計(jì)算，來決定對(duì)哪些網(wǎng)站施行抓取，以及抓取的內(nèi)容和頻率值。搜索引擎的計(jì)算過程會(huì)參考您的網(wǎng)站在歷史中的表現(xiàn)，比如內(nèi)容是否足夠優(yōu)質(zhì)，是否存在對(duì)用戶不友好的設(shè)置，是否存在過度的搜索引擎優(yōu)化行為等等。

當(dāng)您的網(wǎng)站產(chǎn)生新內(nèi)容時(shí)，Baiduspider會(huì)通過互聯(lián)網(wǎng)中某個(gè)指向該頁面的鏈接進(jìn)行訪問和抓取，如果您沒有設(shè)置任何外部鏈接指向網(wǎng)站中的新增內(nèi)容，則 Baiduspider是無法對(duì)其進(jìn)行抓取的。對(duì)于已被抓取過的內(nèi)容，搜索引擎會(huì)對(duì)抓取的頁面進(jìn)行記錄，并依據(jù)這些頁面對(duì)用戶的重要程度安排不同頻次的抓取更新工作。

需您要注意的是，有一些抓取軟件，為了各種目的，會(huì)偽裝成Baiduspider對(duì)您的網(wǎng)站進(jìn)行抓取，這可能是不受控制的抓取行為，嚴(yán)重時(shí)會(huì)影響到網(wǎng)站的正常運(yùn)作。點(diǎn)此識(shí)別Baiduspider的真?zhèn)?/p>

過濾

互聯(lián)網(wǎng)中并非所有的網(wǎng)頁都對(duì)用戶有意義，比如一些明顯的欺騙用戶的網(wǎng)頁，死鏈接，空白內(nèi)容頁面等。這些網(wǎng)頁對(duì)用戶、站長和百度來說，都沒有足夠的價(jià)值，因此百度會(huì)自動(dòng)對(duì)這些內(nèi)容進(jìn)行過濾，以避免為用戶和您的網(wǎng)站帶來不必要的麻煩。

建立索引

百度對(duì)抓取回來的內(nèi)容會(huì)逐一進(jìn)行標(biāo)記和識(shí)別，并將這些標(biāo)記進(jìn)行儲(chǔ)存為結(jié)構(gòu)化的數(shù)據(jù)，比如網(wǎng)頁的tag、title、metadescripiton、網(wǎng)頁外鏈及描述、抓取記錄。同時(shí)，也會(huì)將網(wǎng)頁中的關(guān)鍵詞信息進(jìn)行識(shí)別和儲(chǔ)存，以便與用戶搜索的內(nèi)容進(jìn)行匹配。

輸出結(jié)果

用戶輸入的關(guān)鍵詞，百度會(huì)對(duì)其進(jìn)行一系列復(fù)雜的分析，并根據(jù)分析的結(jié)論在索引庫中尋找與之最為匹配的一系列網(wǎng)頁，按照用戶輸入的關(guān)鍵詞所體現(xiàn)的需求強(qiáng)弱和網(wǎng)頁的優(yōu)劣進(jìn)行打分，并按照最終的分?jǐn)?shù)進(jìn)行排列，展現(xiàn)給用戶。