要想在搜索引擎中有好的排名表現(xiàn)，網(wǎng)站收錄是基礎(chǔ)。另一方面，頁面收錄的數(shù)量級也代表了網(wǎng)站的整體質(zhì)量。在我看來，要想收錄網(wǎng)站，首先要了解搜索引擎的工作原理，這樣才能迎合搜索規(guī)則，讓網(wǎng)站收錄達(dá)到理想狀態(tài)。搜索引擎的工作原理非常復(fù)雜，下面我們就來簡單說一下搜索引擎如何收集并實現(xiàn)網(wǎng)頁的排名。

一、搜索引擎工作過程大致可以分為三個階段：

1.蜘蛛爬行和抓取：

搜索引擎蜘蛛通過跟蹤鏈接來查找和訪問網(wǎng)頁，讀取網(wǎng)頁的Html代碼，并將其存儲在數(shù)據(jù)庫中。

2.內(nèi)容預(yù)處理：

索引程序?qū)ψト〉捻撁鏀?shù)據(jù)進(jìn)行文本提取、中文分詞、索引、倒排索引等處理，供排名程序調(diào)用。

3.關(guān)鍵詞內(nèi)容排名：

用戶輸入查詢詞后，排名程序調(diào)用索引數(shù)據(jù)庫數(shù)據(jù)，計算相關(guān)性，然后按照一定格式生成搜索結(jié)果頁面。

二、蜘蛛爬行方式

1、蜘蛛通道

相信大家都知道。當(dāng)蜘蛛訪問任何網(wǎng)站時，它都會首先訪問網(wǎng)站根目錄中的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件和目錄，蜘蛛會遵守協(xié)議，不會抓取被禁止的URL。

2、跟蹤鏈接

為了在互聯(lián)網(wǎng)上抓取盡可能多的頁面，搜索引擎蜘蛛會跟蹤頁面上的鏈接，并從一個頁面爬到下一個頁面。最簡單的爬行策略分為兩種：一種是深度優(yōu)先，另一種是廣度優(yōu)先。深度意味著蜘蛛沿著發(fā)現(xiàn)的鏈接爬行，直到前面沒有其他鏈接，然后返回靠前頁，沿著另一個鏈接爬行。

是指當(dāng)蜘蛛在一個頁面上找到多個鏈接時，它不會一路跟隨一個鏈接前進(jìn)，而是一次爬完頁面上所有的一級鏈接，然后沿著二級頁面上找到的鏈接爬到三級頁面。

3、引蜘蛛

如果SEO人員想被收錄到百度網(wǎng)站上，就要盡量吸引蜘蛛來抓取，因為蜘蛛只能抓取有價值的頁面。這里有五個影響因素：網(wǎng)站和頁面權(quán)重、頁面更新程度、導(dǎo)入鏈接、與首頁的距離和URL結(jié)構(gòu)。

4、地址庫

為了避免反復(fù)抓取和爬取網(wǎng)站，搜索引擎會建立一個地址數(shù)據(jù)庫，記錄已經(jīng)找到但沒有爬取的頁面，以及已經(jīng)爬取的頁面。蜘蛛在頁面上找到鏈接后不會立即訪問，而是將網(wǎng)址存儲在地址庫中，然后統(tǒng)一安排爬行。

5、地址庫中有幾個網(wǎng)址來源：

(1)手動輸入種子網(wǎng)站；

(2)蜘蛛抓取頁面后，從HTML中解析出新的鏈接URL，并與地址庫中的數(shù)據(jù)進(jìn)行比較。如果地址庫中沒有網(wǎng)站，將存儲在地址庫中進(jìn)行訪問；

(3)站長通過界面提交的網(wǎng)址；

(4)站長通過XML網(wǎng)站地圖和站長平臺提交的網(wǎng)址；

(5)文件存儲。搜索引擎蜘蛛捕獲的數(shù)據(jù)存儲在原始頁面數(shù)據(jù)庫中。

(6)爬行時檢測復(fù)制的內(nèi)容。

三、內(nèi)容預(yù)處理

"預(yù)處理"也被稱為"索引"，因為索引的主要內(nèi)容是預(yù)處理：

1、提取文字

我們存儲在原始頁面數(shù)據(jù)庫中的是HTML代碼，其中不僅包含用戶可以直接在頁面上看到的文本內(nèi)容，還包含JS、AJAX等搜索引擎無法用于排名的其他內(nèi)容。首先要做的是從HTML文件中移除這些無法解決的內(nèi)容，提取出可以排序的文本內(nèi)容。

2、中文分詞

分詞是中文搜索引擎的一個獨特步驟，在存儲/處理頁面/用戶搜索時基于詞。基本上有兩種方法：一種是基于字典匹配，另一種是基于統(tǒng)計。

3、去停止詞

無論是英文還是中文，頁面上有一些詞出現(xiàn)頻率很高，對內(nèi)容沒有影響，比如：的、啊、哈等。這些單詞叫停止詞。搜索引擎將刪除這些停止詞，使數(shù)據(jù)主題更加突出，并減少不必要的計算。

4、去噪聲詞

大多數(shù)頁面中有一些內(nèi)容對頁面的主題貢獻(xiàn)不大。比如A頁的內(nèi)容是一篇關(guān)于百度網(wǎng)站的文章，關(guān)鍵詞是百度網(wǎng)站。然而，除了解釋這個內(nèi)容的主要內(nèi)容之外，還有頁眉、頁腳和廣告等區(qū)域一起組成了這個頁面。

出現(xiàn)在這些部分的單詞可能與頁面內(nèi)容本身的關(guān)鍵詞無關(guān)。搜索引擎的排序程序在對數(shù)據(jù)進(jìn)行排序時無法參考這些有噪聲的內(nèi)容，因此需要在預(yù)處理階段對這些噪聲進(jìn)行區(qū)分和消除。消除噪音的方法是根據(jù)HTML標(biāo)簽將頁面分成塊，如頁眉標(biāo)簽和頁腳標(biāo)簽等。刪除這些區(qū)域后，剩下的就是頁面的主要內(nèi)容。

5、內(nèi)容去重

也就是說，重復(fù)的網(wǎng)頁被刪除，同一篇文章經(jīng)常在同一網(wǎng)站的不同網(wǎng)站/不同地址重復(fù)出現(xiàn)。為了用戶的體驗，重復(fù)數(shù)據(jù)刪除是必要的，搜索引擎將識別并刪除頁面上的重復(fù)內(nèi)容。這個過程也叫內(nèi)容去重，也是影響百度網(wǎng)站收錄的點之一。

6、正向索引

簡稱索引。經(jīng)過以上步驟(提取、分詞、消噪、去重)，搜索引擎最終得到能夠反映頁面主要內(nèi)容、以詞為單位的較早內(nèi)容。

接下來，搜索引擎的索引程序提取關(guān)鍵詞，并根據(jù)由分詞程序劃分的單詞將頁面轉(zhuǎn)換成由關(guān)鍵詞組成的***。同時需要記錄頻率、頻次、格式(如標(biāo)題標(biāo)簽、黑體、H標(biāo)簽、錨文本等。)和每個關(guān)鍵詞在頁面上的位置(如頁面的靠前段等)。).搜索引擎的索引程序會將頁面和關(guān)鍵詞構(gòu)成的詞庫結(jié)構(gòu)存儲到索引數(shù)據(jù)庫中。

7、倒排索引

遠(yuǎn)期指數(shù)不能直接用于排名。假設(shè)用戶搜索關(guān)鍵字。如果只有正向索引，排名程序需要掃描索引數(shù)據(jù)庫中的所有文件，找出包含關(guān)鍵字的文件，然后計算相關(guān)性。

這種計算無法滿足實時返回排名結(jié)果的要求。搜索引擎會提前對所有關(guān)鍵詞進(jìn)行分類，將正向索引數(shù)據(jù)庫重構(gòu)為反向索引，將文件到關(guān)鍵詞的映射轉(zhuǎn)換為關(guān)鍵詞到文件的映射。在倒排索引中，關(guān)鍵字是主鍵，每個關(guān)鍵字對應(yīng)一系列文件。例如，顯示在下面靠前行右側(cè)的文件都是包含關(guān)鍵字1的文件。這樣，當(dāng)用戶搜索關(guān)鍵詞時，排序程序在倒排索引中定位該關(guān)鍵詞，并且可以立即找出所有關(guān)鍵詞的文件。

四、搜索結(jié)果排名

經(jīng)過前面的蜘蛛抓取頁面，對數(shù)據(jù)預(yù)處理和索引程序計算得到倒排索引后，搜索引擎就準(zhǔn)備好可以隨時處理用戶搜索了。用戶在搜索框輸入想要查詢的內(nèi)容后，排名程序調(diào)用索引庫的數(shù)據(jù)，計算排名后將內(nèi)容展示在搜索結(jié)果頁中。

1、搜索詞處理

搜索引擎接收到用戶輸入的搜索詞后，需要對搜索詞做一些處理，然后才進(jìn)入排名過程。搜索詞處理過程包括：中文分詞、去停止詞、指令處理。

完成上面的步驟后，搜索引擎對剩下的內(nèi)容的默認(rèn)處理方式是在關(guān)鍵詞之間使用"與"邏輯。

比如用戶在搜索框中輸入"減肥的方法"，經(jīng)過分詞和去停止詞后，剩下的關(guān)鍵詞為"減肥"、"方法"，搜索引擎排序時默認(rèn)認(rèn)為，用戶想要查詢的內(nèi)容既包含"減肥"，也包含"方法"。

2、文件匹配

搜索詞經(jīng)過上面的處理后，搜索引擎得到的是以詞為單位的關(guān)鍵詞***。進(jìn)入的下一個階段：文件匹配階段，就是找出含有所有關(guān)鍵詞的文件。在索引部分提到的倒排索引使得文件匹配能夠快速完成，假設(shè)用戶搜索"關(guān)鍵詞1 關(guān)鍵詞2"，排名程序只要在倒排索引中找到"關(guān)鍵詞1"和"關(guān)鍵詞2"這兩個詞，就能找到分別含有這兩個詞的所有頁面文件。

3、初始子集的選擇

找到包含所有關(guān)鍵詞的匹配文件后，還不能對這些文件進(jìn)行相關(guān)性計算，因為在實際情況中，找到的文件經(jīng)常會有幾十、幾百萬，甚至上千萬個。要對這么多文件實時進(jìn)行相關(guān)性計算，需要的時間還是挺長的。百度搜索引擎，最多只會返回760條結(jié)果，所以只需要計算前760個結(jié)果的相關(guān)性，就能滿足要求。

由于所有匹配文件都已經(jīng)具備了最基本的相關(guān)性（這些文件都包含所有查詢關(guān)鍵詞），搜索引擎會先篩選出1000個頁面權(quán)重較高的一個文件，通過對權(quán)重的篩選初始化一個子集，再對這個子集中的頁面進(jìn)行相關(guān)性計算。

4、相關(guān)性計算

用權(quán)重選出初始子集之后，就是對子集中的頁面計算關(guān)鍵詞相關(guān)性的步驟了。計算相關(guān)性是排名過程中最重要的一步，影響相關(guān)性的主要因素包括如下幾個方面：

① 關(guān)鍵詞常用程度

經(jīng)過分詞后的多個關(guān)鍵詞，對整個搜索字符串的意義貢獻(xiàn)并不相同。越常用的詞對搜索詞的意義貢獻(xiàn)越小，越不常用的詞對搜索詞的意義貢獻(xiàn)越大。所以搜索引擎對搜索詞串中的關(guān)鍵詞并不是一視同仁地處理，而是根據(jù)常用程度進(jìn)行加權(quán)。不常用的詞加權(quán)系數(shù)高，常用詞加權(quán)系數(shù)低，排名算法對不常用的詞給予更多關(guān)注。

② 詞頻及密度

一般認(rèn)為在沒有關(guān)鍵詞堆積的情況下，搜索詞在頁面中出現(xiàn)的次數(shù)多，密度越高，說明頁面與搜索詞越相關(guān)。當(dāng)然這只是一個大致規(guī)律，實際情況未必如此，所以相關(guān)性計算還有其他因素。出現(xiàn)頻率及密度只是因素的一部分，而且重要程度越來越低。

③ 關(guān)鍵詞位置及形式

就像在索引部分中提到的，頁面關(guān)鍵詞出現(xiàn)的格式和位置都被記錄在索引庫中。關(guān)鍵詞出現(xiàn)在比較重要的位置，如標(biāo)題標(biāo)簽、黑體、H1等，說明頁面與關(guān)鍵詞越相關(guān)，這一部分就是頁面SEO所要解決的。

④ 關(guān)鍵詞距離

切分后的關(guān)鍵詞完整匹配的出現(xiàn)，說明與搜索詞最相關(guān)。比如搜索"減肥方法"時，頁面上連續(xù)完整出現(xiàn)"減肥方法"四個字是最相關(guān)的。如果"減肥"和"方法"兩個詞沒有連續(xù)匹配出現(xiàn)，出現(xiàn)的距離近一些，也被搜索引擎認(rèn)為相關(guān)性稍微大一些。

⑤ 鏈接分析及頁面權(quán)重

除了頁面本身的因素，頁面之間的鏈接和權(quán)重關(guān)系也影響關(guān)鍵詞的相關(guān)性，其中最重要的是錨文字。頁面有越多以搜索詞為錨文字的導(dǎo)入鏈接，說明頁面的相關(guān)性越強。鏈接分析還包括了鏈接源頁面本身的內(nèi)容主題、錨文字周圍的文字等。

小結(jié)：了解這些知識對于我們做百度網(wǎng)站收錄有重要意義，比如標(biāo)題要包含用戶可能搜索的需求詞，正文適量體現(xiàn)關(guān)鍵詞或拆分詞有助于判斷內(nèi)容與用戶搜索詞的相關(guān)性。

五、SEO搜索引擎營銷推廣

1、定位好網(wǎng)站推廣的目標(biāo)

一個網(wǎng)站在發(fā)展過程中有著不一樣的目標(biāo)，有可能會是尋找客戶，增加流量等等，所以確定好合適的推廣目標(biāo)有助于選擇一個好的關(guān)鍵詞。

2、搜集信息，了解市場情況

市場信息千變?nèi)f化，隨時隨地的了解市場的情況是非常有必要的，通過了解市場的基本情況，掌握信息動態(tài)達(dá)到選取關(guān)鍵詞的目的。

靠前利用競價方式提高網(wǎng)站名次，大部分用戶不會看搜索引擎后3頁的內(nèi)容，只有排名靠前的信息才會得到用戶的關(guān)注。通過競價的方式來獲取名次是許多中小網(wǎng)站常用的一種方法，這種方法能夠快速提高網(wǎng)站名次，帶來人氣與流量，缺點就是要花錢，如果有需要選擇這種方式也是可行的。

第二優(yōu)化內(nèi)部，找出適合搜索引擎搜索的法制。搜索引擎進(jìn)行收錄有一套基本的法則，如果你的網(wǎng)站順應(yīng)了搜索引擎的法則名次就能夠得到很大的提高，相反網(wǎng)站與搜索引擎法則相違背的話，名次肯定不是很理想的。

3、選取人氣比較旺的搜索引擎，如百度、搜狗、360搜索等。

4、要選取最恰當(dāng)?shù)年P(guān)鍵詞，因為只有選取了相關(guān)度高的關(guān)鍵詞，才能讓查找者方便找到。

5、要確保排名靠前，信息搜索者在搜索引擎上使用關(guān)鍵詞搜索時，會查找到無數(shù)個登記注冊的企業(yè)網(wǎng)站，然而，查找者往往只關(guān)注排在前十或二十位的企業(yè)網(wǎng)站。

六、那么如何符合搜索引擎的法則呢

1、網(wǎng)頁設(shè)計中減少圖片和FLASH文件，在網(wǎng)頁中圖片和FLASH過多會影響網(wǎng)站內(nèi)部的速度，而且搜索引擎在識別有一些圖片和FLASH的時候并不能夠完全識別出來，搜索引擎就會認(rèn)為是廢的，這樣的話網(wǎng)站的PR值分會得到降低。

2、可以利用單頁設(shè)置關(guān)鍵詞來提高名次，關(guān)鍵詞在搜索引擎中占了很大一部分比重，提高關(guān)鍵詞的設(shè)置也可以達(dá)到優(yōu)化網(wǎng)站的目的。

3、友情鏈接要選好、用好。友情鏈接用好了能夠給網(wǎng)站帶來很大的流量，這都是網(wǎng)站站長需要做的實在的事情。

搜索引擎推廣方法總結(jié)：

搜索引擎可以說是網(wǎng)民的超級百科全書，想要知道任何東西，都可以通過搜搜引擎來實現(xiàn)。據(jù)統(tǒng)計，網(wǎng)站四分之三以上的訪問量都來自搜索引擎推薦，正因搜索引擎的存在，給企業(yè)推廣產(chǎn)品和服務(wù)提供了良好的契機。當(dāng)我們做好一個網(wǎng)站并發(fā)布了，那我們要怎么做才能讓我們的網(wǎng)站被搜索引擎收錄呢?

TAG：搜索引擎的工作流程是什么

SEO就是搜索引擎優(yōu)化:讓你的網(wǎng)站在搜索引擎（比如百度、谷歌）的排名更靠前，當(dāng)用戶通過關(guān)鍵詞搜索時更容易搜到你的網(wǎng)站，從而實現(xiàn)企業(yè)品牌曝光、主動獲客和營銷推廣的目標(biāo)。
為什么要做SEO？
提高網(wǎng)站訪問量：SEO能讓你的網(wǎng)站在搜索引擎結(jié)果中更靠前，吸引更多客戶點擊。
降低市場營銷成本：相比于付費廣告，SEO是一種更經(jīng)濟(jì)有效的營銷方式。
提升品牌知名度：網(wǎng)站排名靠前，可以讓更多用戶看到你的品牌名稱和信息，增強品牌影響力。
SEO優(yōu)化有哪些優(yōu)勢？
成本低廉：主要成本是優(yōu)化師的工資。
效果穩(wěn)定：一旦網(wǎng)站排名上升，效果穩(wěn)定持久，可持續(xù)獲得展現(xiàn)機會。
不受地域限制：SEO的效果可以覆蓋全球，不受時間和空間的限制。
什么樣的公司更適合做SEO優(yōu)化呢？大多數(shù)行業(yè)都可以從SEO中受益。特別是那些希望用戶主動訪問我們的網(wǎng)站、降低營銷成本、提升品牌知名度的企業(yè)。通過SEO來優(yōu)化自己的網(wǎng)站，可吸引更多潛在客戶。

SEO是一種工人的有效的網(wǎng)絡(luò)營銷手段，可以幫助企業(yè)提升關(guān)鍵詞排名，吸引更多用戶，實現(xiàn)商業(yè)目標(biāo)。SEO是一個長期且專業(yè)的技術(shù)，企業(yè)在進(jìn)行SEO時，必須耐心優(yōu)化，因為SEO涉及到的不止是網(wǎng)站結(jié)構(gòu)、內(nèi)容質(zhì)量、用戶體驗、外部鏈接這幾個方面；還有算法的更替、蜘蛛的引導(dǎo)、快照的更新、參與排序的權(quán)重等。