SEO更深層次的方面主要在于一些原理性的東西,中國(guó)SEO特此整理了關(guān)于搜索引擎蜘蛛的一些原理,希望對(duì)SEO愛(ài)好者在學(xué)習(xí)SEO的過(guò)程中能有一些指導(dǎo)意義:
搜索引擎服務(wù)器會(huì)一刻不停的從互聯(lián)網(wǎng)上抓取網(wǎng)頁(yè),存放到本地的機(jī)器上,然后建立索引,并且對(duì)外檢索服務(wù)。典型的工作流程是
1。搜集
在這個(gè)流程中,用網(wǎng)絡(luò)爬蟲 或者叫spider的程序模塊,不斷地從web上尋找網(wǎng)頁(yè)并且下載下來(lái)。最長(zhǎng)用的方法是,把整個(gè)web網(wǎng)絡(luò)看作是一個(gè)有向圖,從種子URL集合開(kāi)始,開(kāi)始抓取并且存到本地,并且解析出網(wǎng)頁(yè)內(nèi)容中包含的url鏈接,然后把這些新的url加到url集合中。一般按照寬度優(yōu)先的方式來(lái)查找。 這個(gè)過(guò)程不斷重復(fù)直到URL集合中所有鏈接都已經(jīng)采集過(guò),或者是采集時(shí)間限制到了,或者是所有的不超過(guò)某一深度的連接都已經(jīng)采集過(guò)了。這些下載下來(lái)的網(wǎng)頁(yè)的標(biāo)準(zhǔn)html文本,以及采集url,采集時(shí)間等要素都要記錄下來(lái)。
采集器還要注意對(duì)被采集網(wǎng)站的影響,避免采集造成攻擊式的后果。惠州seo理解是:為網(wǎng)站提供生態(tài)式的自我營(yíng)銷解決方案,讓網(wǎng)站在行業(yè)內(nèi)占據(jù)領(lǐng)先地位,從而獲得品牌收益;SEO包含站外SEO和站內(nèi)SEO兩方面;SEO是指為了從搜索引擎中獲得更多的免費(fèi)流量,從網(wǎng)站結(jié)構(gòu)、內(nèi)容建設(shè)方案、用戶互動(dòng)傳播、頁(yè)面等角度進(jìn)行合理規(guī)劃,使網(wǎng)站更適合搜索引擎的索引原則的行為。惠州網(wǎng)站優(yōu)化由于不少研究發(fā)現(xiàn),搜索引擎的用戶往往只會(huì)留意搜索結(jié)果最開(kāi)始的幾項(xiàng)條目,所以不少商業(yè)網(wǎng)站都希望透過(guò)各種形式來(lái)干擾搜索引擎的排序。搜索引擎優(yōu)化專家“一來(lái)勝”認(rèn)為,在網(wǎng)站里尤以各種依靠廣告為生的網(wǎng)站最甚。
2。預(yù)處理
這個(gè)過(guò)程比較復(fù)雜
2.1 對(duì)html網(wǎng)頁(yè)進(jìn)行解析并且建立索引
html網(wǎng)頁(yè)需要去掉html標(biāo)簽和一些垃圾連接,比如廣告等。 對(duì)于網(wǎng)頁(yè)的正文內(nèi)容要建立索引。 索引是檢索最重要的數(shù)據(jù)對(duì)于檢索速度和效果影響是根本性的。在索引中詞和網(wǎng)頁(yè)都用數(shù)字來(lái)標(biāo)記。 常用的是倒排索引,格式如下 termid : docid1 docid2 ..docid3 . 其中termid也就是我們常說(shuō)的詞,在索引中一般用詞的編號(hào)來(lái)代替。docidx是所有包含該term的網(wǎng)頁(yè)的編號(hào)。
2.2 計(jì)算每篇網(wǎng)頁(yè)的重要程度。深圳seo推廣QQ引流,不管你是空間還是qq群,只要你通過(guò)自己的手段來(lái)引導(dǎo)的流量都算是一種引流,而這種流量一個(gè)是非常的精準(zhǔn),另一個(gè)則是容易將這部分客戶圈在自己的活動(dòng)范圍之內(nèi)。 一般各個(gè)網(wǎng)站的首頁(yè)都比較重要,需要賦予較高的權(quán)重。常用的方法是利用網(wǎng)頁(yè)之間的鏈接關(guān)系,類似學(xué)術(shù)研究上的相互引用關(guān)系,來(lái)計(jì)算每個(gè)網(wǎng)頁(yè)的重要性,這就是page rank . google就是靠它起家的.
2.3 重復(fù)網(wǎng)頁(yè)的消除. 網(wǎng)絡(luò)上的網(wǎng)頁(yè)多是好幾份的,大家你抄我的我抄你的,連個(gè)錯(cuò)別字都不會(huì)改的情況都存在. 這些重復(fù)網(wǎng)頁(yè)浪費(fèi)了搜索引擎的代價(jià),更重要的是影響檢索的效果.
3. 檢索服務(wù)
我們?cè)跈z索端輸入查詢串之后,要經(jīng)過(guò)分詞處理.然后利用的到詞,得到termid,到前面2.1 生成的索引查找, 得到符合檢索條件的網(wǎng)頁(yè)的id. 然后用網(wǎng)頁(yè)的內(nèi)容計(jì)算的權(quán)重和2.2 計(jì)算的page rank數(shù)值,以及其他的權(quán)重 一起對(duì)每個(gè)網(wǎng)頁(yè)給出一個(gè)最終權(quán)重. 這些網(wǎng)頁(yè)按照權(quán)重從大到小的排序之后輸出. 就是我們看到的檢索結(jié)果了.
當(dāng)然這里談到的只是一些最基本的實(shí)現(xiàn)方法. 其實(shí)每個(gè)步驟都是非常復(fù)雜的一項(xiàng)工作,很多的技巧在里面,比如存儲(chǔ)結(jié)構(gòu),比如一些自然語(yǔ)言處理技術(shù),比如分類.聚類等.
上面的方法只能做一個(gè)demo系統(tǒng),要真正的高性能的好的系統(tǒng),還要其他更深的技術(shù).搜索引擎是個(gè)高門檻的東西.