SEO收錄異常診斷：負(fù)載均衡架構(gòu)導(dǎo)致的SEO問(wèn)題及解決方案

最近，本人負(fù)責(zé)的其中一個(gè)站點(diǎn)收錄出現(xiàn)了異常，趁著周末有空講述一下整個(gè)診斷過(guò)程。核心問(wèn)題有兩點(diǎn)，服務(wù)器架構(gòu)和網(wǎng)站程序架構(gòu)導(dǎo)致的;本篇僅分享服務(wù)器架構(gòu)導(dǎo)致的收錄異常。

首先，介紹一下自己。本人就職于深圳某企業(yè)，長(zhǎng)期混跡于乙方外包公司，眾所周知seo外包公司接的是絕大部分是小企業(yè)網(wǎng)站，這些網(wǎng)站做的關(guān)鍵詞往往也僅是改個(gè)TDK就完成排名的工作。

再加上，目前絕大部分中小站點(diǎn)的架構(gòu)很簡(jiǎn)單，開(kāi)源CMS+單一云服務(wù)器(虛擬主機(jī))+CDN(這還是有點(diǎn)運(yùn)維能力公司)。鑒于以上經(jīng)驗(yàn)，導(dǎo)致本人完全沒(méi)有意識(shí)到服務(wù)器架構(gòu)方面也能出現(xiàn)問(wèn)題。

一、收錄異常的發(fā)現(xiàn)

從(圖1)可以和明顯的看出，在3月中下旬收錄是偏向正常的，問(wèn)題出現(xiàn)在3.31日-4.25日之間出現(xiàn)了浮動(dòng)，也就是說(shuō)，這個(gè)區(qū)間一定是站點(diǎn)出現(xiàn)了問(wèn)題導(dǎo)致收錄異常。

本人開(kāi)始按常規(guī)方法排查，特別是服務(wù)器日志有些參數(shù)沒(méi)有排除注意，以至于導(dǎo)致了問(wèn)題發(fā)現(xiàn)，具體如下：

1.1、站長(zhǎng)平臺(tái)模擬爬蟲(chóng)抓取，正常。

1.2、搜索引擎爬蟲(chóng)抓取數(shù)量在提升，偏向正常。這里有異常，排查偽蜘蛛爬蟲(chóng)在抓數(shù)據(jù)，真實(shí)百度爬蟲(chóng)確實(shí)也在增長(zhǎng)。

1.3、核心關(guān)鍵詞排名浮動(dòng)，但偏向且上升趨勢(shì)靠前，目前核心大詞處于前5名，正常。

1.4、服務(wù)器日志分析，爬蟲(chóng)對(duì)應(yīng)的request_uri值(相對(duì)地址)，暫屬正常，請(qǐng)看下文。

1.5、服務(wù)器日志是阿里云的日志，http請(qǐng)求，7.18日、7.19日、7.20日以及7.26日出現(xiàn)小面積服務(wù)器500訪問(wèn)錯(cuò)誤;但最多只出現(xiàn)有限的時(shí)間收錄異常，不至于大范圍不收錄。

在服務(wù)器訪問(wèn)日志分析中，一般需要注意的項(xiàng)是：爬蟲(chóng)抓取時(shí)間值，爬蟲(chóng)頁(yè)面URL值，爬蟲(chóng)在頁(yè)面抓取順序，時(shí)間內(nèi)爬蟲(chóng)抓取數(shù)量，另一說(shuō)蜘蛛IP值有權(quán)重高低之分(本人不確定，故不參考)

頁(yè)面URL值：一般服務(wù)器日志是相對(duì)地址，本人診斷出現(xiàn)的問(wèn)題在于忽略host值，真實(shí)抓取URL應(yīng)該是，host+request_uri值組合。

頁(yè)面抓取順序：可檢驗(yàn)網(wǎng)站架構(gòu)的爬行情況，大概可以知道爬蟲(chóng)在網(wǎng)站頁(yè)面中的爬行順序，可以輔助使用爬蟲(chóng)軟件或者開(kāi)發(fā)經(jīng)典爬蟲(chóng)(PY，PHP等)的爬行情況作為參考

時(shí)間內(nèi)爬蟲(chóng)抓取數(shù)量：檢驗(yàn)網(wǎng)站頁(yè)面總量和時(shí)間段內(nèi)抓取量的占比，判斷網(wǎng)站的受歡迎程度。

說(shuō)到這里，交代一下站點(diǎn)的服務(wù)器架構(gòu)：

用的是負(fù)載均衡，文件服務(wù)器+數(shù)據(jù)服務(wù)器+前端服務(wù)器，數(shù)據(jù)服務(wù)器全部數(shù)據(jù)是由API接口、GET方式前端和app使用，網(wǎng)站URL是相對(duì)地址。服務(wù)器之間自然用的也是內(nèi)網(wǎng)通訊。

綜上，可能大家也看出有忽略的參數(shù)，是1.4中提到的日志host值，因?yàn)槭窍鄬?duì)地址，host+request_uri才是抓取的完整地址。一直忽略的Host值，原來(lái)是API的二級(jí)域名(圖2)

說(shuō)到這里，大家可能已經(jīng)基本上可以確定知道原因了。

就是百度根本沒(méi)有抓取到真實(shí)的頁(yè)面URL，實(shí)際上抓取的是API域名+request_uri，

即假設(shè)數(shù)據(jù)庫(kù)服務(wù)器API給前端渲染的數(shù)據(jù)路徑是api.name.com，走內(nèi)網(wǎng)IP,

抓取到的頁(yè)面URL為：https://api.name.com/post/1.html

真實(shí)應(yīng)該是外網(wǎng)IP的URL：https://www.name.com/post/1.html

既然核心問(wèn)題已把握30%，下一步自然是數(shù)據(jù)證明，主要從幾個(gè)點(diǎn)。

1、翻開(kāi)發(fā)日志記錄

2、4月前后的服務(wù)器日志整理對(duì)比

從1中發(fā)覺(jué)，4.13號(hào)負(fù)載均衡的數(shù)據(jù)服務(wù)器api取消代理，這樣造成的后果是前端直接抓取了host主機(jī)值為api域名下的數(shù)據(jù)在前端渲染，因?yàn)槭侵苯邮褂脙?nèi)網(wǎng)IP沒(méi)經(jīng)過(guò)代理，同時(shí)api二級(jí)域名為host主機(jī)值。

從2中發(fā)覺(jué)，4月前后日志的host主機(jī)值出現(xiàn)了改變，由www.name.com變成了api.name.com。

最終，問(wèn)題就出現(xiàn)在host主機(jī)為api的站點(diǎn)，沒(méi)有使用代理，也就是說(shuō)只要api站點(diǎn)通過(guò)代理變成www的二級(jí)站點(diǎn)渲染即可。如果沒(méi)有使用代理，百度GET返回的頁(yè)面是內(nèi)網(wǎng)IP，抓取到的也就是https://api.name.com/post/1.html 這個(gè)URL。

解決方案：

1、負(fù)載均衡的數(shù)據(jù)服務(wù)器api接口使用代理

2、Head區(qū)增加標(biāo)簽

3、前端渲染的HTML使用絕對(duì)路徑

4、開(kāi)發(fā)個(gè)API接口推送數(shù)據(jù)

本文完。鑒于本人僅是SEO，運(yùn)維能力有限，單機(jī)服務(wù)器配置下站可以，負(fù)載均衡只是略微聽(tīng)過(guò)，如有運(yùn)維方面錯(cuò)誤之處請(qǐng)見(jiàn)諒。

作者：深圳傳說(shuō)