百度首次公開百度小程序蜘蛛U(xiǎn)A渠道

最近，百度第一次以官方形式公開了識(shí)別百度蜘蛛的信息，并且表示百度蜘蛛 UA(爬行渠道)目前分為 PC、移動(dòng)、小程序三個(gè)應(yīng)用場(chǎng)景。還給出了網(wǎng)站識(shí)別百度蜘蛛的一些渠道ua示例!

在小程序沒(méi)有出來(lái)之前，百度的抓取一般是只針對(duì)移動(dòng)和pc的網(wǎng)頁(yè)內(nèi)容，這個(gè)一般做網(wǎng)站的都了解，但是在百度最近迷上小程序之后，對(duì)小程序的流量?jī)A斜不止一次的在重復(fù)，因此相比原來(lái)的的 PC 端和移動(dòng)端，這次百度蜘蛛的爬行渠道也著重提到了百度寄以厚望百度智能小程序，因?yàn)榘俣刃〕绦蛞彩侵С忠苿?dòng)端，所以同樣也能被被百度蜘蛛抓取到!

此外百度官網(wǎng)也給出了作為判斷是否是百度蜘蛛的移動(dòng)、PC、和小程渠道UA示例如圖：

此外磊哥還了解到，站長(zhǎng)們也可以通過(guò) DNS 反查 IP 的方式判斷來(lái)你站spider 是否來(lái)自百度搜索引擎。百度蜘蛛的 hostname 以*.baidu.com 或*.baidu.jp 的格式命名，非*.baidu.com 或*.baidu.jp 一般就是冒充，大家可以酌情屏蔽自己不需要的蜘蛛和來(lái)源訪問(wèn)。