百度首次公開百度小程序蜘蛛UA渠道

最近，百度第一次以官方形式公開了識別百度蜘蛛的信息，并且表示百度蜘蛛 UA(爬行渠道)目前分為 PC、移動、小程序三個應用場景。還給出了網站識別百度蜘蛛的一些渠道ua示例!

在小程序沒有出來之前，百度的抓取一般是只針對移動和pc的網頁內容，這個一般做網站的都了解，但是在百度最近迷上小程序之后，對小程序的流量傾斜不止一次的在重復，因此相比原來的的 PC 端和移動端，這次百度蜘蛛的爬行渠道也著重提到了百度寄以厚望百度智能小程序，因為百度小程序也是支持移動端，所以同樣也能被被百度蜘蛛抓取到!

此外百度官網也給出了作為判斷是否是百度蜘蛛的移動、PC、和小程渠道UA示例如圖：

此外磊哥還了解到，站長們也可以通過 DNS 反查 IP 的方式判斷來你站spider 是否來自百度搜索引擎。百度蜘蛛的 hostname 以*.baidu.com 或*.baidu.jp 的格式命名，非*.baidu.com 或*.baidu.jp 一般就是冒充，大家可以酌情屏蔽自己不需要的蜘蛛和來源訪問。