爬虫访问小程序内页面时,会携带特定的 user-agent "mpcrawler" 及场景值:1129
判断请求是否来源于官方搜索爬虫的方法:
签名算法与小程序消息推送接口的签名算法一致。详情
参数在请求的header里设置,分别是:
X-WXApp-Crawler-Timestamp
X-WXApp-Crawler-Nonce
X-WXApp-Crawler-Signature
签名流程如下:
1.将token、X-WXApp-Crawler-Timestamp、X-WXApp-Crawler-Nonce三个参数进行字典序排序
2.将三个参数字符串拼接成一个字符串进行sha1加密
3.开发者获得加密后的字符串可与X-WXApp-Crawler-Signature对比,标识该请求来源于微信
可极大丰富微信可以收录的内容,进而提高小程序内容的曝光机会。请参考:https://developers.weixin.qq.com/miniprogram/dev/api-backend/open-api/search/search.submitPages.html