_3-清晰简洁的页面参数。-小程序搜索优化指南_微信小程序

爬虫访问小程序内页面时，会携带特定的 user-agent "mpcrawler" 及场景值：1129

判断请求是否来源于官方搜索爬虫的方法：

签名算法与小程序消息推送接口的签名算法一致。详情

参数在请求的header里设置，分别是：
X-WXApp-Crawler-Timestamp
X-WXApp-Crawler-Nonce
X-WXApp-Crawler-Signature

签名流程如下：
1.将token、X-WXApp-Crawler-Timestamp、X-WXApp-Crawler-Nonce三个参数进行字典序排序
2.将三个参数字符串拼接成一个字符串进行sha1加密
3.开发者获得加密后的字符串可与X-WXApp-Crawler-Signature对比，标识该请求来源于微信

结构清晰、简洁、参数有含义的 querystring 对抓取以及后续的分析都有很大帮助，但是将 JSON 数据作为参数的方式是比较糟糕的实现。