一种看起来可行的微信公众号爬取方法

2020年了，微信公众号的文章越来越不好爬，不过有一种万无一失的方法，就是用 adb 去操作安卓手机，然后不断遍历所有公众号的历史文章，返回文章链接，把文章链接保存下来之后用 scrapy 框架或者是 requests 这些库去获取信息，毕竟文章详情页是没有反爬虫措施的（就算你用的是 requests 的默认请求头也不会被封）。

但我没有用 adb，并不是我觉得这种方法傻，而是我不会，并且我的方法可能更傻。

1 安装抓包工具

我使用的是 Charles，安装和使用教程就不发了，这里有一个非常详尽的教程：

MAC下最好用的抓包工具--charles简单操作教程

2 使用 Charles 抓包

我以电脑端的微信为例，手机端同理。

2.1 配置好 ip 代理

从上面那个链接中摘录而来：

其实浏览器的请求一般用浏览器的开发者工具就可以，当然charles也可以做到，使用方法呢，也很简单，将你链接的网络，配置网页代理，注意地址为你本机的ip地址，可以通过，ifconfig查看。
……
进入Charles－》Help－》SSL Proxying－》Install Charles Root Certificate ，会打开证书，安装进去，证书信任设置----勾上刚才安装的
……
Enable SSL Proxy
……

2.2 访问要爬取的公众号

打开微信电脑端，搜索想要爬取的公众号。

这里我就以隔壁舍友的公众号为例

然后点击上面的历史文章按钮，查看公众号的详细资料以及历史文章，多往下滚动刷新几次

2.3 查看抓包结果

进入 Charles ，选择 Sequence，然后在 Filter 中筛选 weixin，可以看到有这些与 weixin 相关的数据包

从上面抓包结果来看，大概有这么几种类型的请求

getmasssendmsg 被 302 到了下面的 profile_ext?action=home
profile_ext?action=home 获取个人资料和最近 10 条文章
profile_ext?action=getmsg 获取文章

对于需要爬取文章链接的我们来说，前面两条可以执行也可以不执行，因为我们单单用 getmsg 也可以获取所有的文章列表，但是最好执行一下以防被封 IP。

对于我们感兴趣的 profile_ext?action=getmsg 这条请求，双击一下可以看到详细的内容

可以看到，这条请求竟然规规矩矩地返回了一条包括 10 篇文章内容的 json 格式文本，猜测一下，can_msg_continue 应该表示着文章列表是否到底，offset 应该是下一条文章的编号，而这个 general_msg_list 里面的 list 应该就是这 10 条文章的概要。

了解这些信息之后，我们就可以进入下一步了。

3 模拟客户端

在 Charles 中，选中刚才的 getmsg 请求，点击 Overview，双击 URL，复制下请求的链接

还是在 Charles 中，我们查看一下刚刚那条请求的 Headers 和 QueryString，用作爬虫的请求头和参数

复制一下请求头，里面包含了 Cookies

复制一下 QueryString，其中 offset 那一行可以不复制，因为我们之后还要遍历所有文章页

4 爬取文章简介

准备工作都差不多了，直接编一个小程序就可以啦：

import requests, json
url = 'https://mp.weixin.qq.com/mp/profile_ext'
headers = {
    'Host': 'mp.weixin.qq.com',
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/605.1.15 (KHTML, like Gecko) MicroMessenger/2.3.31(0x12031f11) MacWechat Chrome/39.0.2171.95 Safari/537.36 NetType/WIFI WindowsWechat MicroMessenger/2.3.31(0x12031f11) MacWechat Chrome/39.0.2171.95 Safari/537.36 NetType/WIFI WindowsWechat',
    ……
    ……
    ……
    ……
}
r = requests.get(url, headers=headers, params=params)
articles = []
offset = 0
while True:
    params = {
        'offset': offset,
        'count': '10',
        ……
        ……
        ……
        ……
    }
    response = requests.get(url, headers=headers, params=params)
    json_text = json.loads(response.text)
    articles += json.loads(json_text['general_msg_list'])['list']
    if json_text["can_msg_continue"] == 1:
        offset += 10
    else:
        break

大致步骤应该如此，细节的方面我也没法重述，因为我发现我把程序的部分都弄丢了……我也不想再重复了，各位看官就在这个基础上改一改吧。

5 爬取文章内容

呃，上一步已经得到了所有文章的标题、摘要、链接、封面等信息，并且文章详情页是没有任何反爬虫措施的，这一步就随便发挥咯。

值得一提的是，上一步的结果并不全是文章内容，也有文字版的推送，在试图通过文章链接遍历文章详情页的时候，可能会出错；可以通过某种条件过滤，也可以用try except:continue 这种懒人方法。

中间的截图都丢失了，放一下我最后爬的一点结果吧：