微信公众号爬取实现原理：
1.配置公众号对应的信息
2.使用代码与企业微信建立连接，并将对应的公众号链接通过代码发送到对应的微信号上。
3.使用自动化软件触发手机微信接收消息点击访问的步骤，使用电脑fiddler抓取对应的页面信息。
4.使用代码从页面中提取微信公众号中的信息链接。
5.对抽取到的信息链接进行访问和信息抽取。




微信爬虫流程：
1.从kafka获取微信公众号信息。
2.从链接中获取微信公众号id。
3.使用代码模拟企业微信并将信息发送给相关的微信号。
4.手机微信号接收到公众号的链接信息。
5.使用免root自动化助手创建自动化脚本模拟点击手机微信消息操作。
6.使用fiddler抓取微信点击微信公众号的页面，并通过fiddler的脚本将抓取的页面信息发送给程序代码，
7.代码实现对页面信息的抽取解析获取对应的资讯链接地址，并发送到kafka中。
8.接收kafka中的资讯链接地址并对相关的内容信息进行抽取，再发送到相应的kafka的topic中


微信公众号采集部署

1.发送消息的端口修改为其它的。
并配置消费的分区消息
和微信号id 微信号名称是企业微信上显示的id
2.接收使用固定的ip端口 8079



企业微信申请
获取 agentid  corpid  secret

corpid 企业ID  wwc85f156314e9cc1b

创建应用的 agentid  1000002
创建应用的 secret 4qrNOUAANWPdArQTOBh07uC-yPq58jqZ3EFYSThULJ4


多微信号采集
将微信调度发送信息到企业微信应用分成多个启动


接收信息采用同一个conntroller处理









