
搜狗微信爬虫执行的流程

1.从消息队列中获取要通过搜狗进行搜索的关键词字段，
2.通过搜索引擎获取关键词相关的列表，并对详情页链接进行访问获取到详情页内容。
3.详情页内容使用微信解析模板进行解析获取到资讯的相关信息。
4.对爬虫中的问题进行处理，
    1）对微信的临时链接转换成永久链接
        解决方法：将链接请求通过企业微信发送到微信号上，然后通过自动化软件进行点击链接获取到永久链接。
                然后将对应的链接存储redis里。在程序对详情信息解析完成后发送到kafka队列时从redis拿取对应的链接并发送
    2）微信搜索过程中会出现验证码的情况进行处理：
        在访问到验证码页码时对页码进行截取获取到验证码图片，然后调用百度的OCR接口对图片内容进行识别并将识别内容返回。
5.在对关键词搜索时，使用selenium进行相关的API操作浏览器页码。








