
1.海关采集说明
海关的信息采集主要是下载对象的数据信息
难点是如何获取到cookie并保存，因为海关网站的cookie只能使用一次后就会失效
海关数据的下载，海关的网站每次只能下载1W条信息，因此数据的下载需要根据条件对code参数进行拆分
2.数据的保存，由于数据中会存在换行，格式不对等问题

1.cookie保存方法
模拟浏览器请求海关网站首页获取到cookie 并将cookie保存到redis中，使用一条删除一条
2.下载接口

下载参数

outerField1: CODE_TS #商品编码
outerField2: ORIGIN_COUNTRY  #贸易伙伴
outerField3: TRADE_MODE #贸易方式
outerField4: TRADE_CO_PORT #收发货地址


海关网站的数据分类

1、近期数据库 2022年1月之后的数据
2、老数据库 2022年1月之前的数据
3、跨库的数据 2022年的累计数据











