redis报错如下：redis.exceptions.ResponseError: Command # 2 (ZREMRANGEBYRANK gd:requests 0 0) of pipeline caused error: MISCONF Redis is configured to save RDB snapsh
influxdb+grafana搭建监控系统
监控系统的搭建是爬虫和数据统计中最为重要 的一个环节,对于维护爬虫和统计爬虫的数据是不可或缺的.我们通重都需要统计爬虫的采集及运行的一些数据，需要将数据存储到时间序列的数据库以及使用可视化的工具显示出来就可以观察当前的爬虫的运行的状态，还可以以时间序列记录采集的数据量。本篇博文以influxdb+grafana结合的方
gerapy部署定时任务采集资讯数据
由于业务需求，为丰富网站的资讯内容，选择了几个更新频率比较高的网站做定时任务的采集,这样的采集需求在日常的资讯新闻上面是比较多的,由于我们需要经常的发布一些行业资讯,但是人工作方式显然不能满足一个大的数据平台的需求量,因此我们需要寻找很多的行业相关的资讯平台网站,这类网站需要具有高度行业相关性及更新频率需要高,最好是日
CAS号验证算法编写及测试
化学中有国际统一的命名标准，这个标准就是指定唯一的一个化学物质的名称，每个化学品都有中文名、英文名以及若干的别名，那么如何有效的准确的查找一个正确的化学品呢。CAS号就是唯一的标识，但是如何确保cas号的准确性，数据在传播的过程中难免出现一些错误，可能是人为的也可能是无意输错的。
scrapy如何接受外部传递的参数
Scrapy作为爬虫框架的一哥，自然不是简简单单就能了解透彻他的。我们通常都是使用scrapy作为爬虫开发的首选框架。那么们通常都没有给它通过外部传递参数，都是在重写start_requests方法。以及使用分布式的方式接受传递的参数。好像重来没有在外部调用我们的
百度排名分析及采集
百度国内最大的搜索引擎，基本上日常生活离不开,大家常说的有问题找'度娘'，指的就是百度。百度现在的地位已经是无可撼动。很多公司花钱买竞价，做广告，做推广。换很多的时间做seo的优化工作。花大量的时间去查百度的排名。目的都是希望自己的产品或者推广被百
js逆向分析之库存信息
Js逆向分析是爬虫开发的一道拦路虎，需要拥有丰富的逆向经验以及爬虫开发的经验。但在现在的网站设计中并不是所有的网站都存在js加密的（也并不是所有的前端开发都具备反爬虫的能力）。本篇博文记录分享的是存在js分析但不存在js加密的一个国外网站（国外公司的但国内也能访问）。写这篇文章的初衷在于，这个网站之前有编写过爬虫代码，
搭建自己的代理IP池
爬虫最长遇到的就是被封禁本机或者服务器的IP地址，对于爬虫攻城狮而言，这无疑是一个致命问题，采集的站点无法访问了，对于“可见即可采集的原则”。这个站点数据就拿不到了。但是工作还要继续，领导催的急呢，客户也有数据需求。这就促使开发人员开发出可以绕过目标网站的反爬虫检测，从而达到解决自己IP被封的尴
js逆向之药智新闻加密
爬虫逆向之药智网站的最新文章信息（公司需要采集新闻类的咨询信息，因此任务就给到了我，说前同事有采集过，我去看了下以前的代码，发现已经不能用了，以前是直接获取源代码的数据，但是经过分析现在已经不能在源代码里获取任何数据了。），都是经过了加密的，但并不是一些常见的加密算法，而是网站自定义的加密js函数。之前写过一篇也是详情
scrapy对接scrapy-splash
最近工作中需要采集一些文献作为项目的内容，依旧是使用scrapy框架作为爬虫项目的基础，搭建分布式爬虫系统，提高效率。但是在分析到详情信息的时候发现，作者的基本信息无法获取到，看了一下是基于第三方的js渲染出来的（可以确认的是页面对作者信息做了保护，直接点击页面的作者信息的链接，会转到一个页面，意思就是不支持javas