scrapyd是部署scrapy爬虫的服务器 1、部署需要的安装包 pip install scrapyd 这个是服务器 pip install scrapyd-client 这个是部署客户端 2、在windowns下部署 scrapyd安装好后在服务器端测试 &
scrapyd部署scrapy爬虫
消息队列在爬虫开发上的应用
1.什么是消息队列 消息队列一般可以作为数据缓存，在实际应用上用来存储经常需要交互的数据，以此提高访问数据的速度及提高网站的用户体验。 2.有哪些数据库是消息队列 redis、MQ、celery、mongodb等 3.为什么使用消息队列 在爬虫中使用消息队列可以开发分布式爬虫，也是分部式爬
VPS性能优劣与使用
场景;数据开发，需要大量ip,可以购买vps服务器。 vps服务器优点：是通过拨号上网，切换网卡，更换获取新的IP，对于大批量的数据采集来说，一旦网站被封，需要更换ip，考虑成本的问题，这时候的vps就是最佳的选择，价格几十块钱一个月，还是很便宜的。稳定性也是不错的。 vps服务的缺点：由于是拨号上网，所以
win10使用vps方法
爬虫工程项目中使用最为广泛的就是代理IP，代理IP一般有两种，一种是找专门做IP代理的商家进行购买，这种一般用的比较方便，因为我们买了之后就可以直接使用提供的接口为我们获取代理IP了；另一种是VPS(据悉也有人称之为秒播的，第一次有人和我说秒播我竟然没明白是啥，不过不重要)，他的使用通常就是买一台远程主机，主机换IP就
uwsgi+Nginx部署Django
服务器：阿里云 系统：ubuntu20 python：服务器自带 服务器在安全组中开启8001/8001端口 前期MySQL安装使用docker 可以使用Navicate可视化软件连接MySQL了！ 到这里需要创建数据库名称blog 进入到项目目录有manage.py的文件，运