网站地图 联系我们

学习python首选-实战python学习班,专注于python高级工程师培养,python课程:包括Python核心编程技术、全栈开发、网络爬虫、人工智能等。python全栈工程师+提高工作经验,获取免费试听课程!
当前位置: python培训 > python学习 > 常见问题 > 正文

如何基于 Celery 做爬虫但遇到些坑,如重复执行了一个任务、 db 对象内

来源:肚皮舞 浏览量: 发布日期:20-05-10 14:36:10 调整字体大小【 【所属栏目:常见问题】

  如何基于 Celery 做爬虫但遇到些坑,如重复执行了一个任务、 db 对象内数据有错

  因为要爬特定领域内的一些站点。每次存储过程需要反复和数据库进行信息增删。

  现在我遇到三个问题:

  出现重复执行的任务

  db 对象里有错误数据(而且都是固定的一个值)

  明明不改有重复的数据却提示我主键重复,而且每次都是那固定几个。但去数据库中找,发现这些数据又已经存在

  运行模式:celery -A celeryd worker -P eventlet -c 100 -l info

  而且,并放量越多,错误越多。

  broker 使用的是 Redis,数据库用的是 MariaDB。

标签:
肚皮舞新闻动态News Center

肚皮舞视频

肚皮舞培训课程

联系卡伊丝contact us
联系我们
python培训「零基础入门到精通」python人工智能编程培训班-0798wz.com

咨询热线:18301225663