首页   注册   登录
 akmonde 最近的时间轴更新

akmonde

V2EX 第 71697 号会员,加入于 2014-08-22 22:23:45 +08:00
今日活跃度排名 10379
celery 多节点是否适合代替多线程(线程池)
Python  •  akmonde  •  51 天前  •  最后回复来自 akmonde
8
关于命令行启用 chrome 插件 [不死插件]
Chrome  •  akmonde  •  101 天前  •  最后回复来自 akmonde
2
关于 scrapy 处理批量 url
Python  •  akmonde  •  167 天前  •  最后回复来自 Mitt
4
site-packages 下存在某库,导入时却无法导入?
  •  1   
    Python  •  akmonde  •  169 天前  •  最后回复来自 akmonde
    4
    akmonde 最近回复了
    1 天前
    回复了 itskingname 创建的主题 分享创造 使用 Docker Swarm 搭建分布式爬虫集群
    书不错,不过感觉讲的比较基础,楼主有计划出进阶版本吗?
    @YaphetYin 说实话,我仔细对比了下,您贴的那段示例代码差不多就是我的调度结构了。
    SoftTimeLimitExceeded 是在 debug 信息里显示的,但是一直 catch 抓不到到,然后部分 test_error 在显示 SoftTimeLimitExceeded 后,超时了一段时间才 success,还有的就一直 starting。
    @YaphetYin
    您那种写法的话,错一个子任务 test_error,chord 就直接报错,不会返回任何内容了。
    这里的 mytask 案例网上找的,对应的应该是我这里的 test_error。
    昨儿我试了下,好像是我在 test_error 函数里,import 了其他耗时的模块造成的,但仍然不知道咋解决,这里因为不能 raise 错误,所以用不了 time_limit,SoftTimeLimitExceeded 在 test_error 函数(乃至主函数里)一直捕获不到。

    另外,我像下面这样是可以在 180s 的时候,得到 soft time sleep 的,然后任务变成 success 状态:
    ```
    @app.task(soft_time_limit=180)
    def test_error():
    time.sleep(500)

    ```
    @YaphetYin 后来用单个 chord 串联了执行了一堆任务,暂时解决了,虽然法子有点笨,老兄回头有空看看我最新的提问...
    15 天前
    回复了 YuuuZeee 创建的主题 Python 为啥感觉用 Celery 的大公司比较少
    关键 v 站玩这个的也不算多...
    @YaphetYin 嗯,回头我整理下贴出来,代码在公司,兄 dei 长假快乐~
    @YaphetYin 有看过,3.2 以后好像还针对这种情况抛出错误,只是实在没想到更优的解法,来解决一堆 subtask 的问题。
    @YaphetYin 单独起了,会出现我上述的死锁问题,所以才想把 beat 任务单独给一个 queue。
    但是结果好像不尽如人意,不知道我 router 和 queue 是否配置有问,还是压根不能这样做。
    @chanssl 能外送么?
    Woc,没人给点建议么,屌大的大佬们呢,都换上女装去泡吧了么?!
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   712 人在线   最高记录 3762   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 15ms · UTC 22:14 · PVG 06:14 · LAX 15:14 · JFK 18:14
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1