如何分析Python并行分布式框架中的Celery

如何分析Python并行分布式框架中的Celery，相信很多没有经验的人对此束手无策，为此本文总结了问题出现的原因和解决方法，通过这篇文章希望你能解决这个问题。Celery（芹菜）是基于Python开发的分布式任务队列。它支持使用任务队列的方式在分布的机器／进程／线程上执行任务调度。
Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result store）组成。
消息中间件Celery本身不提供消息服务，但是可以方便的和第三方提供的消息中间件集成。包括，Rab开发云主机域名bitMQ,Redis,MongoDB(experimental), Amazon SQS (experimental),CouchDB(experimental),SQLAlchemy(experimental),Django ORM (experimental),IronMQ任务执行单元Worker是Celery提供的任务执行的单元，worker并发的运行在分布式的系统节点中。任务结果存储Task result store用来存储Worker执行的任务的结果，Celery支持以不同方式存储任务的结果，包括AMQP, Redis，memcached, MongoDB，SQLAlchemy, Django ORM，Apache Cassandra, IronCache另外， Celery还支持不同的并发和序列化的手段并发Prefork,Eventlet,gevent, threads/single threaded序列化pickle,json,yaml,msgpack.zlib,bzip2compression， Cryptographic message signing 等等Celery的安装过程略为复杂，下面的安装过程是基于我的AWS EC2的Linux版本的安装过程，不同的系统安装过程可能会有差异。大家可以参考官方文档。
首先我选择RabbitMQ作为消息中间件，所以要先安装RabbitMQ。作为安装准备，先更新YUM。RabbitMQ是基于erlang的，所以先安装erlang
然后安装RabbitMQ
启动RabbitMQ服务RabbitMQ服务已经准备好了，然后安装Celery， 假定你使用pip来管理你的python安装包为了测试Celery是否工作，我们运行一个最简单的任务，编写tasks.py
在当前目录运行一个worker，用来执行这个加法的task
其中－A参数表示的是Celery App的名字。注意这里我使用的是SQLAlchemy作为结果存储。对应的python包要事先安装好。worker日志中我们会看到这样的信息其中，我们可以看到worker缺省使用prefork来执行并发，并设置并发数为8下面的任务执行的客户端代码：用python执行这段客户端代码，在客户端，结果如下Work日志显示这里我们可以发现，每一个task有一个唯一的ID，task异步执行在worker上。这里要注意的是，如果你运行官方文档中的例子，你是无法在客户端得到结果的，这也是我为什么要使用SQLAlchemy来存储任务执行结果的原因。官方的例子使用AMPQ，有可能Worker在打印日志的时候取出了task的运行结果显示在worker日志中，然而AMPQ作为一个消息队列，当消息被取走后，队列中就没有了，于是客户端总是无法得到任务的执行结果。不知道为什么官方文档对这样的错误视而不见。看完上述内容，你们掌握如何分析Python并行分布式框架中的Celery的方法了吗？如果还想学到更多技能或想了解更多相关内容，欢迎关注开发云行业资讯频道，感谢各位的阅读！

相关推荐: 为什么ftp连接不上虚拟主机

本篇文章给大家分享的是有关为什么ftp连接不上虚拟主机，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。在网站搭建完成之后，我们需要使用ftp上传文件到虚拟主机。对于一些熟练操作的站长来说，很少会遇到…