当前位置:首页 > 企业简介 >

Python Web框架Tornado的异步处理代码示例

Python Web框架Tornado的异步处理代码示例

Tornado是一个轻量级但高性能的Python web框架,与另一个流行的Python web框架Django相比,tornado不提供操作数据库的ORM接口及严格的MVC开发模式,但可以提供基本的web server功能,故它是轻量级的;它借助non-blocking and event-driven的I/O模型(epoll或kqueue)实现了一套异步网络库,故它是高性能的。

Tornado的轻量级+高性能特性使得它特别适用于提供web api的场合,使用合理的话,其非阻塞+异步能力可以应对C10K问题。

需要特别注意的是,由于Python的GIL导致多线程总是单核执行的”特点”,tornado处理http请求时,若某个请求的后端响应有阻塞现象(如从DB或磁盘读数据导致处理时间很长),则会导致其他http请求也被block,这会严重拖累tornado在高并发场景下的性能。

幸运的是,tornado提供了异步处理请求的能力,在异步模式下,我们可以通过传入回调函数或借助tornado提供的tornado.gen.coroutine装饰器,使得tornado内部的io loop在等待当前请求响应结果的同时,仍然可以接受其它的http请求,这样就避免了某个耗时操作影响tornado的处理能力。

2. 如何在tornado框架下编写异步处理代码

Tornado官网文档给出了几个简单的异步代码示例,不过说实话,代码太过简单(都是在某个uri的handler类的get或post函数中展现了基本的异步语法),没有多大的实战意义。

在实际项目中,复杂的处理逻辑不可能都堆在get或post函数中,而是会封装在其它class中供handler类的get或post函数调用。所以,本文给出一个稍复杂的实例,旨在说明如何在其它class的函数中实现异步处理逻辑,以实现http请求异步化处理的目的。

假设现在的需求是用tornado实现一个web server,支持名为cityhotel的uri方法,当client通过http GET请求访问该uri时,web server根据query参数指定的城市,去请求存放hotel详细数据的另一个后端api,进行业务处理后返回某个连锁hotel在该城市的所有门店给client。
假设client GET请求的url格式为:?city=xxx
再假设存放hotel详细数据的后端api接口为:?city=xxx

根据上面的场景,由于我们用tornado实现的web server接到client的请求后,还要去另一个API接口请求基础数据,而后者在返回前,tornado会block,所以,这种场景下,tornado最好以异步方式请求那个提供基础数据的API,避免不可控的后端拖累tornado的响应性能。

根据上面描述的业务需求,下面的代码示范了如何通过异步方式处理业务处理。

模块入口文件(main.py):

#!/bin/env python import tornado.ioloop import tornado.web import tornado.gen import hotelcore class CityHotelHandler(tornado.web.RequestHandler): @tornado.gen.coroutine def get(self): ## parse query params params = {} keys = ['city'] for key in keys: value = self.get_query_argument(key) params[key] = value (status, rsp) = yield hotelcore.HotelApiHandler.get_city_hotel(params['city']) if 200 == status: self.set_header('content-type', 'application/json') self.finish(rsp) else: self.set_status(404) self.finish() def main(): app_inst = tornado.web.Application([ (r'/api/hotel/cityhotel', CityHotelHandler), ], compress_response = True) app_inst.listen(8218) tornado.ioloop.IOLoop.current().start() if '__main__' == __name__: main()

处理业务逻辑的module封装在hotelcore.py文件中,代码如下:

#!/bin/env python #-*- encoding: utf-8 -*- import json from tornado import gen from tornado import httpclient class HotelApiHandler(object): _cfg_dict = { 'api_host' : 'api.hotelbackend.com', } @classmethod @gen.coroutine def get_city_hotel(cls, city): ret = yield cls._parallel_fetch_city_hotel(city) raise gen.Return((200, ret)) @classmethod @gen.coroutine def _parallel_fetch_city_hotel(cls, city): base_url = '%s/v1/getCityHotel' % (cls._cfg_dict['api_host']) ## hote type: 1=normal room; 2=deluxe room hotel_type = {'normal': 1, 'deluxe': 2} urls = [] for v in hotel_type.values(): api_url = '%s?city=%s&level=%s' % (base_url, city, v) urls.append(api_url) ## issue async http request http_clt = httpclient.AsyncHTTPClient() rsps_dict = yield dict(normal_room = http_clt.fetch(urls[0]), deluxe_room = http_clt.fetch(urls[1])) city_hotel_info = cls._parse_city_hotel(rsps_dict, city) ret = { } if len(city_hotel_info): ret['errno'] = 0 ret['errmsg'] = 'SUCCESS' ret['data'] = city_hotel_info else: ret['errno'] = 1 ret['errmsg'] = 'Service Not Found at This City' ret['data'] = '' raise gen.Return(ret) @classmethod def _parse_city_hotel(cls, rsp_dict, city): city_hotel_info = {} for hotel_level, rsp in rsp_dict.items(): rsp_json = json.loads(rsp.body) datas = rsp_json['data'] for city_id, city_detail in datas.items(): name = city_detail['name'] if city in name: city_hotel_info[hotel_level] = city_detail break return city_hotel_info

对以上代码的几点补充说明:

编写tornado异步处理代码需要对Python的decorator语法和generator/yield语法比较熟悉 tornado提供的装饰器@gen.coroutine表明被装饰函数是个异步处理函数,该函数的调用不会block tornado主线程 被@gen.coroutine装饰的函数中,需要异步执行的耗时函数用yield来调用,yield本身返回的是个generator,结合@gen.coroutine后,它返回一个tornado定义的Future类型的对象 yield调用的函数在执行过程中,进程控制权会返给主线程,故即使该函数需要较长运行时间,tornado的主线程也可以继续处理其它请求 在Python 2.x版本的语法中,generator中不允许用return返回函数的返回值,必须用tornado提供的raise gen.Return(ret)达到返回的目的,这是个比较tricky的方法 yield返回的Future对象可以通过调用body属性来获取通过yield调用的函数的返回值 只要结合上述几点理解了@gen.coroutine和yield在tornado异步编程中的语法意义,那么,写出复杂的异步调用代码与编写实现相同功能但tornado整体性能无法保证的同步调用代码相比,实现难度就几乎不存在了。

上面的代码很多语法细节没有展开,希望实现思路能帮助到有缘人。^_^

企业建站2800元起,携手武汉肥猫科技,做一个有见地的颜值派!更多优惠请戳:仙桃SEO http://xiantao.4567w.com

上一篇:卡汀财经分享—CFA考试拥有超常记忆力的小习惯

下一篇:最后一页