我要评论python aiohttp创建很多线程
最近使用 python aiohttp 进行异步的发送请求，在命令行中 用py-spy 来监控了一下 发现 运行python程序 创建了 125 线程，吓了我一跳。
解决
google了很久 找到解决方法了。
原因
每次发送请求时 aiohttp.clientsession 查询dns 。这个查询dns是阻塞的，所以它每次查询dns时开启一个线程的。
所以我在代码里 给它指定了 dns查询对象 起作用了。
from aiohttp.resolver import asyncresolver resolver = asyncresolver() tcp_conn = aiohttp.tcpconnector(resolver=resolver) async with aiohttp.clientsession(connector=tcp_conn) as session: await process_spider(spider, session)
运行程序时 有可能提示 需要aiodns. 安装即可: pip install aiodns .
python aiohttp模块使用
asyncio可以实现单线程并发io操作。如果仅用在客户端，发挥的威力不大。
如果把asyncio用在服务器端，例如web服务器，由于http连接就是io操作，因此可以用单线程+coroutine实现多用户的高并发支持。
asyncio实现了tcp、udp、ssl等协议，aiohttp则是基于asyncio实现的http框架。
我们先安装aiohttp：
pip install aiohttp
然后编写一个http服务器，分别处理以下url：
/- 首页返回b'<h1>index</h1>'；/hello/{name}- 根据url参数返回文本hello, %s!。
代码如下：
import asyncio
from aiohttp import web
async def index(request):
await asyncio.sleep(0.5)
return web.response(body=b'<h1>index</h1>')
async def hello(request):
await asyncio.sleep(0.5)
text = '<h1>hello, %s!</h1>' % request.match_info['name']
return web.response(body=text.encode('utf-8'))
async def init(loop):
app = web.application(loop=loop)
app.router.add_route('get', '/', index)
app.router.add_route('get', '/hello/{name}', hello)
srv = await loop.create_server(app.make_handler(), '127.0.0.1', 8000)
print('server started at http://127.0.0.1:8000...')
return srv
loop = asyncio.get_event_loop()
loop.run_until_complete(init(loop))
loop.run_forever()注意aiohttp的初始化函数init()也是一个coroutine，loop.create_server()则利用asyncio创建tcp服务。
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持代码网。
发表评论