python并发编程多路复用IO模型详解-创新互联
多路复用IO(IO multiplexing)
创新互联成立以来不断整合自身及行业资源、不断突破观念以使企业策略得到完善和成熟,建立了一套“以技术为基点,以客户需求中心、市场为导向”的快速反应体系。对公司的主营项目,如中高端企业网站企划 / 设计、行业 / 企业门户设计推广、行业门户平台运营、app开发定制、移动网站建设、微信网站制作、软件开发、四川雅安电信机房等实行标准化操作,让客户可以直观的预知到从创新互联可以获得的服务效果。这种IO方式为事件驱动IO(event driven IO)。
我们都知道,select/epoll的好处就在于单个进程process就可以同时处理多个网络连接的IO。它的基本原理就是select/epoll这个function会不断的轮询所负责的所有socket,当某个socket有数据到达了,就通知用户进程。它的流程如图:
select是多路复用的一种
当用户进程调用了select,那么整个进程会被block,而同时,kernel会“监视”所有select负责的socket,
当任何一个socket中的数据准备好了,select就会返回。这个时候用户进程再调用read操作,将数据从kernel拷贝到用户进程。
这个图和blocking IO的图其实并没有太大的不同,事实上还更差一些。因为这里需要使用两个系统调用\(select和recvfrom\),
而blocking IO只调用了一个系统调用\(recvfrom\)。但是,用select的优势在于它可以同时处理多个connection。
多路复用IO比较阻塞IO模型:
1.阻塞IO经历两个阶段 wait data,copy data
2.多路复用3个阶段 wait data,ready copy data, copy data
单连接套接字通信 阻塞IO效率高
多路复用IO select可以代理多个套接字连接,多个套接字通信,多路复用IO效率高
强调:
1. 如果处理的连接数不是很高的话,使用select/epoll的web server不一定比使用multi-threading + blocking IO的web server性能更好,可能延迟还更大。select/epoll的优势并不是对于单个连接能处理得更快,而是在于能处理更多的连接。
2. 在多路复用模型中,对于每一个socket,一般都设置成为non-blocking,但是,如上图所示,整个用户的process其实是一直被block的。只不过process是被select这个函数block,而不是被socket IO给block。
结论: select的优势在于可以处理多个连接,性能高,同时可以检测多个套接字IO行为,不适用于单个连接
select网络IO模型示例
select 检测多个套接字IO行为 accept,recv
IO行为两种:
1.别人给我传数据
2.给别人发送数据
timeout是超时时间
每隔0.5秒去问操作系统准备好数据没有
def select(rlist, wlist, xlist, timeout=None): pass # [] 传的空列表是出异常的列表 # 返回值3个列表 收列表,发列表,异常列表 rl,wl,xl = select.select(rlist, wlist, [], 0.5)
本文标题:python并发编程多路复用IO模型详解-创新互联
分享链接:http://pwwzsj.com/article/ggssd.html