Python异步编程全攻略

如果你厌倦了多线程，不妨试试python的异步编程，再引入async, await关键字之后语法变得更加简洁和直观，又经过几年的生态发展，现在是一个很不错的并发模型。

创新互联2013年开创至今，是专业互联网技术服务公司，拥有项目做网站、网站设计网站策划，项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命，1280元秀山土家族苗族做网站,已为上家服务,为秀山土家族苗族各地企业和个人服务,联系电话:18980820575

下面介绍一下python异步编程的方方面面。

因为GIL的存在，所以Python的多线程在CPU密集的任务下显得无力，但是对于IO密集的任务，多线程还是足以发挥多线程的优势的，而异步也是为了应对IO密集的任务，所以两者是一个可以相互替代的方案，因为设计的不同，理论上异步要比多线程快，因为异步的花销更少, 因为不需要额外系统申请额外的内存，而线程的创建跟系统有关，需要分配一定量的内存，一般是几兆，比如linux默认是8MB。

虽然异步很好，比如可以使用更少的内存，比如更好地控制并发(也许你并不这么认为:))。但是由于async/await 语法的存在导致与之前的语法有些割裂，所以需要适配，需要付出额外的努力，再者就是生态远远没有同步编程强大，比如很多库还不支持异步，所以你需要一些额外的适配。

为了不给其他网站带来困扰，这里首先在自己电脑启动web服务用于测试，代码很简单。

本文所有依赖如下:

所有依赖可通过代码仓库的requirements.txt一次性安装。

首先看一个错误的例子

输出如下:

发现花费了3秒，不符合预期呀。。。。这是因为虽然用了协程，但是每个协程是串行的运行，也就是说后一个等前一个完成之后才开始，那么这样的异步代码并没有并发，所以我们需要让这些协程并行起来

为了让代码变动的不是太多，所以这里用了一个笨办法来等待所有任务完成, 之所以在main函数中等待是为了不让ClientSession关闭, 如果你移除了main函数中的等待代码会发现报告异常 RuntimeError: Session is closed ,而代码里的解决方案非常的不优雅，需要手动的等待，为了解决这个问题，我们再次改进代码。

这里解决的方式是通过 asyncio.wait 方法等待一个协程列表，默认是等待所有协程结束后返回，会返回一个完成(done)列表，以及一个待办(pending)列表。

如果我们不想要协程对象而是结果，那么我们可以使用 asyncio.gather

结果输出如下:

通过 asyncio.ensure_future 我们就能创建一个协程，跟调用一个函数差别不大，为了等待所有任务完成之后退出，我们需要使用 asyncio.wait 等方法来等待，如果只想要协程输出的结果，我们可以使用 asyncio.gather 来获取结果。

虽然前面能够随心所欲的创建协程，但是就像多线程一样，我们也需要处理协程之间的同步问题，为了保持语法及使用情况的一致，多线程中用到的同步功能，asyncio中基本也能找到, 并且用法基本一致，不一致的地方主要是需要用异步的关键字，比如 async with/ await 等

通过锁让并发慢下来，让协程一个一个的运行。

输出如下:

通过观察很容易发现，并发的速度因为锁而慢下来了，因为每次只有一个协程能获得锁，所以并发变成了串行。

通过事件来通知特定的协程开始工作，假设有一个任务是根据http响应结果选择是否激活。

输出如下:

可以看到事件(Event)等待者都是在得到响应内容之后输出，并且事件(Event)可以是多个协程同时等待。

上面的事件虽然很棒，能够在不同的协程之间同步状态，并且也能够一次性同步所有的等待协程，但是还不够精细化，比如想通知指定数量的等待协程，这个时候Event就无能为力了，所以同步原语中出现了Condition。

输出如下:

可以看到，前面两个等待的协程是在同一时刻完成，而不是全部等待完成。

通过创建协程的数量来控制并发并不是非常优雅的方式，所以可以通过信号量的方式来控制并发。

输出如下:

可以发现，虽然同时创建了三个协程，但是同一时刻只有两个协程工作，而另外一个协程需要等待一个协程让出信号量才能运行。

无论是协程还是线程，任务之间的状态同步还是很重要的，所以有了应对各种同步机制的同步原语，因为要保证一个资源同一个时刻只能一个任务访问，所以引入了锁，又因为需要一个任务等待另一个任务，或者多个任务等待某个任务，因此引入了事件(Event)，但是为了更精细的控制通知的程度，所以又引入了条件(Condition), 通过条件可以控制一次通知多少的任务。

有时候的并发需求是通过一个变量控制并发任务的并发数而不是通过创建协程的数量来控制并发，所以引入了信号量(Semaphore)，这样就可以在创建的协程数远远大于并发数的情况下让协程在指定的并发量情况下并发。

不得不承认异步编程相比起同步编程的生态要小的很多，所以不可能完全异步编程，因此需要一种方式兼容。

多线程是为了兼容同步得代码。

多进程是为了利用CPU多核的能力。

输出如下:

可以看到总耗时1秒，说明所有的线程跟进程是同时运行的。

下面是本人使用过的一些异步库，仅供参考

web框架

http客户端

数据库

ORM

虽然异步库发展得还算不错，但是中肯的说并没有覆盖方方面面。

虽然我鼓励大家尝试异步编程，但是本文的最后却是让大家谨慎的选择开发环境，如果你觉得本文的并发，同步，兼容多线程，多进程不值得一提，那么我十分推荐你尝试以异步编程的方式开始一个新的项目，如果你对其中一些还有疑问或者你确定了要使用的依赖库并且大多数是没有异步库替代的，那么我还是建议你直接按照自己擅长的同步编程开始。

异步编程虽然很不错，不过，也许你并不需要。

Python异步编程4：协程函数，协程对象，await关键字

协程函数：async def 函数名。3.5+

协程对象：执行协程函数()得到的协程对象。

3.5之后的写法：

3.7之后的写法：更简便

await后面 跟 可等待的对象。（协程对象，Future，Task对象 约等于IO等待）

await实例2：串行执行。 一个协程函数里面可以支持多个await ，虽然会串行，但是如果有其他协程函数，任务列表也在执行，依然会切换。只是案例中的main对应执行的others1和others2串行 。 await会等待对象的值得到之后才继续往下走。

python中sleep函数用法演示的代码

下面的内容段是关于python中sleep函数用法演示的内容，希望对小伙伴们有较大用处。

#------------------------------------------------------------------------------

#          Name: sleep.py

#        Author: Kevin Harris

#  Last Modified: 02/13/04

#    Description: This Python script demonstrates how to use the sleep()

#                function.

#------------------------------------------------------------------------------

from time import sleep

print( "We'll start off by sleeping 5 seconds" )

sleep( 5 )

print( "Ok, time to wake up!" )

wait_time = int( input( "How much longer would you like to sleep? " ) )

while wait_time 0:

print( "Ok, we'll sleep for " + str(wait_time) + " more seconds..." )

sleep( wait_time )

wait_time = int( input( "How much longer would you like to sleep? " ) )

print( "We're done!" )

                         

                   

         

           

       

     

           

python常用函数

1、complex()

返回一个形如 a+bj 的复数，传入参数分为三种情况：

参数为空时，返回0j；参数为字符串时，将字符串表达式解释为复数形式并返回；参数为两个整数(a,b)时，返回 a+bj；参数只有一个整数 a 时，虚部 b 默认为0，函数返回 a+0j。

2、dir()

不提供参数时，返回当前本地范围内的名称列表；提供一个参数时，返回该对象包含的全部属性。

3、divmod(a,b)

a -- 代表被除数，整数或浮点数；b -- 代表除数，整数或浮点数；根据 除法运算 计算 a,b 之间的商和余数，函数返回一个元组(p,q) ，p 代表商 a//b ，q 代表余数 a%b。

4、enumerate(iterable,start=0)

iterable -- 一个可迭代对象，列表、元组序列等；start -- 计数索引值，默认初始为0‘该函数返回枚举对象是个迭代器，利用 next() 方法依次返回元素值，每个元素以元组形式存在，包含一个计数元素(起始为 start )和 iterable 中对应的元素值。

使用python简单封装selenium常用函数

年前走查脚本代码时，发现大家对selenium功能都在重复造轮子，而且容易出现一些常见低级bug。于是在闲暇之余，封装一些常用的selenium功能。

在某些网页中，存在多个frame嵌套。而selenium提供的find_element函数只能在当前frame中查找，不能切换到其他frame中，需要从最上级frame中逐步切换（当然也可以指定xpath的绝对路径，但是一般没人这么做）。在我们写代码过程中，需要明确知道当前frame位置和需要寻找元素的frame位置。在frame切换过程中，容易因为疏忽导致frame切换错误导致元素无法找到的bug。

页面中分布的frame，可以理解为树状结构。因此我们可以采用递归的方式， 沿着某条搜索路线frame节点，依次对树中每个节点均做一次访问。

我们以163网址上的登录框为例：点击登录按钮，弹出登录iframe页面。输入框位置在iframe中，因此我们不能使用xpath获取元素位置，需要进入iframe中，然后获取元素。

手动切换ifame可能会产生bug，因此需要一套自动切换和检索frame的机制。具体代码如下：

需要注意的是：如果页面中多个frame中，存在相同的xpath元素。还是需要指定frame的路径，否则会返回搜索到的第一个元素。

强制等待

直接调用系统time.sleep函数，不管页面加载情况一定会等待指定的时间， 即使元素已被加载 。

1.如果设置的时间较长，会浪费时间

2.如果设置的时间较短，元素可能没有加载。

页面中某元素如果未能立即加载，隐式等待告诉WebDriver需等待一定的时间，然后去查找元素。默认不等待，隐式等待作用于整个WebDriver周期，只需设置一次即可。

1.在上文的find_element函数中，采用递归方式在所有frame寻找元素。若采用隐式等待，则在每个frame中都需要等待设定的时间，耗时非常长。

2.某些页面我们想要的元素已经加载完毕，但是部分其他资源未加载。隐式等待必须等待所有元素加载完毕，增加额外等待时间。

显示等待一般作用于某一个元素，在设定的时间范围内，默认每间隔0.5秒查找元素。返回被加载的元素，若超过设定的时间范围未能查找则报错。显示等待作为selenium常用的等待机制，我们来看下他的源码和机制。

driver 注释中解释为WebDriver实例，但是代码中并未有相关检测，因此可以传入任何对象

但是__repr__函数中使用到session_id属性，如果需要显示属性或者转为str对象，最好在driver对象中添加session_id属性

在until函数中，我们可以看到driver对象传入method函数。在计时结束前，在不断循环执行method函数，如果method函数有正常返回值则退出循环，否则报TimeoutException错误。

可以采用装饰器对隐式等待进行封装，这样代码更加精简

同样的，采用装饰器对其他常用的函数进行封装,例如强制等待、点击、输入文本等。

装饰器虽然很方便，但也会产生一些麻烦。例如在find_element函数递归调用过程中，理应只要执行一次装饰器函数。但因为装饰器已经装饰完毕，导致每次递归都会执行。例如强制等待的sleep函数，如果递归次数越多等待时间越长。

解除装饰器一般有两种做法：一是约定参数，当递归第二次调用时则不生效。例如

这种方式实现简单，容易理解。但是增加了参数限制，在fun函数中就不能使用first_sleep参数。

二是采用装饰器采用wrapped实现，通过访问wrapped属性获得原始函数。例如

但是某一个函数被多个装饰器装饰时，需要递归解除装饰器。例如

最后整体代码如下

这次的封装其实还存在很多问题

1.find_element函数不仅仅只是提供查找元素功能，还提供一些其他功能，因此叫element_operation更为合适。

2.find_element函数的参数过多，并且很多参数的使用并不在函数本身中，对代码阅读很不友好。

3.得小心避免参数重复问题，假设装饰器sleep和装饰器wait_time都使用time这个参数，将无法区分具体是哪个函数使用。

4.不利于扩展和维护，当功能过多时find_element的参数过于庞大。

如果只是简单地封装和使用，上面这种方式也能达到较好的效果。如果想进一步封装，建议采用链式调用方式，装饰器辅助封装。例如

这样函数的扩展性和可阅读性有较大的提升

python recv函数会一直等待吗

d = s.recv(1024)

这段代码的返回值通过使用 not d 判断总是失败，于是那个循环读取的 while 就陷入了死循环，请各位帮忙看一下，谢谢！

#-*- coding:utf8 -*-

import socket

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

s.connect(("", 80))

s.send("GET / HTTP/1.1\r\nHost:\r\n\r\n")

tmp = []

while True:

d = s.recv(1024)

if not d:

break

tmp.append(d)

data = ''.join(tmp)

s.close()

header, html = data.split("\r\n\r\n", 1)

print header

with open("oschina.html", "wb") as f:

f.write(html)

分享题目：等待函数python,等待函数按键中程序一直等待参数delay的值是
本文地址：http://pwwzsj.com/article/hegidj.html