协程
什么是协程
协程,英文Coroutines,是一种比线程更加轻量级的存在。正如一个进程可以拥有多个线程一样,一个线程也可以拥有多个协程。
最重要的是,协程不是被操作系统内核所管理,而完全是由程序所控制(也就是在用户态执行)。
这样带来的好处就是性能得到了很大的提升,不会像线程切换那样消耗资源。
协程优势:
- 有较高的执行效率, 始终只有一个线程, 不存在创建线程和销毁线程需要的时间;
- 也没有线程切换的开销, 任务需要开启线程数越多, 协程的优势越明显;
- 不需要多线程的锁机制
如何实现协程
yiled实现协程
import threading
import time
def producer(c):
c.__next__()
n = 0
while n < 5:
n += 1
print("[生产者]生产数据:%s" %(n))
res = c.send(n)
print("[消费者的返回值为:%s" %(res))
def consumer():
r = 'a'
while True:
n = yield r
if not n:
return
print("[消费者]运行%s...." %(n))
time.sleep(1)
r = '200 ok'
if __name__=='__main__':
print(threading.active_count())
c = consumer()
producer(c)
print(threading.active_count())
gevent 实现协程
# 由于切换是在IO操作时自动完成, 所以gevent需要修改python自带的一些标准库;
# gevent提供了patch_*来对于标准库作修改;
import time
from gevent import monkey
monkey.patch_all()
import gevent
def job(n):
for i in range(n):
print(gevent.getcurrent(),i)
time.sleep(1)
def main1():
# 创建三个协程, 并让该协程执行job任务
# 假设多协程执行的任务, 没有IO操作或者等待, 那么协程间是依次运行, 而不是交替运行;
# 假设多协程执行的任务, IO操作或者等待, 那么协程间是交替运行;
g1 = gevent.spawn(job,2)
g2 = gevent.spawn(job,3)
g3 = gevent.spawn(job,2)
# 等待所有的协程执行结束, 再执行主程序;
gevent.joinall([g1,g2,g3])
print("任务执行结束....")
main1()
协程案例
import time
from urllib.request import urlopen
from concurrent.futures import ThreadPoolExecutor
import gevent
# 1. 打补丁
from gevent import monkey
from mytimeit import timeit
monkey.patch_all()
def load_url(url):
with urlopen(url) as conn:
data = conn.read()
print("%s网页字节数为%s" %(url,len(data)))
URLS = ['http://httpbin.org', 'http://example.com/']*100
@timeit
def gevent_main():
gevents = [gevent.spawn(load_url,url) for url in URLS]
gevent.joinall(gevents)
@timeit
def thread_main():
with ThreadPoolExecutor(max_workers=100) as f:
f.map(load_url,URLS)
if __name__=="__main__":
thread_main()
gevent_main()
socket网络编程
网络通讯三要素
- IP
- 分类:
IPv4: 172.25.254.100 ===> 32位的二进制格式, 点分十进制法; 2^32-1
IPv6: ===> 128位的二进制格式 , 冒分十六进制; - 查看:
ip addr show br0
- port: 为了标识通信的应用程序(端口)
- 常见的port和服务的对应关系:/etc/services
- 已经被分配的port: 0-1024
- 自定义端口号的范围: 1024-65535
- 通信协议: TCP和UDP
import socket
print(socket.gethostname())
# 'www.baiu.com'根据域名获取对应服务器的ip地址
print(socket.gethostbyname('www.baidu.com'))
# 根据IP获取对应的主机名
print(socket.gethostbyaddr('114.114.114.114'))
#获取详细信息
print(socket.getaddrinfo('www.xunlei.com',80),type(socket.getaddrinfo('www.xunlei.com',80)))
# AddressFamily.AF_INET : ipv4
# socket.AF_INET6 : ipv6
# SOCK_STREAM: TCP协议
# socket.SOCK_DGRAM: UDP协议
socket实现web简易服务器
TCP工作方式:
import socket
def handle_request(sockobj):
sockobj.send(b'HTTP/1.1 200 OK\r\n\r\n')
with open('hello.html') as f:
sockobj.send(f.read().encode('utf-8'))
if __name__ == '__main__':
# 1. 创建一个socket对象,默认参数 AddressFamily.AF_INET : ipv4, SOCK_STREAM: TCP协议
server = socket.socket()
# 2. 绑定ip和端口
server.bind(('172.25.254.78',9001))
# 3. 监听是否有客户端连接
server.listen(3)
print("服务器端已经启动9001端口....")
while True:
# 4. 接受客户端连接
sockobj , address = server.accept()
print(sockobj,address)
# 5. 接受客户端发送的消息
recv_data = sockobj.recv(1024)
# 6. 与客户端进行交互, 返回给客户端信息
handle_request(sockobj)
sockobj.close()
TCP 实现客户与服务端聊天
服务端
# 1. 创建一个socket对象
import socket
server = socket.socket()
# 2. 绑定ip和端口
server.bind(('172.25.254.78',9002))
# 3. 监听是否有客户端连接
server.listen()
print("服务端已经启动9002端口.....")
# 4. 接收客户端连接
sockobj , address =server.accept()
while True:
# 5. 接收客户端发送的消息
recv_data = sockobj.recv(1024).decode('utf-8')
print('client>:%s' %(recv_data))
if recv_data == 'quit':
break
# 6. 给客户端回复消息
send_data = input("server>:")
sockobj.send(send_data.encode('utf-8'))
if send_data == 'quit':
break
# 7. 关闭socket对象
sockobj.close()
server.close()
客户端
import socket
HOST = '172.25.254.78'
PORT = 9002
# 1. 创建客户端的socket对象
client = socket.socket()
# 2. 连接服务端, 需要指定端口和IP
client.connect((HOST,PORT))
while True:
# 3. 给服务端发送数据
send_data = input("client>:")
client.send(send_data.encode('utf-8'))
if send_data == 'quit':
break
# 4. 获取服务端返回的消息
recv_data = client.recv(1024).decode('utf-8')
print('server>:%s' %(recv_data))
if recv_data=='quit':
break
# 5. 关闭socket连接
client.close()
拓展 协程实现服务端对多个客户端(TCP)
服务端:
def handle_request(sockobj):
while True:
recv_data = sockobj.recv(1024).decode('utf-8')
print("client>:%s" %(recv_data))
if recv_data == 'quit':
break
send_data = input("server>:")
sockobj.send(send_data.encode('utf-8'))
if send_data == 'quit':
break
from gevent import monkey
monkey.patch_all()
import gevent
import socket
server = socket.socket()
server.bind(('172.25.254.78',9001))
server.listen()
print("服务已经启动9001端口...")
while True:
sockobj , address = server.accept()
#创建协程
gevent.spawn(handle_request,sockobj)
sockobj.close()
server.close()
客户端:
import socket
HOST = '172.25.254.78'
PORT = 9001
# 1. 创建客户端的socket对象
client = socket.socket()
# 2. 连接服务端, 需要指定端口和IP
client.connect((HOST,PORT))
while True:
# 3. 给服务端发送数据
send_data = input("client>:")
client.send(send_data.encode('utf-8'))
if send_data == 'quit':
break
# 4. 获取服务端返回的消息
recv_data = client.recv(1024).decode('utf-8')
print('server>:%s' %(recv_data))
if recv_data=='quit':
break
# 5. 关闭socket连接
client.close()
UDP 实现客户与服务端聊天
UDP 工作方式:
服务端:
import socket
HOST = '172.25.254.78'
PORT = 9001
# 1. 创建socket对象
server = socket.socket(type=socket.SOCK_DGRAM)
# 2. 绑定IP和port
server.bind((HOST,PORT))
print("等待客户端的UDP请求.....")
# 3. 接收客户端发送的消息
data , address = server.recvfrom(1024)
print("接受到客户端的消息:",data.decode('utf-8'))
print("客户端的连接的socket地址:",address)
# 4. 给客户端回复消息
server.sendto(b'hello client',address)
# 5. 关闭socket对象
server.close()
客户端:
import socket
HOST = '172.25.254.78'
PORT = 9001
# 1. 创建socket对象
client = socket.socket(type=socket.SOCK_DGRAM)
# 2. 发送消息给服务端
client.sendto(b'hello server',(HOST,PORT))
# 3. 接收服务端返回的信息
data, address = client.recvfrom(1024)
print("接收服务端的消息:",data)
# 4. 关闭socket对象
client.close()
通过socket爬取网页内容
import socket
from urllib.request import urlopen
# 获取网页内容
#print(urlopen('http://www.baidu.com').read())
client = socket.socket()
client.connect(('www.baidu.com',80))
client.send(b'GET / HTTP/1.1\r\nHost: www.baidu.com\r\nConnection: close\r\n\r\n')
recv_data = client.recv(1024*100)
print(recv_data.decode('utf-8'))
client.close()