本文是基于 python2.7 实现,运行于 Mac 系统下
本篇文章是上一篇初探 socket 的续集, 上一篇文章介绍了:如何建立起一个基本的 socket 连接、TCP 和 UDP 的概念、socket 常用参数和方法
Socket 是用来通信、传输数据的对象,上一篇已经研究了如果进行基本的通行和传输数据。因为,在这个互 联网爆发的时代,做为 Server 的 socket 要同时接收很多的请求。
通过阅读:地址,强烈推荐阅读原文。
整理了下面的文字,如何:创建一个 非阻塞的 server。
下面就通过
模型,展示阻塞状态:
- C/S
该代码片段分别是:阻塞的 Server 和测试用的 Client:
- #!/usr/bin/env python
- # -*- coding:utf-8 -*-
- #
- # Author : XueWeiHan
- # Date : 17/2/25 上午10:39
- # Desc : 阻塞 server
- importsocketimporttime
- SERVER_ADDRESS=(HOST, PORT)= '',50007REQUEST_QUEUE_SIZE= 5
- defhandle_request(client_connection):"""
- 处理请求
- """request=client_connection.recv(1024)print('Server recv: {request_data}'.format(request_data=request.decode()))
- time.sleep(10)# 模拟阻塞事件http_response= "Hello, I'm server"client_connection.sendall(http_response)defserver():
- listen_socket=socket.socket(socket.AF_INET, socket.SOCK_STREAM)
- listen_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR,1)
- listen_socket.bind(SERVER_ADDRESS)
- listen_socket.listen(REQUEST_QUEUE_SIZE)print('Server on port {port} ...'.format(port=PORT))while 1:
- client_connection, client_address=listen_socket.accept()
- handle_request(client_connection)
- client_connection.close()if __name__ == '__main__':
- server()
:在 sever 阻塞的时,允许挂起几个连接。便于可以处理时直接从该队列中取得连接,减少建立连接的时间
- REQUEST_QUEUE_SIZE
:用于模拟阻塞
- time.sleep
测试用的 Client
- #!/usr/bin/env python
- # -*- coding:utf-8 -*-
- #
- # Author : XueWeiHan
- # Date : 17/2/25 上午11:13
- # Desc : 测试 client
- importsocket
- SERVER_ADDRESS=(HOST, PORT)= '',50007
- defsend_message(s, message):"""
- 发送请求
- """s.sendall(message)defclient():
- message= "Hello, I'm client"s=socket.socket(socket.AF_INET, socket.SOCK_STREAM)
- s.connect(SERVER_ADDRESS)
- send_message(s, message)print 'Client is Waiting response...'data=s.recv(1024)
- s.close()print 'Client recv:',repr(data)# 打印从服务器接收回来的数据
- if __name__ == '__main__':
- client()
打开三个终端,先运行 Server,在另外两个终端运行 Client(分别起名为 client1、client2),会发现 服务器先接收 client1 的数据,然后返回响应。再此之前 client2 一直处于等待的状态。只有等 Server 处理完 client1 的请求后,才会接收 client2 的数据。
这样一个个地接收请求、处理请求的 Server 就叫做 阻塞 Server。
因为服务器处理请求是需要消耗时间的,正如我上面的阻塞 Server 代码中的
,用于模拟 服务器处理请求消耗的时间。
- time.sleep(10)
在处理完上一个请求(返回给 Client 数据)的这段时间中,服务器无法处理其它的请求,只能让其它的 Client 等待。这样的效率是 极其低下的,所以下面就介绍如何创建一个非阻塞的 Server
后面会用多进程实现 非阻塞 socket,在此之前需要了解一些基本知识和概念,便于理解后面的代码。
参照上面写的阻塞 Server 的代码,可以看出:服务器端的 socket 对象,
从不和客户端交换数据。它只会通过
- listen_socket
方法接受连接。然后,创建一个新的 socket 对象,
- accept
用于和客户端通信。
- client_connection
所以,服务器端的 socket 分为:接受请求的 socket(listen_socket) 和 与客户端传输数据的 socket(client_connection)。
正如上面说到的,真正阻塞地方是:与客户端传输数据的 socket(
) 需要等待处理请求的结果,然后返还给客户端,结束这次通信,才能处理后面的请求。
- client_connection
存在硬盘中的叫做'程序'(*.py),当程序运行加载到内存中的时候叫做'进程'。系统会分配给每个进程一个唯一 ID, 这个 ID 叫做:PID ,进程还分为父进程和子进程,父进程(PPID)创建子进程(PID)。关系如下图:
可以通过
命令来查看进程的信息:每天一个 linux 命令(41):ps 命令
- ps
需要注意:
僵尸进程:一个进程使用 fork 创建子进程,如果子进程退出,而父进程并没有调用 wait 或 waitpid 获取子进程的状态信息,那么子进程的进程描述符仍然保存在系统中。这种进程称之为僵尸进程。(系统所能使用的进程号是有限制的,如果大量的产生僵死进程,将因为没有可用的进程号而导致系统不能产生新的进程。则会抛出
异常)
- OSError: [Errno 35] Resource temporarily unavailable
孤儿进程:一个父进程退出,而它的一个或多个子进程还在运行,那么那些子进程将成为孤儿进程。孤儿进程将被 init 进程 (进程号为 1) 所收养,并由 init 进程对它们完成状态收集工作。(没有危害)
在 UNIX 中一切都是一个文件,当操作系统打开一存在的个文件的时候,便会返回一个'文件描述符',进程通过 操作该文件操作符,从而实现对文件的读写。Socket 是一个操作文件描述符的进程,Python 的 socket 模块提供了这些操作系统底层的实现。我们只需要调用
对象的方式就可以了。
- socket
需要注意:
方法,关闭文件描述符。道理和进程一样,操作系统都会最多可创建的文本描述符的限制,如果一直不关闭文本描述符的话,导致数量太多无法创建新的,就会抛出
- close()
异常。
- OSError: [Errno 24] Too many open file
计算机的计算和存储能力都是有限的,统称为计算机资源。
上面说了进程和文件描述符号都是有个最大数量(极限),下面就是用于查看和修改用户资源限制的命令——
。
- ulimit
- -a 列出所有当前资源极限。
- -c 以 512 字节块为单位,指定核心转储的大小。
- -d 以 K 字节为单位指定数据区域的大小。
- -f 使用 Limit 参数时设定文件大小极限(以块为单位),或者在未指定参数时报告文件大小极限。缺省值为 -f 标志。
- -H 指定设置某个给定资源的硬极限。如果用户拥有 root 用户权限,可以增大硬极限。任何用户均可减少硬极限。
- -m 以 K 字节为单位指定物理内存的大小(驻留集合大小)。系统未强制实施此限制。
- -n 指定一个进程可以拥有的文件描述符数的极限。
- -r 指定对进程拥有线程数的限制。
- -s 以 K 字节为单位指定堆栈的大小。
- -S 指定为给定的资源设置软极限。软极限可增大到硬极限的值。如果 -H 和 -S 标志均未指定,极限适用于以上二者。
- -t 指定每个进程所使用的秒数。
- -u 指定对用户可以创建的进程数的限制。
常用命令如下:
:查看
- ulimit -a
:设置一个进程可拥有文件描述符数量
- ulimit -n
:最多可以创建多少个进程
- ulimit -u
采用 fork 的方式实现非阻塞 Server,主要原理就是当 socket 接受到(accept)一个请求,就 fork 出一个子进程 去处理这个请求。然后父进程继续接受请求。从而实现并发的处理请求,不需要处理上一个请求才能接受、处理下一个请求。
- importerrnoimportosimportsignalimportsocket
- SERVER_ADDRESS=(HOST, PORT)= '',8888REQUEST_QUEUE_SIZE= 1024
- defgrim_reaper(signum, frame):while True:try:
- pid, status=os.waitpid(-1,# Wait for any child processos.WNOHANG# Do not block and return EWOULDBLOCK error)except OSError:return
- ifpid== 0:# no more zombies
- return
- defhandle_request(client_connection):
- request=client_connection.recv(1024)print(request.decode())
- http_response=b"""\
- HTTP/1.1 200 OK
- Hello, World!
- """client_connection.sendall(http_response)defserve_forever():
- listen_socket=socket.socket(socket.AF_INET, socket.SOCK_STREAM)
- listen_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR,1)
- listen_socket.bind(SERVER_ADDRESS)
- listen_socket.listen(REQUEST_QUEUE_SIZE)print('Serving HTTP on port {port} ...'.format(port=PORT))
- signal.signal(signal.SIGCHLD, grim_reaper)while True:try:
- client_connection, client_address=listen_socket.accept()except IOError ase:
- code, msg=e.args# restart 'accept' if it was interrupted
- ifcode==errno.EINTR:continue
- else:raisepid=os.fork()ifpid== 0:# childlisten_socket.close()# close child copyhandle_request(client_connection)
- client_connection.close()
- os._exit(0)else:# parentclient_connection.close()# close parent copy and loop over
- if __name__ == '__main__':
- serve_forever()
如阅读代码时出现的问题,可以参考下面的关键字:
。
- os.wait
的
- waitpid
选项,进行死循环。以确保获取到所有 signal
- os.WHOHANG
的
- waitpid
选项,不会阻塞,但是如果没有子进程退出,会抛出
- os.WNOHANG
,需要 catch 到这个异常,保证父进程接收到了每个子进程的结束信息,从而保证没有僵尸进程。
- OSError
- waitpid()函数的options选项:
- os.WNOHANG - 如果没有子进程退出,则不阻塞waitpid()调用
- os.WCONTINUED - 如果子进程从stop状态变为继续执行,则返回进程自前一次报告以来的信息。
- os.WUNTRACED - 如果子进程被停止过而且其状态信息还没有报告过,则报告子进程的信息。
该非阻塞 Server 是通过操作系统级别的 fork 实现的,用到了多进程和信号机制。
因为多进程解决非阻塞的问题,很好理解,但是十分消耗计算机资源的,后面会介绍更加轻量级的——利用事件循环实现非阻塞 Server。
挖个坑~
来源: http://www.cnblogs.com/xueweihan/p/6709530.html