1.socket 是什么?
Socket 是应用层与 TCP/IP 协议族通信的中间软件抽象层, 它是一组接口在设计模式中, Socket 其实就是一个门面模式, 它把复杂的 TCP/IP 协议族隐藏在 Socket 接口后面, 对用户来说, 一组简单的接口就是全部, 让 Socket 去组织数据, 以符合指定的协议
所以, 我们无需深入理解 tcp/udp 协议, socket 已经为我们封装好了, 我们只需要遵循 socket 的规定去编程, 写出的程序自然就是遵循 tcp/udp 标准的
也有人将 socket 说成 ip+port,ip 是用来标识互联网中的一台主机的位置, 而 port 是用来标识这台机器上的一个应用程序, ip 地址是配置到网卡上的, 而 port 是应用程序开启的, ip 与 port 的绑定就标识了互联网中独一无二的一个应用程序
而程序的 pid 是同一台机器上不同进程或者线程的标识
2. 套接字发展史及分类
套接字起源于 20 世纪 70 年代加利福尼亚大学伯克利分校版本的 Unix, 即人们所说的 BSD Unix 因此, 有时人们也把套接字称为伯克利套接字或 BSD 套接字一开始, 套接字被设计用在同 一台主机上多个应用程序之间的通讯这也被称进程间通讯, 或 IPC 套接字有两种(或者称为有两个种族), 分别是基于文件型的和基于网络型的
基于文件类型的套接字家族
套接字家族的名字: AF_UNIX
unix 一切皆文件, 基于文件的套接字调用的就是底层的文件系统来取数据, 两个套接字进程运行在同一机器, 可以通过访问同一个文件系统间接完成通信
基于网络类型的套接字家族
套接字家族的名字: AF_INET
(还有 AF_INET6 被用于 ipv6, 还有一些其他的地址家族, 不过, 他们要么是只用于某个平台, 要么就是已经被废弃, 或者是很少被使用, 或者是根本没有实现, 所有地址家族中, AF_INET 是使用最广泛的一个, python 支持很多种地址家族, 但是由于我们只关心网络编程, 所以大部分时候我么只使用 AF_INET)
3. 套接字工作流程
一个生活中的场景你要打电话给一个朋友, 先拨号, 朋友听到电话铃声后提起电话, 这时你和你的朋友就建立起了连接, 就可以讲话了等交流结束, 挂断电话结束此次交谈 生活中的场景就解释了这工作原理
引用: http://www.cnblogs.com/linhaifeng/articles/6129246.html#_label4
先从服务器端说起服务器端先初始化 Socket, 然后与端口绑定(bind), 对端口进行监听(listen), 调用 accept 阻塞, 等待客户端连接在这时如果有个客户端初始化一个 Socket, 然后连接服务器(connect), 如果连接成功, 这时客户端与服务器端的连接就建立了客户端发送数据请求, 服务器端接收请求并处理请求, 然后把回应数据发送给客户端, 客户端读取数据, 最后关闭连接, 一次交互结束
- import socket
- socket.socket(socket_family,socket_type,protocal=0)
socket_family 可以是 AF_UNIX 或 AF_INETsocket_type 可以是 SOCK_STREAM 或 SOCK_DGRAMprotocol 一般不填, 默认值为 0
获取 tcp/ip 套接字
tcpSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
获取 udp/ip 套接字
udpSock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
由于 socket 模块中有太多的属性我们在这里破例使用了 from module import * 语句使用 from socket import *, 我们就把 socket 模块里的所有属性都带到我们的命名空间里了, 这样能 大幅减短我们的代码
例如 tcpSock = socket(AF_INET, SOCK_STREAM)
服务端套接字函数
s.bind() 绑定 (主机, 端口号) 到套接字
s.listen() 开始 TCP 监听
s.accept() 被动接受 TCP 客户的连接,(阻塞式)等待连接的到来
客户端套接字函数
s.connect() 主动初始化 TCP 服务器连接
s.connect_ex() connect()函数的扩展版本, 出错时返回出错码, 而不是抛出异常
公共用途的套接字函数
s.recv() 接收 TCP 数据
s.send() 发送 TCP 数据(send 在待发送数据量大于己端缓存区剩余空间时, 数据丢失, 不会发完)
s.sendall() 发送完整的 TCP 数据(本质就是循环调用 send,sendall 在待发送数据量大于己端缓存区剩余空间时, 数据不丢失, 循环调用 send 直到发完)
s.recvfrom() 接收 UDP 数据
s.sendto() 发送 UDP 数据
s.getpeername() 连接到当前套接字的远端的地址
s.getsockname() 当前套接字的地址
s.getsockopt() 返回指定套接字的参数
s.setsockopt() 设置指定套接字的参数
s.close() 关闭套接字
面向锁的套接字方法
s.setblocking() 设置套接字的阻塞与非阻塞模式
s.settimeout() 设置阻塞套接字操作的超时时间
s.gettimeout() 得到阻塞套接字操作的超时时间
面向文件的套接字的函数
s.fileno() 套接字的文件描述符
s.makefile() 创建一个与该套接字相关的文件
4. 基于 TCP 的套接字
- # 服务端
- ss = socket() #创建服务器套接字
- ss.bind() #把地址绑定到套接字
- ss.listen() #监听链接
- inf_loop: #服务器无限循环
- cs = ss.accept() #接受客户端链接
- comm_loop: #通讯循环
- cs.recv()/cs.send() #对话(接收与发送)
- cs.close() #关闭客户端套接字
- ss.close() #关闭服务器套接字(可选)
- # 客户端
- 1 cs = socket() # 创建客户套接字
- 2 cs.connect() # 尝试连接服务器
- 3 comm_loop: # 通讯循环
- 4 cs.send()/cs.recv() # 对话(发送 / 接收)
- 5 cs.close() # 关闭客户套接字
5. 基于 UDP 的套接字
服务端
- #_*_coding:utf-8_*_
- __author__ = Linhaifeng
- import socket
- ip_port=(127.0.0.1,9000)
- BUFSIZE=1024
- udp_server_client=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
- udp_server_client.bind(ip_port)
- while True:
- msg,addr=udp_server_client.recvfrom(BUFSIZE)
- print(msg,addr)
- udp_server_client.sendto(msg.upper(),addr)
- # 客户端
- #_*_coding:utf-8_*_
- __author__ = Linhaifeng
- import socket
- ip_port=(127.0.0.1,9000)
- BUFSIZE=1024
- udp_server_client=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)
- while True:
- msg=input(>>: ).strip()
- if not msg:continue
- udp_server_client.sendto(msg.encode(utf-8),ip_port)
- back_msg,addr=udp_server_client.recvfrom(BUFSIZE)
- print(back_msg.decode(utf-8),addr)
6. 什么是粘包
须知: 只有 TCP 有粘包现象, UDP 永远不会粘包, 为何, 且听我娓娓道来
发送端可以是一 K 一 K 地发送数据, 而接收端的应用程序可以两 K 两 K 地提走数据, 当然也有可能一次提走 3K 或 6K 数据, 或者一次只提走几个字节的数据, 也就是说, 应用程序所看到的数据是一个整体, 或说是一个流(stream), 一条消息有多少字节对应用程序是不可见的, 因此 TCP 协议是面向流的协议, 这也是容易出现粘包问题的原因而 UDP 是面向消息的协议, 每个 UDP 段都是一条消息, 应用程序必须以消息为单位提取数据, 不能一次提取任意字节的数据, 这一点和 TCP 是很不同的怎样定义消息呢? 可以认为对方一次性 write/send 的数据为一个消息, 需要明白的是当对方 send 一条信息的时候, 无论底层怎样分段分片, TCP 协议层会把构成整条消息的数据段排序完成后才呈现在内核缓冲区
例如基于 tcp 的套接字客户端往服务端上传文件, 发送时文件内容是按照一段一段的字节流发送的, 在接收方看了, 根本不知道该文件的字节流从何处开始, 在何处结束
所谓粘包问题主要还是因为接收方不知道消息之间的界限, 不知道一次性提取多少字节的数据所造成的
此外, 发送方引起的粘包是由 TCP 协议本身造成的, TCP 为提高传输效率, 发送方往往要收集到足够多的数据后才发送一个 TCP 段若连续几次需要 send 的数据都很少, 通常 TCP 会根据优化算法把这些数据合成一个 TCP 段后一次发送出去, 这样接收方就收到了粘包数据
TCP(transport control protocol, 传输控制协议)是面向连接的, 面向流的, 提供高可靠性服务收发两端 (客户端和服务器端) 都要有一一成对的 socket, 因此, 发送端为了将多个发往接收端的包, 更有效的发到对方, 使用了优化方法(Nagle 算法), 将多次间隔较小且数据量小的数据, 合并成一个大的数据块, 然后进行封包这样, 接收端, 就难于分辨出来了, 必须提供科学的拆包机制 即面向流的通信是无消息保护边界的
UDP(user datagram protocol, 用户数据报协议)是无连接的, 面向消息的, 提供高效率服务不会使用块的合并优化算法,, 由于 UDP 支持的是一对多的模式, 所以接收端的 skbuff(套接字缓冲区)采用了链式结构来记录每一个到达的 UDP 包, 在每个 UDP 包中就有了消息头(消息来源地址, 端口等信息), 这样, 对于接收端来说, 就容易进行区分处理了 即面向消息的通信是有消息保护边界的
tcp 是基于数据流的, 于是收发的消息不能为空, 这就需要在客户端和服务端都添加空消息的处理机制, 防止程序卡住, 而 udp 是基于数据报的, 即便是你输入的是空内容(直接回车), 那也不是空消息, udp 协议会帮你封装上消息头, 实验略
udp 的 recvfrom 是阻塞的, 一个 recvfrom(x)必须对唯一一个 sendinto(y), 收完了 x 个字节的数据就算完成, 若是 y>x 数据就丢失, 这意味着 udp 根本不会粘包, 但是会丢数据, 不可靠
tcp 的协议数据不会丢, 没有收完包, 下次接收, 会继续上次继续接收, 己端总是在收到 ack 时才会清除缓冲区内容数据是可靠的, 但是会粘包
两种情况下会发生粘包
发送端需要等缓冲区满才发送出去, 造成粘包(发送数据时间间隔很短, 数据了很小, 会合到一起, 产生粘包)
7. 解决粘包的方法
- # 服务端
- import socket,struct,json
- import subprocess
- phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
- phone.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) #就是它, 在 bind 前加
- phone.bind((127.0.0.1,8080))
- phone.listen(5)
- while True:
- conn,addr=phone.accept()
- while True:
- cmd=conn.recv(1024)
- if not cmd:break
- print(cmd: %s %cmd)
- res=subprocess.Popen(cmd.decode(utf-8),
- shell=True,
- stdout=subprocess.PIPE,
- stderr=subprocess.PIPE)
- err=res.stderr.read()
- print(err)
- if err:
- back_msg=err
- else:
- back_msg=res.stdout.read()
- conn.send(struct.pack(i,len(back_msg))) #先发 back_msg 的长度
- conn.sendall(back_msg) #在发真实的内容
- conn.close()
- # 客户端
- #_*_coding:utf-8_*_
- __author__ = Linhaifeng
- import socket,time,struct
- s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
- res=s.connect_ex((127.0.0.1,8080))
- while True:
- msg=input(>>: ).strip()
- if len(msg) == 0:continue
- if msg == quit:break
- s.send(msg.encode(utf-8))
- l=s.recv(4)
- x=struct.unpack(i,l)[0]
- print(type(x),x)
- # print(struct.unpack(I,l))
- r_s=0
- data=b
- while r_s < x:
- r_d=s.recv(1024)
- data+=r_d
- r_s+=len(r_d)
- # print(data.decode(utf-8))
- print(data.decode(gbk)) #windows 默认 gbk 编码
来源: http://www.bubuko.com/infodetail-2499093.html