网络编程
构建tcp服务
TCP
tcp全名为传输控制协议。再osi模型中属于传输层协议。
tcp是面向连接的协议,在传输之前需要形成三次握手形成会话
只有会话形成了,服务端和客户端才能想发送数据,在创建会话的过程中,服务端和客户端分别提供一个套接字。两个套接字共同形成一个连接, 服务端和客服端通过套接字实现两者的操作
创建TCP服务端
var net = require('net')
var server = net.createServer(function (socket) {
// 新的连接
socket.on('data',function(data) {
socket.write('你好')
})
socket.on('end', function(data) {
console.log('连接断开')
})
socket.write('welcome to the new world')
})
// 监听方式
server.listen(8124, function() {
console.log('server bound')
})
// 新的连接
server.on('connection', function(socket) {
})
TCP服务的事件
服务器事件
对于net.createServer()创建的服务器而言,是一个eventEmitter
实例,自定义的事件有如下几种
- listening: server.listen()绑定端口。
- connection: 每个客户端套接字连接到服务器端的时候触发。
- close: 当服务器关系触发的时候,在调用server.close()
- error: 当服务器发生异常的时候, 会触发该事件。
连接事件
服务端可以同多个客户端保持连接。对于每个连接而言都是典型的可读可写的stream对象。stream对象
可以用于服务端和客户端之间的通信,既可以是通过data事件从一段到另一端发来的数据,也可以通过write方法从一段向另一端发送数据。
- data: 当一端通过write发送数据,另一端会触发data事件
- end: 当连接中的任意一端发送了FIN数据,当套接字和服务端成功会被触发
- connect: 该事件用于客户端,当套接字和服务端连接成功的时候会触发
- error: 当异常发生的时候,触发该事件
- close: 当套接字完全关闭的时候,触发该事件
- timeout: 当一定时间后连接不在活跃的时候,该事件会被触发。通知用户已经被闲置了
- drain: 当任意一段调用write发送数据时, 当前这端会触发该事件
tcp套接字是可写可读的stream对象,可以利用pipe方法巧妙的实现管道操作
var net = require('net')
var server = net.createServer(function(socket){
socket.write('Echo server')
socket.pipe(socket)
})
server.listen(1337, '127.0.0.1')
TCP针对网络中的小数据包有一定的优化策略:Nagle算法。如果每次只发送一个字节的内容而不优化,网络中将充满只有极少数有效数据的数据包,将十分浪费网络资源。Nagle算法针对这种情况,要求缓冲区的数据达到一定数量或者一定时间后才将其发出,所以小数据包将会被Nagle算法合并,以此来优化网络。
构建UDP服务
UDP不是面向连接的。一个套接字可以与多个UDP服务通信,它虽然提供面向事务的简单不可靠信息传输服务,在网络差的情况下存在丢包严重的问题
创建UDP套接字
UDP套接字一旦创建,既可以作为客户端发送数据,也可以作为服务器端接收数据。
var dgram = require('dgram')
var socket = dgram.createSocket("udp4")
创建udp服务器端
var dgram = require('dgram')
var server = dgram.createSocket("udp4")
server.on("message", function(msg, rinfo){
console.log("server got: " + msg + " from " +rinfo.address + ":" + rinfo.port);
})
server.on('listening', function() {
var address = server.address()
console.log('server listening' + address.address + ":" + address.port)
})
server.bind(41234)
创建UDP客户端
var dgram = require('dgram')
var message = new Buffer('深入nodejs')
var client = dgram.createSocket("udp4")
client.send(message, 0, message.length, 41234, "localhost", function(err, bytes) {
client.close()
})
api: socket.send(buf, offset, length, port, address, [callback])
upd套接字事件
- message: 收到信息的时候触发该事件,携带数据为消息buffer和一个远程地址信息
- listening: upd套接字来来时监听该事件
- close: 调用close可以触发该事件。不在触发message事件。
- error: 发生异常的时候触发该事件,不监听,异常之间抛出。
HTTP
curl -v http://127.0.0.1:1337 // tcp三次握手
GET / HTTP/1.1 // 客服端发送请求报文
User-Agent: curl/7.24.0(x86_64-apple-darwin12.0) libcurl/7.24.0 OpenSSL/0.9.8r zlib/1.2.5
Host: 127.0.0.1:1337
Accept: */*
HTTP/1.1 200 OK // 服务端发送响应内容
Content-Type: text/plain
Date: Sat, 06 Apr 2013 08:01:44 GMT
Connection: keep-alive
Transfer-Encoding: chunked
hello world
基于请求响应式的,以一问一答的方式实现服务,虽然基于TCP会话,但是本身却并无会话的特点。
浏览器构造HTTP报文发向图片服务器端;然后,服务器端判断报文中的要请求的地址,将磁盘中的图片文件以报文的形式发送给浏览器;浏览器接收完图片后,调用渲染引警将其显示给用户。
http模块
Node的http模块包含对HTTP处理的封装。在Node中,HTTP服务继承自TCP服务器(net块 ),它能够与多个客户端保持连接,由于其采用事件驱动的形式,并不为每一个连接创建额外的线程或进程,保持很低的内存占用,所以能实现高并发
在开启keepalive后,一个TCP会话可以用于多次请求和响应。TCP服务以connection为单位进行服务,HTTP服务以request为单位进行服务。http模块即是将connection到request的过程进行了封装
http模块讲连接所用的套接字的读取抽象为ServerRequest和ServerResponse对象。分别对应请求和响应操作。在请求产生的过程中,http模块拿到连接中传来的数据,调用二进制模块http_parser进行解析,在解析完请求报文的报头之后,触发request时间,调用用户的业务逻辑。
function(req, res) {
res.writeHead(200, {'Content-Type': 'text/plain'})
res.end('hello wrold\n')
}
HTTP请求
对于TCP连接的读操作,http模块将其封装为ServerRequest对象。让我们再次查看前面的请求报文,报文头部将会通过http_parser进行解析。请求报文的代码如下所示:
GET /HTTP 1.1
User-Agent: curl/7.24.0(x86 64-apple-darwin12.0)libcurl/7.24.0 0penssL/0.9.8r zlib/1.2.5
Host: 127.0.0.1:1337
Accept: */*
报文体部分抽象一个只读流对象,如果业务逻辑需要读取报文体中的数据,数据流结束后才能进行操作
function (req, res) {
var buffers = []
req.on('data', function(trunk) {
buffers.push(trunk);
}).on('end', function() {
var buffer = Buffer.concat(buffers)
res.end('Hello world')
})
}
HTTP请求对象和HTTP响应对象是相对较底层的封装,现行的Web框架如Connect和Express都是在这两个对象的基础上进行高层封装完成的。
HTTP 响应
再来看看HTTP响应对象。HTTP响应相对简单一些,它封装了对底层连接的写操作,可以将其看成一个可写的流对象。它影响响应报文头部信息的API为res.setHeader()和res.writeHead()。
res.writeHead(200, {'Content-Type': 'text/plain'})
HTTP/1.1 200 OK
Content-Type: text/plain
只有调用writeHead后,报文才会写入到连接中,除此之外,http模块会自动帮你设置一些头信息
Date: Sat, 06 Apr 2013 08:01:44 GMT
Connection:keep-alive
Transfer-Encoding:chunked
报文体部分则是调用res.write()和res.end()方法实现,后者与前者的差别在于res.end()会先调用write()发送数据,然后发送信号告知服务器这次响应结束
响应结束后,HTTP服务器可能会将当前的连接用于下一个请求,或者关闭连接。值得注意的是,报头是在报文体发送前发送的,一旦开始了数据的发送,writeHead()和setHeader()将不再生效。
无论服务器端在处理业务逻辑时是否发生异常,务必在结束时调用res.end()结束请求,否则客户端将一直处于等待的状态。当然,也可以通过延迟res.end()的方式实现客户端与服务器端之间的长连接,但结束时务必关闭连接。
HTTP服务的事件
HTTP服务也抽象了一些事件,提供给应用层使用。同样典型的是,服务器是一个EventEmitter实例
- connect事件:在开始HTTP请求和响应前,客户端与服务器端需要建立底层的TCP连接,这个连接可能因为开启了keep-alive,可以在多次请求响应之间使用;当这个连接建立时,服务器触发一次connection事件。
- request事件: 建立TCP连接后,http模块底层将在数据流中抽象出HTTP请求和HTTP响应,当请求数据发送到服务器端,在解析出HTTP请求头后,将会触发该事件;在res.end()后,TCP连接可能将用于下一次请求响应。
- close事件: 与TCP服务器的行为一致,调用server.close()方法停止接受新的连接,当已有的连接都断开时,触发该事件;可以给server.close()传递一个回调函数来快速注册该事件。
- checkContinue: 某些客户端在发送较大的数据时,并不会将数据直接发送,而是先发送一个头部带Expect:100-continue的请求到服务器,服务器将会触发checkContinue事件;如果没有为服务器监听这个事件,服务器将会自动响应客户端100Continue的状态码,表示接受数据上传;如果不接受数据的较多时,响应客户端400Bad Request拒绝客户端继续发送数据即可
- connect事件:当客户端发起CONNECT请求时触发,而发起CONNECT请求通常在HTTP代理时出现;如果不监听该事件,发起该请求的连接将会关闭。
- upgrade事件:当客户端要求升级连接的协议时,需要和服务器端协商,客户端会在请求头中带上Upgrade字段,服务器端会在接收到这样的请求时触发该事件。
- clientError事件:连接的客户端触发error事件时,这个错误会传递到服务器端,此时触发该事件。
http客户端
node提供了基础的http和https模块用于http和https的封装
HTTP模块
在node中,http服务器继承自tcp服务器(net模块),能够和多个客户端保持连接,采用事件驱动的方式。不会为每一个连接创建额外的线程或者进程。在开启keepalive之后,一个tcp会话可以用于多个请求和响应,tcp服务以connection为单位进行服务,http服务以request为单位进行服务。
http模块将连接所用到的套接字的读写过程抽象为serverrequest和serverresopnse对象,分别对应请求和响应操作,在请求产生的过程中,http模块拿到连接传来的数据,调用二进制http_parser进行解析。解析完报文之后,触发request事件。
HTTP请求
对于TCP连接的读操作http模块将其封装为ServerRequest对象。分解为这些属性: 1. req.method 2. req.url 3. req.httpVersion
HTTP响应
res.setHeader, 可以进行多次设置,只有调用res.writedHead之后,才会写入连接中
res.writeHeader
HTTP服务的事件
服务器是一个EventEmitter实例
- connection事件: 在开始HTTP请求和响应之前,客户端和服务器需要建立底层的tcp连接。这个连接开启了keep-alive事件,可以在多个响应中使用,这个连接建立的时候,服务器触发一个connection事件
- request事件: 建立tcp连接之后,http模块底层将在数据流中抽象出http请求和http响应,当请求数据发送到服务器端,在解析出http请求报文之后,会触发该事件,在res.end()事件之后,tcp可能会用于下一次响应。
- checkContinue事件: 某些客户端在发送较大的数据之后,不会讲数据直接发送,发送continue(100)。服务器会触发checkCoutinue的事件,如果没有为服务器监听这个事件,服务器将会自动响应客户端100Continue的状态码,表示接受数据上传;如果不接受数据的较多时,响应客户端400Bad Request拒绝客户端继续发送数据即可。
- connect事件: 当客户端发起connect请求的时触发,发起connect请求通常在HTTP代理时候出现,如果不见听这个事件,发起该请求的连接就会关闭。
- upgrade事件: 当客户端要求升级连接协议的时候,需要和服务端协商。客户端才会在请求中带上upgrade字段
- clientError事件: 连接的客户端会触发error事件,这个错误会传递到服务器端。
HTTP客户端
- host: 服务器的域名和ip地址
- hostname: 服务器名称
- port: 服务器端口
- localAddress: 建立网络连接的本地网卡
- socketPath: Domain套接字连接路径
- method: http请求方法
- path: 请求路径,默认为/
- header: 请求头对象
- auth:basic认证,用于计算请求头中的Authorization部分
HTTP响应
HTTP客户端的响应对象和服务器端较为相似。
function(res) {
res.setEncoding('utf-8')
res.on('data', function(chunk) {
console.log(chunk)
})
}
http代理
在keepalive的情况下,一个底层会话可以用于多次请求,为了重用tcp连接,http模块包含了一个默认的客户端代理对象Http.globalAgent,对于服务器端的创建的连接进行了连接,实际上是一个线程池。
调用HTTP客户端同时对一个服务器发起10个HTTP请求uid时候,实际上是只有5个请求处于并发状态,后续的请求需要等待某个请求完成服务后真正发出。
http客户端事件
- response
- socket:当底层连接池中建立的连接分配给当前请求对象时,触发该事件。
- connect:当客户端向服务器端发起CONNECT请求时,如果服务器端响应了200状态码,客户端将会触发该事件。
- upgrade:客户端向服务器端发起Upgrade请求时,如果服务器端响应了101 SwitchingProtocols状态,客户端将会触发该事件。
- continue:客户端向服务器端发起Expect:100-continue头信息,以试图发送较大数据量如果服务器端响应100 Continue状态,客户端将触发该事件。