hello !大家好呀! 欢迎大家来到我的网络编程系列之web服务器shttpd源码剖析——线程池调度,在这篇文章中,你将会学习到在Linux内核中如何创建一个自己的并发服务器shttpd,并且我会给出源码进行剖析,以及手绘UML图来帮助大家来理解,希望能让大家更能了解网络编程技术!!!
希望这篇文章能对你有所帮助,大家要是觉得我写的不错的话,那就点点免费的小爱心吧!
目录
一.多线程池作用
1.1 SHTTPD的多客户支持需求
1.2 SHTTPD多线程池的实现
二.多线程状态及其函数
2.1 多线程状态
2.2 多线程创建以及销毁
一.多线程池作用
1.1 SHTTPD的多客户支持需求
SHTTPD支持多个客户端的并发连接,在同一时刻允许多个客户同时成功获得服务器上的网络资源,这是现代服务器的基本属性,SHTTPD启动的时候处理单元初始化了多个线程,当客户增加超过上限时候,会根据现场情况增加处理单元。
如图:
当超过四个客户端并发访问时,SHTTPD会将后来的请求放在队列排序中,当处理单元空闲时再响应其他请求。
1.2 SHTTPD多线程池的实现
服务器SHTTPD的多客户端支持模块为此程序的主处理模块。在此模块中进行客户端连接的处理、请求数据的接收、响应数据的发送和服务线程的调度。模块的核心部分采用线程池的服务器模型,如图:
模块初始化的时候,建立线程池,其中的线程负责接收客户端的请求、解析数据并响应数据。当客户端请求到来的时候,主线程查看当前线程池中是否有空闲的工作线程,当没有工作线程的时候会建立新的工作线程,然后分配任务给空闲的线程。
工作线程轮询接收客户端的请求数据,进行请求数据分析并响应请求,处理完毕后,关闭客户端的连接,等待主线程分发下一个请求。
多客户端模块的线程处理框架如图所示:
主要分为两个部分:线程调度部分和线程退出部分。线程调度部分负责线程初始化、线程的增减、线程的销毁及线程互斥区的保护。线程退出部分则发送信号给工作线程,使得工作线程能够及时地释放资源。这主要应用于接收到用户的信号 SIGINT 时调用。
二.多线程状态及其函数
2.1 多线程状态
工作线程分为多个状态:初始化状态 , 线程空闲状态, 线程运行状态 , 线程退出中状态和线程退出完毕状态:
线程建立的时候状态为线程初始化状态,此时工作线程不可以接受主线程的任务,刚刚进入线程函数。
线程建立完毕的时候进入线程空闲状态,此时可以接受主线程分配的任务,处理客户端的请求,并进行响应。
线程运行状态为线程正在处理客户端请求的时机,可以由空闲状态转入,转入的条件为主线程分配给此线程一个任务。
在处理完客户端请求时,线程可以转入空闲状态,等待下一次客户端请求任务的分配。
线程退出中的状态主要由接收到SIGINT 信号后调用线程退出函数时引起,此时各个线程在非阻塞的时候会及时响应此状态,释放资源、关闭连接。进入线程退出。
进入退出状态后各个线程都释放完申请的动态资源。
2.2 多线程创建以及销毁
线程控制管理结构:
struct worker_opts{
pthread_t th; //线程的ID号
int flags; //线程状态
pthread_mutex_t mutex;//线程任务互斥
struct worker_ctl *work;//本线程的总控结构
};
之后使用线程初始化函数,将所有线程初始化:
void Worker_Init()
{
DBGPRINT("LCW==>Worker_Init");
int i = 0;
//初始化总控参数
wctls = (struct worker_ctl*)malloc( sizeof(struct worker_ctl)*conf_para.MaxClient);//开辟空间
memset(wctls,0, sizeof(*wctls)*conf_para.MaxClient);//清零
//初始化一些参数
for(i=0;i<conf_para.MaxClient;i++)
{
//opt&connn结构和worker_ctl结构形成回指针
wctls[i].opts.work = &wctls[i];
wctls[i].conn.work = &wctls[i];
//opts结构部分的初始化
wctls[i].opts.flags = WORKER_DETACHED;
//wctls[i].opts.mutex = PTHREAD_MUTEX_INITIALIZER;
pthread_mutex_init(&wctls[i].opts.mutex,NULL);//初始化互斥锁
pthread_mutex_lock(&wctls[i].opts.mutex);
//conn部分的初始化
//con_req&con_res与conn结构形成回指
wctls[i].conn.con_req.conn = &wctls[i].conn;
wctls[i].conn.con_res.conn = &wctls[i].conn;
wctls[i].conn.cs = -1;//客户端socket连接为空
//conn.con_req部分初始化:请求结构
wctls[i].conn.con_req.req.ptr = wctls[i].conn.dreq;
wctls[i].conn.con_req.head = wctls[i].conn.dreq;
wctls[i].conn.con_req.uri = wctls[i].conn.dreq;
//conn.con_res部分初始化:响应结构
wctls[i].conn.con_res.fd = -1;
wctls[i].conn.con_res.res.ptr = wctls[i].conn.dres;
}
for (i = 0; i < conf_para.InitClient;i++)
{
//增加规定个数工作线程
Worker_Add(i);
}
DBGPRINT("LCW<==Worker_Init\n");
}
然后使用调度函数对空闲线程进行调度使用:
******************************************************
函数名:worker(void *arg)
参数:worker_ctl *wctls
功能:线程处理函数
*******************************************************/
static void* worker(void *arg)
{
DBGPRINT("LCW==>worker\n");
struct worker_ctl *ctl = (struct worker_ctl *)arg;//为何不直接传这个类型过来?
struct worker_opts *self_opts = &ctl->opts;//定义一个选项结构
pthread_mutex_unlock(&thread_init);//解锁互斥
self_opts->flags = WORKER_IDEL;//初始化线程为空闲,等待任务
//如果主控线程没有让此线程退出,则循环处理任务
for(;self_opts->flags != WORKER_DETACHING;)//while(self_opts->flags != WORKER_DETACHING)
{
//DBGPRINT("work:%d,status:%d\n",(int)self_opts->th,self_opts->flags );
//查看是否有任务分配
int err = pthread_mutex_trylock(&self_opts->mutex);//互斥预锁定
//pthread_mutex_trylock()是pthread_mutex_lock() 的非阻塞版本
if(err)
{
//DBGPRINT("NOT LOCK\n");
sleep(1);
continue;
}
else
{
//有任务,do it
DBGPRINT("Do task\n");
self_opts->flags = WORKER_RUNNING;//执行标志
do_work(ctl);
close(ctl->conn.cs);//关闭套接字
ctl->conn.cs = -1;
if(self_opts->flags == WORKER_DETACHING)
break;
else
self_opts->flags = WORKER_IDEL;
}
}
//主控发送退出命令
//设置状态为已卸载
self_opts->flags = WORKER_DETACHED;
workersnum--;//工作线程-1
DBGPRINT("LCW<==worker\n");
return NULL;
}
/******************************************************
函数名:WORKER_ISSTATUS(int status)
参数:欲查询的线程状态
功能:查询线程状态
*******************************************************/
int WORKER_ISSTATUS(int status)
{
int i = 0;
for(i = 0; i<conf_para.MaxClient;i++)
{
if(wctls[i].opts.flags == status)
return i;//返回符合的线程
}
return -1;//没有符合的线程状态
}
最后使用线程销毁函数,收回资源:
/******************************************************
函数名:Worker_Destory()
参数:
功能:销毁线程
*******************************************************/
void Worker_Destory()
{
DBGPRINT("LCW==>Worker_Destory\n");
int i = 0;
int clean = 0;
for(i=0;i<conf_para.MaxClient;i++)
{
DBGPRINT("thread %d,status %d\n",i,wctls[i].opts.flags );
if(wctls[i].opts.flags != WORKER_DETACHED)//如果状态不是已经卸载
Worker_Delete(i);
}
while(!clean)
{
clean = 1;
for(i = 0; i<conf_para.MaxClient;i++)
{
DBGPRINT("thread %d,status %d\n",i,wctls[i].opts.flags );
if(wctls[i].opts.flags == WORKER_RUNNING || wctls[i].opts.flags == WORKER_DETACHING)
clean = 0;
}
if(!clean)
sleep(1);
}
DBGPRINT("LCW<==Worker_Destory\n");
}
当然,这只是一部分源码,但这些是最主要的线程池框架,许多小的细节函数大家可以自己实现或者查资料,找我也是可以的哦!(欢迎私信!!!)
好啦!到这里这篇文章就结束啦,关于实例代码中我写了很多注释,如果大家还有不懂得,可以评论区或者私信我都可以哦!! 感谢大家的阅读,我还会持续创造网络编程相关内容的,记得点点小爱心和关注哟!