Linux:IPC - System V
- 共享内存 shm
- 创建共享内存
- shmget
- shmctl
- ftok
- 挂接共享内存
- shmat
- shmdt
- shm特性
- 消息队列 msg
- msgget
- msgctl
- msgsnd
- msgrcv
- 信号量 sem
- System V 管理机制
System V IPC
是Linux系统中一种重要的进程间通信机制,它主要包括共享内存 shm
,消息队列 msg
,信号量 sem
。本博客讲解基于System V
的进程间通信。
共享内存 shm
共享内存,顾名思义就是一块被多个进程共享的内存,由于进程间具有独立性,毫无疑问这一块内存不应该由某一个进程进行开辟,而是由操作系统亲自开辟。
如上图,共享内存会被进程的页表直接映射到自己的进程地址空间的共享区,从而通过地址空间直接对内存操作,这就是多个进程共享一块内存的基本原理。
那么我们现在就来看看如何创建出一个共享内存shm
:
创建共享内存
shmget
shmget
函数是 shm
中用于创建或获取共享内存段的函数。需要头文件<sys/ipc.h>
和<sys/shm.h>
函数原型如下:
int shmget(key_t key,size_t size,int shmflg);
返回值:
shmget
返回一个整型,这个整型叫做shmid
,用于标识唯一的shm
。
key
: 用于标识要创建或获取的共享内存段
key
是System V
的唯一标识符,注意不是shm
的,而是所有System V
的,你可以通过一个key
值来标识任意一个system V
。
- 标识唯一的
shm
是shmid
- 标识唯一的
system V
是key
size
: 指定要创建的共享内存段的大小,单位为字节
注意:共享内存以4 kb
为基本单位开辟内存,也就是4096 byte
,因此开辟shm
的时候,这个参数最好设置为4096
的倍数。哪怕你只申请了1 byte
的内存,实际上还是会开辟4096 byte
大小的空间。
shmflg
: 用于指定共享内存段的访问权限和其他选项
这是一个用于控制共享内存的开辟方式,以及各个属性的选项,本质是一个位图。
-
IPC_CREAT
: 如果指定的key
不存在,则创建一个新的共享内存段,如果已经存在,则直接获得原先的共享内存 -
IPC_EXCL
: 如果指定的key
已经存在,则创建失败
要注意IPC_EXCL
只能配合IPC_CREAT
一起使用,不能单独使用IPC_EXCL
。
另外的,共享内存也可以设置读写权限,直接将权限值的八进制按位或到第三个参数中即可。
示例:
int main()
{
int shmid = shmget(1, 4096, IPC_CREAT | IPC_EXCL | 0666);
return 0;
}
以上函数中,就是一个简单的创建共享内存的过程:
- 第一个参数
1
:即这个共享内存的system V
标识符key = 1
; - 第二个参数传入
4096
:即开辟的共享内存大小为4096 byte
; - 第三个参数为
IPC_CREAT | IPC_EXCL | 0666
:如果当前的key
不存在,则创建对应的共享内存,共享内存的初始权限为0666
,如果存在,则创建失败。
那么我们要如何知道成功创建了一个共享内存呢?
通过ipcs
指令,可以看当前所有的system V
的总体情况:
如果只想看共享内存,则输入ipcs -m
:
可以看到,我们创建了一个共享内存,key = 0x00000001
,shmid = 2
,拥有者onwer = box-he
,初始权限perm = 666
,大小bytes = 4096
。
那么现在有一个问题就是:我们的进程已经结束了,但是进程创建的共享内存还在!
也就是说,共享内存如果不主动释放,那么共享内存就会一直存在,除非重启操作系统。这个特性叫做:共享内存的生命周期随内核。
如果想要删除一个共享内存,有两种方式:通过指令 / 通过接口。
通过ipcrm -m xxx
,可以删除shmid
为xxx
的共享内存。
示例:
一开始存在一个shmid = 2
的共享内存,通过指令ipcrm -m 2
,就可以删除这个共享内存了。
如果想要通过接口删除共享内存,则通过shmctl
接口。
shmctl
shmctl
用于控制共享内存的各种属性。
其包含以下功能:
- 获取共享内存段的状态信息
- 修改共享内存段的属性
- 删除共享内存段
shmctl
包含在头文件<sys/ipc.h>
和<sys/shm.h>
中,函数原型如下:
int shmctl(int shmid, int cmd, struct shmid_ds *buf);
返回值:
- 成功时返回 0
- 失败时返回 -1,并设置
errno
变量
参数如下:
shmid
:要操作的共享内存段的标识符
cmd
:要执行的操作,可以是以下值之一:
-IPC_STAT
:获取共享内存段的状态信息
-IPC_SET
:设置共享内存段的某些属性
-IPC_RMID
:删除共享内存段
buf
:指向shmid_ds
结构体的指针,用于存储或设置共享内存段的属性
在讲解以上三种模式前,要先介绍一下一个结构体shmid_ds
。
struct shmid_ds {
struct ipc_perm shm_perm; /* Ownership and permissions */
size_t shm_segsz; /* Size of segment (bytes) */
time_t shm_atime; /* Last attach time */
time_t shm_dtime; /* Last detach time */
time_t shm_ctime; /* Last change time */
pid_t shm_cpid; /* PID of creator */
pid_t shm_lpid; /* PID of last shmat(2)/shmdt(2) */
shmatt_t shm_nattch; /* No. of current attaches */
...
};
shmid_ds
是一个Linux中给共享内存定义的结构体,这个结构体用于存储一个共享内存的基本信息。
当第二个参数
cmd
为IPC_STAT
,此时就可以获取一个共享内存的基本信息。
示例:
int main()
{
int id = shmget(1, 4096, IPC_CREAT | IPC_EXCL | 0666);
struct shmid_ds shm;
shmctl(id, IPC_STAT, &shm);
cout << "atime:" << shm.shm_atime << endl;
cout << "ctime:" << shm.shm_ctime << endl;
cout << "cpid:" << shm.shm_cpid << endl;
return 0;
}
输出结果:
以上示例中,通过一个struct shmid_ds
类型的结构体变量shm
,通过调用shmctl(id, IPC_STAT, &shm);
获取到了这个共享内存的相关信息。
其中shmctl(id, IPC_STAT, &shm);
第一个参数id
:要控制的共享内存的shmid
第二个参数IPC_STAT
:表示当前shmctl
的作用是获取共享内存相关信息
第三个参数&shm
:表示获取到的信息存入变量shm
中
当第二个参数
cmd
为IPC_SET
,就可以设置共享内存的某些属性
示例:
int main()
{
int id = shmget(1, 4096, IPC_CREAT | IPC_EXCL | 0666);
struct shmid_ds shm;
shmctl(id, IPC_STAT, &shm);
cout << "atime:" << shm.shm_atime << endl;
shm.shm_atime = 1 ;
//修改shm信息
shmctl(id, IPC_SET, &shm);
//重新获取shm信息
shmctl(id, IPC_STAT, &shm);
cout << "atime:" << shm.shm_atime << endl;
return 0;
}
一开始通过shmctl(id, IPC_STAT, &shm);
把共享内存的相关信息存储到了结构体shm
中,然后把结构体的shm_atime
成员设置为1
。
再通过shmctl(id, IPC_SET, &shm);
把共享内存的信息设置成和shm
一致,此时第二个参数为IPC_SET
。
第三次调用shmctl(id, IPC_STAT, &shm);
,此时再把共享内存的信息同步到shm
中,最后输出shm
的shm_atime
成员。
输出结果:
可以看到,当第二个参数为IPC_SET
时,可以修改共享内存的相关属性。
当第二个参数为
IPC_RMID
,表示要删除共享内存段
此时由于我们要删除共享内存,第三个参数就用不上了,此时设置为空指针即可。
示例:
int main()
{
shmctl(3, IPC_RMID, nullptr);
return 0;
}
以上代码中shmctl(3, IPC_RMID, nullptr);
就表示要删除shmid = 3
的共享内存。
输出结果:
一开始存在一个shmid = 3
的共享内存,经过./test.exe
后,这个共享内存就被删除了,也就是执行了shmctl(3, IPC_RMID, nullptr);
。
最后再看一次第二个参数的作用:
cmd
:要执行的操作,可以是以下值之一:
-IPC_STAT
:获取共享内存段的状态信息
-IPC_SET
:设置共享内存段的某些属性
-IPC_RMID
:删除共享内存段
现在应该可以理解三种情况的作用了。
ftok
创建之前所有示例中,通过shmget
创建共享内存时,第一个参数key
我都设置为了1
,但其实这是非常不符合规范的。操作系统中存在非常多的进程,如果多个进程通过system V
通信,那就不能使用相同的key
值,如果key
设置的太简单,就很容易冲突。
ftok
函数,就利用算法生成不易重复的key
值。
使用ftok
函数需要头文件<sys/types.h>
和<sys/ipc.h>
,函数原型如下:
key_t ftok(const char* pathname, int proj_id);
参数:
pathname
:当前操作系统下的某一条路径proj_id
:一个数字
也就是说,只要传入一个路径和一个数字,ftok
就会生成一个key值。
示例:
int main()
{
key_t key = ftok("./test.cpp", 1);
cout << key << endl;
return 0;
}
利用相对路径,使用了路径./test.cpp
作为第一个参数,第二个参数设置为了1,最后输出ftok
生成的key值。
输出结果:
最后生成的key
值为17003535
。
要注意的是,path
必须是一个存在的路径,ftok
函数会利用路径所指向的文件的属性,以及传入的第二个参数,一起来产生这个key值。
需要进程间通信的双方,只需要事先约定好这个path
以及第二个整型,就可以利用ftok
产生相同的key
值,进而访问同一块共享内存了。
到目前为止,我们只是讲解了如何来开辟一个共享内存,还没有真正使用这一块共享内存来实现进程间通信
也就是下图中的蓝色部分:
接下来就看看如何使用这一块共享内存。
挂接共享内存
shmat
共享内存是被直接映射到进程地址空间的共享区的,进程可以通过访问进程地址空间来访问共享内存,那么现在的问题就是:如何让一个内存映射到进程地址空间中?这个把共享内存映射到进程地址空间的过程,叫做挂接共享内存
。
挂接共享内存需要通过shmat
接口实现,需要头文件<sys/types.h>
和<sys/shm.h>
,函数原型如下:
void *shmat(int shmid, const void *shmaddr, int shmflg);
参数:
shmid
:即被挂接的共享内存的shmid
shmaddr
:指明这个共享内存要挂接到哪一个地址,一般来说我们不会主动指定地址,这个参数直接传入空指针即可,操作系统会自动帮我们选择合适的地址挂接shmflg
:挂接共享内存的模式,- 传入
0
:以读写
的方式挂接共享内存 - 传入
SHM_RDONLY
:以只读
的方式挂接共享内存
- 传入
返回值:
- 如果挂接共享内存出错,返回
-1
- 如果挂接共享内存成功,返回挂接后共享内存的地址
shmdt
如果你想要取消对共享内存的挂接,使用shmdt
接口即可,需要头文件<sys/types.h>
和<sys/shm.h>
,函数原型如下:
int shmdt(const void *shmaddr);
只需要把挂接到的共享内存的地址传入shmdt
即可取消挂接。
现在我们就利用共享内存来完成一次进程间通信,现有A.exe
和B.exe
两个进程,A负责发送消息,B负责接收消息。
A进程代码如下:
int main()
{
key_t key = ftok("./test.cpp", 1);
int shmid = shmget(key, 4096, IPC_CREAT | IPC_EXCL | 0666);
char* ptr = (char*)shmat(shmid, nullptr, 0);
for(int ch = 'A'; ch <= 'Z'; ch++)
{
ptr[ch - 'A'] = ch;
sleep(1);
}
shmctl(shmid, IPC_RMID, nullptr);
return 0;
}
一开始A通过ftok
生成了一个key值,然后利用shmget
生成了一个共享内存,再用shmat
将共享内存挂接到进程地址空间,此时ptr
指针就指向这个共享内存了,随后利用循环将字母A - Z
写入共享内存中,每秒写入一个。最后利用shmctl
关闭共享内存。
B进程代码如下:
int main()
{
key_t key = ftok("./test.cpp", 1);
int shmid = shmget(key, 4096, IPC_CREAT);
char* ptr = (char*)shmat(shmid, nullptr, 0);
while(true)
{
cout << ptr << endl;
sleep(5);
}
return 0;
}
B进程也通过ftok
生成了key值,由于参数都是"./test.cpp"
和1
,所以生成的key和A一定是一样的。
随后通过shmget
获得共享内存的shmid
,这个共享内存是由A
维护的,因此B只需要拿到shmid
即可,共享内存的创建和销毁都由A来控制。
随后B进程在一个循环中,每隔五秒读取一次共享内存。
输出结果:
可以看到,A进程向共享内存写入的数据,此时就可以被B拿到了,这就是基于共享内存shm
的进程间通信。
shm特性
共享内存有以下一些主要特性:
-
内存共享:多个进程可以同时访问和修改同一块共享内存区域。这种共享内存机制可以让进程之间高效地交换数据,而无需通过系统调用或者其他进程间通信机制。
-
快速访问:相比于其他进程间通信机制,如管道、消息队列等,共享内存的访问速度更快,因为数据直接存储在内存中,不需要进行数据的拷贝和上下文切换。
-
灵活性:共享内存可以在进程之间自由分配和管理,大小和位置都可以灵活设置。这种灵活性使得共享内存非常适合用于复杂的进程间通信场景。
-
同步问题:多个进程可以并发访问和修改共享内存,因此需要使用信号量、互斥锁等同步机制来协调对共享内存的访问,避免数据竞争和不一致性问题。
-
内存分配:共享内存是由内核管理的,进程无法直接分配和释放共享内存,必须通过系统调用如
shmget()
和shmctl()
来完成。
system V 的后两种通信方式消息队列 msg
和信号量 sem
都非常不常用了,本博客中只是简单讲解,不深入研究。
消息队列 msg
消息队列顾名思义,是一个被操作系统维护的队列:
进程可以向消息队列中写入或者读取消息,上图中,每个黄色的小方块就是一条消息,在消息的头部会有一个区域用于标识,这条消息是哪一个进程发出的。
msgget
msgget
用于创建一个消息队列,需要头文件<sys/types.h>
、<sys/ipc.h>
和<sys/msg.h>
,函数原型如下:
int msgget(key_t key, int msgflg);
返回值:
msgget
返回一个整型,这个整型叫做msgid
,用于标识唯一的msg
。
参数:
-
key
:即标识唯一的system V
的key
值 -
msgflg
: 用于指定消息队列的访问权限和其他选项-
IPC_CREAT
: 如果指定的key
不存在,则创建一个新的消息队列,如果已经存在,则直接获得原先的消息队列 -
IPC_EXCL
: 如果指定的key
已经存在,则创建失败
-
IPC_EXCL
只能配合IPC_CREAT
一起使用,不能单独使用IPC_EXCL
。
消息队列也可以设置读写权限,直接将权限值的八进制按位或到第二个参数中即可。
你会发现,其实消息队列和共享内存的使用方法几乎是一摸一样的!
msgctl
msgctl
用于控制共享内存的各种属性,需要头文件<sys/types.h>
、<sys/ipc.h>
和<sys/msg.h>
,函数原型如下:
int msgctl(int msgid, int cmd, struct msgid_ds* buf);
返回值:
- 成功时返回 0
- 失败时返回 -1,并设置
errno
变量
参数如下:
shmid
:要操作的消息队列的标识符
cmd
:要执行的操作,可以是以下值之一:
-IPC_STAT
:获取消息队列的状态信息
-IPC_SET
:设置消息队列的某些属性
-IPC_RMID
:删除消息队列
buf
:指向msgid_ds
结构体的指针,用于存储或设置消息队列的属性
msgid_ds
源码如下:
struct msqid_ds {
struct ipc_perm msg_perm; /* Ownership and permissions */
time_t msg_stime; /* Time of last msgsnd(2) */
time_t msg_rtime; /* Time of last msgrcv(2) */
time_t msg_ctime; /* Time of last change */
unsigned long __msg_cbytes; /* Current number of bytes in
queue (nonstandard) */
msgqnum_t msg_qnum; /* Current number of messages
in queue */
msglen_t msg_qbytes; /* Maximum number of bytes
allowed in queue */
pid_t msg_lspid; /* PID of last msgsnd(2) */
pid_t msg_lrpid; /* PID of last msgrcv(2) */
};
这一块和共享内存也几乎是一摸一样的,不过多解释了。
刚刚两个接口解决的是消息队列的创建与释放,接下来看看消息队列如何向队列中写入与读取。
msgsnd
msgsnd
用于向消息队列写入,需要头文件<sys/types.h>
、<sys/ipc.h>
和<sys/msg.h>
,函数原型如下:
int msgsnd(int msqid, const void *msgp, size_t msgsz, int msgflg);
函数返回值:
- 成功时,返回 0
- 失败时,返回 -1 并设置
errno
变量
参数:
msqid
:要发送消息的消息队列的标识符msgp
:指向要发送的消息内容的指针msgsz
:要发送的消息内容的长度,以字节为单位msgflg
:控制msgsnd()
行为的标志位,一般来说传入0
即可。常用的有:IPC_NOWAIT
: 如果消息队列已满,立即返回而不是阻塞MSG_NOERROR
: 如果消息内容太长,截断后仍然发送
此处要着重讲解一下第二个参数msgp
:
msgp
参数是一个指向要发送消息内容的指针。通常情况下,这个消息内容会被存储在一个自定义的结构体中,这个结构体要满足以下格式:
struct msgbuf {
long mtype; /* message type, must be > 0 */
char mtext[1]; /* message data */
};
这个结构体有两个成员变量:
-
mtype
:这是一个long
类型的消息类型标识符。发送消息时,接收方可以根据消息类型来选择性地接收消息。 -
mtext
:这是一个字符数组,用于存储实际的消息内容,它的大小可以根据需要进行调整。
在使用 msgsnd()
函数发送消息时,msgp
参数就是指向这个 msg_buf
结构体的指针。
我们在发送消息时,只需要定义一个结构体,结构体的名称可以是任意的,第一个成员必须是long
类型,第二个成员必须是char
的数组,数组长度任意。
第一个成员一般用于标识不同进程,比如在一个消息队列中,A
进程发送的消息,mtype
设置为1
,B
进程发送的消息,mtype
设置为2
,这样就可以根据这个成员来辨别一条消息是哪个进程发送的了。
msgrcv
msgrcv
用于从消息队列提取,需要头文件<sys/types.h>
、<sys/ipc.h>
和<sys/msg.h>
,函数原型如下:
ssize_t msgrcv(int msqid, void *msgp, size_t msgsz, long msgtyp, int msgflg);
返回值:
- 成功时,返回实际接收的消息长度
- 失败时,返回 -1 并设置
errno
变量
参数:
msqid
:要从中接收消息的消息队列的标识符msgp
:指向用于存储接收消息内容的缓冲区的指针msgsz
:缓冲区msgp
的大小,以字节为单位msgtyp
:指定要接收的消息类型。可以是以下几种情况:- 如果
msgtyp > 0
,则接收第一个mtype
等于msgtyp
的消息。 - 如果
msgtyp == 0
,则接收消息队列中第一个消息,不管mtype
是什么。
- 如果
msgflg
: 控制msgrcv()
行为的标志位,一般设为0
即可。常用的有:IPC_NOWAIT
:如果消息队列为空,立即返回而不是阻塞MSG_NOERROR
:如果接收的消息内容太长,将其截断后仍然返回
再简单讲解两个消息队列相关的系统指令:
ipcs -q
用于查看消息队列:
ipcrm -q xxx
:用于删除msgid
为xxx
的消息队列
接下来讲解system V
的最后一种通信方式信号量 sem
。
信号量 sem
信号量的基本原理,在于把一份资源拆分为很多份小资源:
多个进程可以分别访问这个资源的一小部分:
但是不允许多个进程同时访问一个小份资源!
而信号量的作用就是预定资源,信号量本质是一个计数器,用于记录当前还有多少可以分配的资源。
信号量的申请过程如下:
- 进程访问资源前,要先申请一个信号量,用于预定资源,一旦预定成功,信号量的数目减少一个,即当前剩余的资源少一个。从预定成功开始,这一份资源就不能被其他进程再访问了。
- 进程申请到信号量后,就可以正常访问这一份资源了
- 当进程使用完,于是释放信号量,此时信号量数目加一,即当前剩余资源增加一个。
关于信号量,本博客不讲解接口如何使用了,其使用方式比较麻烦,需要很大篇幅,而且信号量也不常用。
System V 管理机制
同为system V
系列,共享内存 shm
、消息队列 msg
和信号量 sem
是有共性的,操作系统对这三者进行统一的管理。
Linux
中,描述三者的结构体如下:
其中共享内存 shm
被结构体shmid_kernel
管理,消息队列 msg
被结构体msg_quque
管理,信号量 sem
被结构体sem_array
管理。不过以上结构体中,成员并不是完全的,我只截取了一小部分。
Linux
是如下对system V
进行管理的:
ipc_ids
结构体的entires
成员指向了结构体ipc_id_ary
,ipc_id_ary
的第二个成员是一个柔性数组,该数组是一个指针数组,指向了不同的system V
结构体。此时Linux
对system V
的管理就变成了对数组的增删查改。
那么现在有一个问题就是:为什么一个数组可以指向三种不同类型的结构体变量?
我们再回到三个描述system V
的结构体:
它们三个结构体的第一个成员分别是shm_perm
、q_perm
和sem_perm
,这三者其实都是同一个结构体类型struct kern_ipc_perm
,而Linux
就是通过这个struct kern_ipc_perm
来同时管理三种结构体的。
ipc_id_ary
中,第二个成员数组的类型是struct kern_ipc_perm*
,也就是指向struct kern_ipc_perm
指针,这个struct kern_ipc_perm
存储了三种system V
都具有的属性。struct kern_ipc_perm
结构体同时也都是三个system V
的结构体的第一个成员,因此在访问具体的某个结构体时,只需要进行一次指针的强制类型转换即可。
Linux
就是通过这样一种方式,把所有的system V
都统一地管理了起来。