SMP:(Symmetrical Multi-Processing)对称多处理,简称SMP,是指在一个计算机上汇集了一组处理器(多CPU),各CPU之间共享内存子系统以及总线结构。
RT-Thread自v4.0.0版本开始支持SMP,在对称多核上可以通过使能RT_USING_SMP来开启。
多核启动
系统上电后,每个CPU都会在ROM中的代码控制下独自运行,但是只有主处理器(简称CPU0)跳转到RT-Thread的初始化入口处,而其它的处理器(简称次级CPU)则会暂停在某个状态下,等待CPU0将它们唤醒。
CPU0完成RT-Thread的全局初始化过程,包括外设初始化,中断控制器的中断分发部分初始化、全局变量的初始化、全局内核对象的创建等等。
最终,CPU0在执行main线程之前,唤醒其它的次级CPU,引导它们执行次级CPU的初始化代码,这段代码会让各个次级CPU去完成自身相关的硬件初始化,并开启任务调度。
此后,系统进入正常运行阶段。系统启动阶段各个 CPU 的动作如下图所示:
每个次级CPU自身硬件部分的初始化不能由CPU0完成,因为其自身硬件不能由其它CPU访问
CPU0启动流程
在SMP平台上,启动核心CPU0的启动流程和单核CPU上的启动过程相同,主要流程如图所示:
由于硬件平台和编译器的不同,系统上电后执行的初始化代码和启动流程并不相同,但是系统最终统一调用入口函数rtthread_startup()来启动RT-Thread。
该函数设置硬件平台、初始化操作系统各组件、创建用户main线程,并最终开启当前CPU的任务调度机制,开始正常工作。
当开启了CPU0的任务调度器之后,CPU0上通常存在两个线程:main线程和idle线程,用户可以通过修改配置选项或者通过RT-Thread提供的接口创建新的线程,调度器依据优先级和线程状态从中选择就绪线程执行。
次级CPU启动流程
如果定义了配置选项RT_USING_SMP,CPU0的main线程在运行过程中会执行函数rt_hw_secondary_cpu_up()以启动其它CPU核心。
该函数由移植内核的开发人员提供,完成以下两个操作:
- 设置次级CPU的启动入口地址;
- 加电启动次级CPU。
在RAMv7-A中,次级CPU的启动入口地址固定设置为secondary_cpu_start,该标号定义在文件libcpu/arm/cortex-a/start_gcc.S中,主要包括设置当前CPU的内核栈,建立MMU内存映射表,然后跳转到函数secondary_cpu_c_start()执行。
函数secondary_cpu_c_start()是所有次级CPU的初始化函数,它同样与硬件平台密切相关,由移植系统的开发者提供,需要完成以下步骤:
- 初始化当前CPU的中断控制器,设置中断向量表;
- 设置定时器为当前CPU产生tick中断;
- 获取内核自旋锁_cpus_lock以保护全局任务表,调用函数rt_system_scheduler_start()开启当前CPU的任务调度器。
全志T3芯片采用GIC中断控制器,系统通过Generic Timer定时器提供tick中断计数,函数secondary_cpu_c_start()代码如下:
每个次级CPU启动之后,从全局任务表和当前CPU的局部任务表中选取优先级最高的任务执行,在优先级相同的情况下,优先选择当前CPU的局部任务表中的任务执行。
在不存在其它任务的情况下,每个CPU调度自己的idle任务执行。
其中,CPU0的idle任务循环执行函数rt_thread_idle_execute(),而次级CPU的idle任务循环执行函数rt_hw_secondary_cpu_idle_exec()。
任务特性
RT-Thread中的任务分为以下状态:
- 运行态:任务正在某个CPU上执行;
- 就绪态:任务随时可以被执行,但尚未分配到CPU,因此等待在某个就绪态任务表中;
- 挂起态:任务因条件不满足(等待超时或者数据到来等),而不能够被执行。
- 关闭态:任务已经被删除,正在等待被回收。
在进入正常运行阶段后,每个CPU都独自地运行中断处理、调度器以及任务的代码。RT-Thread在多核系统上运行时存在以下特性:
- 同一时刻,一个任务(线程)只会运行在一个CPU上;
- 每个CPU互斥地访问全局调度器数据,以确定将要在当前CPU上运行的任务;
- 支持将任务绑定在某一个CPU上运行。
调度策略
为了实现上述目标,RT-Thread调度器实现了两种就绪任务队列:
- 全局就绪任务表rt_thread_ready_table[],包含没有绑定CPU的就绪任务;
- CPU局部就绪任务表ready_table[],每个CPU对应一个,包含绑定到对应CPU的就绪任务。典型的CPU绑定任务是每个CPU自己的idle任务。
当CPU需要切换任务执行时,任务调度器查找系统中优先级最高的就绪任务执行,即全局就绪任务表和当前CPU的局部就绪任务表中优先级最高的任务。在优先级相同的情况下,优先选取局部任务表中的任务。
相对应的是,如果一个任务由其它状态变为就绪状态,则进行如下处理:
- 如果它不是CPU绑定任务,则把它挂入全局就绪表,并向其它的所有CPU发送IPI中断,通知它们检查是否需要切换任务,因为其它CPU的当前任务的优先级可能低于此就绪态任务,因而会发生优先级抢占。
- 如果它是一个CPU绑定任务,检查它是否比对应CPU的当前任务优先级高,如果是则发生优先级抢占,否则把它挂入对应CPU的局部就绪任务表。整个过程不通知其它CPU。
处理器间中断IPI
当单个CPU上运行的任务改变了系统状态,或者触发了某个事件,需要通过处理器间中断(Inter-Processor Interrupt)通知其它CPU,其它CPU在收到该信号后,调用注册的相应例程进行处理。
void rt_hw_ipi_send(int ipi_vector, unsigned int cpu_mask)
OS Tick
在SMP系统中,每个CPU维护自己独立的tick值,用作任务运行计时以及时间片统计。
除此之外,CPU0还通过tick计数来更新系统时间,并提供系统定时器的功能,次级CPU不需要提供这些功能。
在初始化次级 CPU 的过程中,每个 CPU 需要使能各自的 tick 定时器,并注册相应的 tick 中断处理函数。使能 tick 定时器的操作与具体的硬件平台相关,需要移植内核的开发者提供;而 tick 中断处理函数主要完成两个动作:
设置 tick 定时器的状态。
增加当前 CPU 的 tick 计数。
自旋锁spinlock
在SMP系统中,通过关中断的方式不能阻止多个CPU对共享资源的并发访问,需要通过自旋锁机制进行保护。
和互斥锁类似,在任何时刻,自旋锁最多只能有一个保持者,也就说,在任何时刻最多只能有一个执行单元获得锁。
不同的是,对于互斥锁,如果资源已经被占用,资源申请者只能进入睡眠状态。而自旋锁不会引起调用者睡眠,而是循环查询直到该自旋锁的保持者已经释放了锁。
初始化已分配的spinlock变量:
void rt_spin_lock_init(struct rt_spinlock *lock)
获取spinlock,忙等待直到获取成功:
void rt_spin_lock(struct rt_spinlock *lock)
释放spinlock:
void rt_spin_unlock(struct rt_spinlock *lock)
如下函数禁止当前CPU中断后获取spinlock,忙等待直到获取成功:
rt_base_t rt_spin_lock_irqsave(struct rt_spinlock *lock)
任务绑定
通常系统中的就绪任务位于全局就绪任务表中,每个任务在哪个CPU上调度运行是随机的。
通过将就绪任务放入到某个CPU局部就绪任务表列表中,RT-Thread允许将任务与CPU绑定,即该任务只能够在指定的CPU上。
rt_err_t rt_thread_control(rt_thread_t thread, int cmd, void *args)
当参数cmd的值为RT_THREAD_CTRL_BIND_CPU时,函数将线程thread绑定到参数arg指定的CPU上。