JOB的正确打开方式
JOB的正确打开方式
- 最近有一些小伙伴在使用
JOB时，由于使用不当，引起一些问题。例如把license占满，JOB运行的方法有一些没有执行等。
通常我们这样使用Job命令：j ##class(className).methodName(args)，实际上这种方式会引起一些未知问题。正确方式见下文。
- 笔者通过这篇文章把
JOB的正确使用方式介绍一下，避免在日后使用JOB时出现如上的一些问题。
简介
JOB命令用于在操作系统级别启动一个新的进程。该进程可以执行特定的方法。
工作原理
当使用
JOB命令时，会在当前进程的上下文中启动一个新的进程。新的进程会从特定的代码开始执行，并在该代码或命令返回后退出。
注：因为JOB每次启动一个进程。由于IRIS的特性，单用户启用超过20个进程时，这20个进程将转化为占用对应进程数量的license。
注：JOB 命令功能类似于JAVA开启一个线程，在单独的环境中运行程序。但是线程是轻量级的，一个进程可以包含多个线程。进程是重量级的，开销要比线程大。在IRIS、Caché中，没有线程的概念。如果想使用异步功能，只能由JOB命令，开启一个进程。
使用场景
- 多进程：开发人员可以使用
JOB命令来创建新的进程，从而提高应用程序的并发性能和响应能力。例如，可以在后台启动一个长时间运行的任务（如数据导入）而不会阻塞前台服务。 - 异步：执行第三方应用程序接口：
JOB命令可以在新的进程中直接执行不需要判断返回值且耗时比较长的第三方应用程序接口。
使用方式
JOB的简写方式为J，可以使用以下参数方式启动：
JOB:pc routine(routine-params):(process-params):timeout
JOB:pc routine(routine-params)[joblocation]:(process-params):timeout
J:pc ##class(className).methodName(args):(process-params):timeout
J:pc ..methodName(args):(process-params):timeout
J:pc $CLASSMETHOD(className,methodName,args):(process-params):timeout
- 简单启用
JOB。
编写一个需要运行的方法，该方法挂起10秒。
ClassMethod Process()
{
h 10
w "执行Process",!
s ^yx("PID") = $job
}
ClassMethod Job()
{
w "do执行",!
d ..Process()
w "do结束",!
w "job执行",!
j ..Process()
w "job结束"
}
可以看到通过DO运行时，当前进程挂起10秒后继续运行，JOB运行时，该方法为瞬间启动，没有阻塞当前进程。
- 启动
JOB进程后，会为其分配单独的内存分区，并为其分配唯一的JOB编号(也称为进程ID或PID)。JOB进程号存储在$JOB特殊变量中。
注：当JOB启动的方法运行完成时，创建的进程也随之销毁。
- 使用
JOB调用其他命名空间方法。
示例如下，在其他命名空间创建如下方法：
Class M.Job Extends %RegisteredObject
{
ClassMethod JobOtherNamespace()
{
s ^yx("JobOtherNamespace") = $i(^yx("JobOtherNamespace"))
}
}
- 使用
JOB命令时，要指定:(namespace)参数。
ClassMethod JobNameSpace()
{
j ##class(M.Job).JobOtherNamespace():("yx")
}
如下可以看到，每次启动JOB时，yx命名空间Global自增1。
USER>d ##class(M.Job).JobNameSpace()
USER>zw ^|"yx"|yx("JobOtherNamespace")
^|"yx"|yx("JobOtherNamespace")=1
USER>d ##class(M.Job).JobNameSpace()
USER>zw ^|"yx"|yx("JobOtherNamespace")
^|"yx"|yx("JobOtherNamespace")=2
USER>d ##class(M.Job).JobNameSpace()
USER>zw ^|"yx"|yx("JobOtherNamespace")
^|"yx"|yx("JobOtherNamespace")=3
注意事项
JOB只能按值传递参数，不能传递引用参数与多维数组传。如果使用JOB使用引用传递参数，Studio将提示如下错误。
JOB不能使用可变参数。
- 不能将对象引用传递给
JOB进程。 这是因为对调用上下文中存在的对象的引用不能在新的进程JOB上下文中引用。传递OREF会将空字符串("")传递到JOB进程。
ClassMethod JobObj()
{
s m = ..%New()
w "当前对象", m,!
j ..Obj(m)
}
ClassMethod Obj(m)
{
s ^yx("Obj") = m
}
USER>d ##class(M.Job).JobObj()
当前对象1@M.Job
USER>zw ^yx("Obj")
^yx("Obj")=""
- 启动
Job时需要指定参数timeout- 在超时并中止JOB之前等待JOB进程启动的秒数。前面的冒号是必需的。必须将超时指定为整数值或表达式。如果JOB进程超时，则将停止该进程，并将$test特殊变量设置为0。
ClassMethod JobTimeOut()
{
for i = 1 : 1 : 500 {
j ..Process()::3
w "i:",i," $test:",$test,!
}
}
注：如果启动JOB没有指定超时参数，那么该进程将无限期等待，导致死进程。
启动JOB失败的情况
- 内存不足。
- 超过许可的进程数量。
- 其他等。
JOB正确打开方式
错误方式
在介绍如何正确使用JOB之前，首先看一下错误的使用方式造成的后果。运行JobTimeOut()方法。
可以看到当license被当前用户占满，这种情况下，其他正常的请求将都会等待，导致业务卡顿。
正确方式
首先需要了解2个系统变量$ZPARENT、$ZCHILD。
$ZPARENT包含JOB处理当前进程的进程的PID，如果当前进程不是通过JOB命令创建的，则为0。
在Process()方法里增加s ^yx("PARENT") = $zparent
ClassMethod JobParent()
{
w "$job前：",$job,!
w "$zparent前：",$zparent,!
j ..Process()::3
w "$job后：",$job,!
w "$zparent后：",$zparent,!
}
USER>d ##class(M.Job).JobParent()
$job前：20568
$zparent前：0
$job后：20568
$zparent后：0
USER>zw ^yx("PARENT")
^yx("PARENT")=20568
$ZCHILD包含JOB命令创建的最后一个进程的PID，无论是否成功。
ClassMethod JobChild()
{
w "$job前：",$job,!
w "$zchild前：",$zchild,!
j ..Process()::3
w "$job后：",$job,!
w "$zchild后：",$zchild,!
}
USER>d ##class(M.Job).JobChild()
$job前：20568
$zchild前：23940
$job后：20568
$zchild后：25880
USER>d ##class(M.Job).JobChild()
$job前：20568
$zchild前：25880
$job后：20568
$zchild后：32308
- 确认
JOB是否启用成功，必须要判断$zchild前后的值与超时。
通过使用$ZCHILD，可以通过比较运行JOB命令前后的$ZCHILD值来确定远程JOB的执行状态。如果BEFORE和AFTER值不同，并且AFTER值为非零，则AFTER``$ZCHILD值是新创建的JOB的PID，表示进程已成功创建。如果AFTER值为零，或者AFTER值与BEFORE值相同，则不会创建JOB。
正确使用JOB的方式如下：
- 设置
JOB超时参数。 - 判断是否超时。
- 判断
$ZCHILD系统变量前后是否不一致并且不为0。 - 根据返回值判断
JOB是否启动成功。如果不判断JOB是否启动成功，会发生JOB运行的方法有没有执行等问题。
ClassMethod JobCorrect()
{
s curChildID = $zchild
j ..Process()::3
s nowChildID = $zchild
if '$test {
q "JOB启动超时" _ " "_ $zchild
}
if (nowChildID '= 0)&&(curChildID '= nowChildID){
q "JOB启动成功" _ " "_ $zchild
}
q "JOB启动失败" _ " "_ $zchild
}
注：$ZCHILD只能告诉JOB已创建；不会告诉JOB是否成功运行程序。要确定JOB进程运行的程序是否无错误并运行到完成，最好的做法是在正在运行的代码中提供某种类型的日志记录和错误捕获。JOB机制不会以任何方式通知父进程进程错误或进程终止，无论成功与否。
注：JOB进程之间的通信。首选方案是使用父子进程都知晓的Global。使用Global目的是允许进程之间交换信息。
进阶方式
前面"正确的方式"，仅能判断JOB是否正确启动。但无法判断由JOB引起的死进程。
- 首先创建一个 通用的
JOB程序。
- 由于
JOB不能使用可变参数，所以需要将参数做一次处理转化。
ClassMethod Run(className, methodName, params)
{
s $zt = "Error"
if (params '= "") {
s arg = $ll(params)
for i = 1 : 1 : arg {
s arg(i) = $lg(params, i)
}
} else {
s arg = 0
}
d $classmethod(className , methodName, arg...)
q $$$OK
Error
s $zt = ""
q $ze
}
- 该方法为
JOB启动通用方法，该方法为布尔类型，返回$$$YES代表JOB启动成功，返回$$$NO代表启动失败。
ClassMethod IsRunJob(classname, methodname, arg...) As %Boolean
{
s $zt = "Error"
s params = ""
if ($d(arg)) {
for i = 1 : 1 : arg {
s params = params _ $lb(arg(i))
}
}
s curChildID = $zchild
j ..Run(classname, methodname, params)::3
s nowChildID = $zchild
if '$test {
q $$$NO
}
if (nowChildID '= 0)&&(curChildID '= nowChildID){
q $$$YES
}
q $$$NO
Error
s $zt = ""
q $$$NO
}
- 在循环中启动
350次JOB，将JOB开启的进程全部结束掉防止有出现死进程。
- 这里将
JOB进程进行缓存，用于统一结束。
ClassMethod JobFinishProcess(num)
{
s array = ""
for i = 1 : 1 : num {
s bool = ..IsRunJob("M.Job","Process")
if (bool) {
s array(i) = $zchild
w "进程开启成功：" _ i _ " JOB进程ID：" _ $zchild,!
} else {
w "进程开启失败：" _ i _ " JOB进程ID：" _ $zchild,!
}
}
d ..TerminateProcess(.array, 0)
q $$$OK
}
TerminateProcess方法，增加了程序挂起时间，可以设定一个阈值，当程序在这个阈值内没有结束，认为为死进程，将其结束掉。
ClassMethod TerminateProcess(ByRef array, time)
{
h time
s i = ""
for {
s i = $o(array(i))
q:(i = "")
s ret = $system.Process.Terminate(array(i))
s desc = $s(ret = "1" : "成功", ret = "0" : "失败 - 进程无法结束", ret = "-1" : "失败 - 进程没有响应", ret = "-2" : "失败 - 进程处于非活动状态死进程", ret = "-3" : "失败 - 没有此pid进程", ret = "-4" : "失败 - 进程包含开放的事务，该事务当前处于停止或回滚状态。")
w "结束进程状态：" _ ret _ " " _ desc,!
}
q $$$OK
}
- 如下图可以观察到，成功将没有结束的进程终止掉。
注：实际上结束进程状态：-3 失败 - 没有此pid进程，是缓存的JOB进程ID已经运行完成进程已结束，认为成功。
代码d ..TerminateProcess(.array, 0)如果设置了阈值时间，例如设置10分钟，会导致生产程序返回结果耗时过久，这里可以将DO调用改为JOB调用。
- 设置临时
Global缓存Job进程ID，通过s bool = ..IsRunJob("M.Job", "TerminateProcessJob", 0)调用后台结束进程程序。
ClassMethod JobFinishProcess1(num)
{
k ^yx("JobPid")
s array = ""
for i = 1 : 1 : num {
s bool = ..IsRunJob("M.Job","Process")
if (bool) {
s ^yx("JobPid", i) = $zchild
w "进程开启成功：" _ i _ " JOB进程ID：" _ $zchild,!
} else {
w "进程开启失败：" _ i _ " JOB进程ID：" _ $zchild,!
}
}
s bool = ..IsRunJob("M.Job", "TerminateProcessJob", 0)
if ('bool) {
w "终结程序启动失败",!
}else {
w "终结程序启动成功",!
}
q $$$OK
}
ClassMethod TerminateProcessJob(time)
{
s ^yx("TerminateProcessJob") = time
h time
s i = ""
for {
s i = $o(^yx("JobPid", i))
q:(i = "")
s ret = $system.Process.Terminate(^yx("JobPid", i))
s desc = $s(ret = "1" : "成功", ret = "0" : "失败 - 进程无法结束", ret = "-1" : "失败 - 进程没有响应", ret = "-2" : "失败 - 进程处于非活动状态死进程", ret = "-3" : "失败 - 没有此pid进程", ret = "-4" : "失败 - 进程包含开放的事务，该事务当前处于停止或回滚状态。")
w "结束进程状态：" _ ret _ " " _ desc,!
}
q $$$OK
}
终极方式
细心的朋友应该发现进阶方式存在了如下问题：
- 终止进程方法也使用
JOB启用，如果JOB启用失败了，那么死进程还是结束不了。 - 终止进程方法结束的
PID也有问题，如果JOB的PID已经完成，其他并发的用户请求在此时间段内又生成了相同的PID进程号，会把正常的业务进程结束掉。 - 用户启用的
JOB数量没有限制，单个用户就能把license占满，导致正常的业务请求失败，应该限制单用户开启的JOB数量，结合当前的license数量，应设置一个阈值，超过此阈值的JOB不允许开启。 - 如果不判断返回值，如何保证调用的
JOB程序全部启用成功，应设置缓存失败的JOB方法与参数，设置后台重试。
这里我已经将代码封装到拓展系统命令ZSAFEJOB中，使用拓展系统命令ZSAFEJOB启用需要后台调用的程序即可。
ZSAFEJOB命令包含功能：
下面演示ZSAFEJOB命令使用方式：
ZSAFEJOB "classname_methodname(params)"
ZSJ "classname_methodname(params)"
classname- 类名。methodname- 查询名。params- 使用单引号包裹参数，逗号分割的参数列表。- 需要返回值时，可使用
%zjob变量判断Job是否启用成功。
- 有参数时：需要将参数使用单引号包裹，多个参数使用逗号分割。如下使用
ZSJ调用如下Sum方法。
ClassMethod Sum(a, b, c)
{
s sum = a + b + c
s ^yx("Sum") = sum
q sum
}
USER>zsj "M.Job_Sum('1','2','3')"
- 无参数时，可省略括号。如下使用
ZSJ调用如下NoParams方法。
ClassMethod Process()
{
s ^yx("NoParams",$i(^yx("NoParams"))) = ""
h 20
w "执行Process",!
}
示例Process()方法挂起进程20秒，zsj命令为异步，并没有挂起等待，输出记录的Global验证调用成功。
USER>zsj "M.Job_Process"
使用其他拓展系统命令可参考如下连接：https://yaoxin.blog.csdn.net/article/details/130157870
- 验证超过
license阈值，使用job失败，防止占用过多license，导致正常业务失败。示例中的阈值为当前license最大数量300*0.8 = 240。
ClassMethod SafeJob(num)
{
k ^yx("JobPid")
s array = ""
for i = 1 : 1 : num {
zsj "M.Job_Process"
w i," ",%zjob,!
}
q $$$OK
}
- 验证将启动失败的
Job方法，进行重新调用。如下图示例：238，239，启用的JOB失败，然后使用方法JobTask进行重试，观察可发现重试2次成功。
JobTask方法需要挂任务进行重试，包含以下功能：
- 删除由
Job开启的死进程，判断规则为进程持续时间超过10分钟，则把该进程进行结束。 - 重试
Job启动失败的方法。
总结
本篇由浅入深讲解了Job命令的使用方式，了解Job命令的原理，可防止一些意外的情况，并推荐使用ZSAFEJOB命令使用JOB命令功能。
以上是个人对JOB命令的一些理解，由于个人能力有限，欢迎大家提出意见，共同交流。
