Linux 生产跑批脚本解读

1.查看定时任务

2.脚本-目录结构

1）config.ini

2）run.sh

3.命令解读

1）ls -1 路径文件夹

含义：ls -1 /home/oracle/shell/config/ 将文件夹config内的文件全部列出

[oracle@neptune config]$ ls -1 /home/oracle/shell/config/ >/home/oracle/shell/config/1.txt

2） sh x.sh 含义：调用脚本

sh $workPath/proc.sh $tbl_userid 'GET_TRUNCATE_ALL_TABLES' "$year-$month"

含义：调用过程，清空表

相关脚本内容: proc.sh

ls -1 $dataPath>$orgnoFile

把机构清单放入文件

3) for xx in .. do done 含义：循环执行

for orgno in `cat $orgnoFile`
do
sh $workPath/decrypt.sh $year $month $orgno
sh $workPath/sqlldr.sh $year $month $orgno
done

含义：循环机构清单中的行，按年月机构执行 decrypt.sh、sqlldr.sh

相关脚本：decrypt.sh、sqlldr.sh

4）decrypt.sh

filePath="$dataPath/$orgno/$year/$month/"
cd $filePath
unzip -o ${year}${month}.zip

含义：在up_data文件夹的机构目录/年/月/解压（直接覆盖）

url=${decryptUrl}=$filePath

curl $url

含义：调用http请求服务

decryptUrl=http://xxx:30050/fileCommon/fileDecAndZip?filePath

for table in `cat $tablesFile`
do

echo $table
if [ ${table:0:1} = '#' ]; then
continue
fi

commCtrl=$workPath/$table.ctrl
echo 'LOAD DATA'> $commCtrl
echo 'CHARACTERSET UTF8'>> $commCtrl

filePath="$dataPath/$orgno/$year/$month/$table.dat"
fileAll="$dataPath/$orgno/$year/$month/$table.*"

bakPath="$workPath/$orgno/$year/$month/"
mkdir -p $bakPath

cnt=0
num=`sh $workPath/func.sh $tbl_userid 'pg_get_table_rownum.get_table_rownum' $table`
#echo 33$num
tableRow=${num#*.}

含义：调用tbl的过程，得到tbl表的行数

filePath 为：$dataPath/$orgno/$year/$month/$table.dat

if [ -e "$filePath" ]; then
cnt=`cat $filePath | wc -l` 说明：.dat 中有多少行数据
echo $cnt
echo "INFILE \"$filePath\" ">>$commCtrl
echo ${type}
echo -e "append INTO TABLE $table \n Fields terminated by \"\" ">>$commCtrl
echo 'trailing nullcols' >>$commCtrl

以上，将信息打印到commCtrl = shell下的.ctl文件中

cat $tableColPath/$table.ctrl>>$commCtrl
badFile="$workPath/$orgno/${table}_${year}${month}.bad"
logFile="$workPath/$orgno/${table}_${year}${month}.log"

说明：tableColPath=/home/oracle/shell/tables

echo "sqlldr userid=$tbl_userid control=$commCtrl rows=50000 bindsize=104857600 parallel=true log=$workPath/$table.log errors=999999999"

sqlldr userid=$tbl_userid control=$commCtrl rows=50000 bindsize=104857600 parallel=true bad=$badFile log=$logFile errors=999999999

说明：sqlldr方式加载入库tbl, rows 默认64行每次提交的记录数

sqlldr user/password control=test.ctl skip=1 load=200000 errors=100 rows=1000 bindsize=33554432

user/password //数据库的用户名密码
control //sqlldr控制文件位置
skip=1 //表示跳过第一行，从第二行开始导入
load=200000 //表示并不导入所有的数据，只导入跳过skip参数后的200000条数据
rows=1000 //表示一次加载的行数，默认值为64，此处设置为1000
errors=100 //表示出错100次后，停止加载
bindsize=33554432 //表示每次提交记录缓冲区的大小，默认256k

bad文件：

log文件：

5）脚本调用 oracle存储过程

echo "sh $workPath/proc.sh "$tbl_userid" GET_SQLLDR_LOG "\'$year-$month\',\'$orgno\',\'$table\',$cnt""

sh $workPath/proc.sh "$tbl_userid" GET_SQLLDR_LOG "'$year-$month','$orgno','$table',$cnt,$tableRow,'$logFile','$badFile'"

proc.sh :

get_sqlldr_log存储过程：

6）移动到备份位置

mv $fileAll $bakPath

date
fi

done

含义：从 /home/data/up_data/机构/$year/$month/$table.*

移动到 /home/oracle/shell/机构/$year/$month/

tables.config:

$tablesFile：/home/oracle/shell/config/tables.config

func.sh

7) 存储过程查询表行数 pg_get_table_rownum

pg_get_table_rownum.get_table_rownum 表行数：

CREATE OR REPLACE PACKAGE BODY pg_get_table_rownum is
  function get_table_rownum(pTableName in varchar2) return varchar2 is
    vResult varchar2(1000);
    vSql    varchar2(1000);
  
  BEGIN
  
    vSql := 'select count(1) from ' || pTableName;
    execute immediate vSql
      into vResult;
  
    return vResult;
  end;

end pg_get_table_rownum;