【写在前面】 飞腾开发者平台是基于飞腾自身强大的技术基础和开放能力,聚合行业内优秀资源而打造的。该平台覆盖了操作系统、算法、数据库、安全、平台工具、虚拟化、存储、网络、固件等多个前沿技术领域,包含了应用使能套件、软件仓库、软件支持、软件适配认证四大板块,旨在共享尖端技术,为开发者提供一个涵盖多领域的开发平台和工具套件。 点击这里开始你的技术升级之旅吧
本文分享至飞腾开发者平台《基于飞腾腾云S2500的ATS部署及调优指南(反向代理篇)》
1 软件介绍
ATS全称为Apache Traffic Server,是一种高性能、模块化的HTTP缓存代理服务器。HTTP代理通常分为正向代理、反向代理和透明代理。本文主要介绍HTTP反向代理,反向代理是指以代理服务器来接受Internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从内网服务器上得到的结果返回给Internet上请求连接的客户端。如下图,Traffic Server充当代理服务器,Origin Server是内网中的源服务器,整个内网对外表现为一个服务器。
(引用自https://baike.baidu.com/item/Apache Traffic Server/4075996?fr=aladdin)
2 环境要求
2.1 硬件要求
用途 | 型号 |
---|---|
代理服务器 | 飞腾腾云S2500处理器服务器 |
源服务器 | 飞腾腾云S2500处理器服务器 |
2.2 软件要求
软件名 | 对应版本 |
---|---|
trafficserver | 7.1.9 |
httpd | 2.4.49 |
LuaJIT | 2.1 |
apr | 1.7.0 |
apr-util | 1.6.1 |
pcre | 8.45 |
3 平台部署
下面将详细介绍源服务器httpd及代理服务器ATS的搭建步骤,并对平台进行验证。
3.1 部署httpd
部署httpd的步骤主要包括:
第一步,获取源码;第二步,编译安装apr;第三步,编译安装apr-util;第四步,编译安装pcre;第五步,编译安装httpd;第六步,配置httpd端口。
3.2 移植ATS
移植ATS的步骤主要包括:
第一步,获取ATS源码;
第二步,替换LuaJIT;
第三步,修复非法访问;由于7.1.9版本的ATS在aarch64上运行时存在内存地址非法访问的BUG,故而需要修改文件/home/trafficserver-7.1.9/lib/ts/ink_queue.h中的代码;
第四步,安装依赖;
第五步,编译与安装;
第六步,配置端口
第七步,配置映射;
第八步,运行验证。其中,在进行验证时,先启动apache服务;然后,启动ATS服务;最后,浏览器访问ATS代理服务器IP或域名,若成功打开网页则表示部署成功。
4 ATS调优
4.1 调优目的
通过调整ATS配置文件来有效地提高ATS应用性能。
4.2 调优方法
4.2.1 物理绑核
1. 使用numactl控制ATS使用的CPU及内存,防止ATS的manager进程跨NUMA。
numactl --cpunodebind=0,1 --membind=0,1 trafficserver start
2. 使用cgroup限制ATS线程使用的资源,防止ATS的server线程跨NUMA。
#!/bin/bash
PID=\$(pidof traffic_server)
ATS_CGROUP_CPU_DIR=/sys/fs/cgroup/cpuset/trafficserver
if [ ! -d \$ATS_CGROUP_CPU_DIR ]; then
mkdir \$ATS_CGROUP_CPU_DIR
fi
cd \$ATS_CGROUP_CPU_DIR
echo "0-15" \> cpuset.cpus
echo "0" \> cpuset.mems
echo \$PID \> cgroup.procs |
4.2.2 配置ATS线程
选项 | 说明 |
---|---|
CONFIG proxy.config.exec_thread.autoconfig INT 0 | 配置固定线程数量,不使用自动增加线程功能,配合cgroup可以有效防止线程跨片。 |
CONFIG proxy.config.exec_thread.limit INT 16 | 每个核启动16个线程。 |
CONFIG proxy.config.accept_threads INT 16 | 对数据接收使用专门的线程处理。 |
CONFIG proxy.config.task_threads INT 32 | 处理http请求的线程数量。 |
4.2.3 配置ATS缓存
文件storage.config决定了ATS磁盘缓存的组成结构,文件内容格式为:
pathname size [ volume=number ] [ id=string ]
例如:/root/ats-cache0 100G,表示ATS磁盘缓存有100G,且保存在分区/root/ats-cache0中。文件中可以指定多个分区及大小,它们共同组成ATS磁盘缓存。除了磁盘缓存,ATS还可以通过records.config文件中的proxy.config.cache.ram_cache.size选项来配置内存缓存:
CONFIG proxy.config.cache.ram_cache.size INT 10G
4.2.4 缓存预热
ATS重启或首次启动时,缓存默认为空仓状态,需要使用工具将期望被缓存的文件进行遍历访问,使缓存中包含所有期望被缓存的文件,即达到预热充分状态。预热状态可通过traffic_top工具中的Disk Used和Ram Used大小来判断,如果它们的大小不再变化则认为是充分预热。
4.3 调优示例
示例环境为一台飞腾腾云S2500处理器服务器,ATS和httpd同时部署在飞腾腾云S2500处理器服务器上,但占用端口不同,其中apache(httpd)服务器中共有两百万个数据供客户请求。使用思博伦测试仪模拟http请求,对被测服务器进行web cache性能测试,调优过程如下:
1) 默认配置下,充分预热后测出TPS为27192;
2) 将ATS线程上限增加至32个,即CONFIG proxy.config.task_threads INT
32,充分预热后测出TPS为46315;
3) 在2的基础上,固定内存缓存10G,即CONFIG proxy.config.cache.ram_cache.size INT
10G,充分预热后测出TPS为47397; 3)
4) 在3的基础上,关闭RAM历史命中检测(不管之前是否有命中都会将新数据写到RAM中),即CONFIG
proxy.config.cache.ram_cache.use_seen_filter 0,充分预热后测出TPS为53649;
5) 在4的基础上,对ATS服务进行绑核0-63,充分预热后测出TPS为60178;
6) 在5的基础上,关闭httpd的日志,充分预热后测出TPS为62210。
下表是优化前后的web cache性能测试结果:
目标项 | 优化前 | 优化后 |
---|---|---|
TPS | 27192 | 62210 |
上图是web cache性能测试结果柱形图,可以看出经过调优后的web cache性能提升显著。
5 常见问题
1. apr-util编译报错
如果报错内容如下图所示:
则通过安装expat-devel包可以解决。
推荐阅读
- 基于飞腾腾云S2500的SPECWeb2009部署指南
- SPECweb2009调优指南
欢迎广大开发者来飞腾开发者平台获取更多前沿技术文档及资料
如开发者在使用飞腾产品有任何问题可通过在线工单联系我们
版权所有。飞腾信息技术有限公司 2023。保留所有权利。
未经本公司同意,任何单位、公司或个人不得擅自复制,翻译,摘抄本文档内容的部分或全部,不得以任何方式或途径进行传播和宣传。
商标声明
Phytium和其他飞腾商标均为飞腾信息技术有限公司的商标。
本文档提及的其他所有商标或注册商标,由各自的所有人拥有。
注意
本文档的内容视为飞腾的保密信息,您应当严格遵守保密任务;未经飞腾事先书面同意,您不得向任何第三方披露本文档内容或提供给任何第三方使用。
由于产品版本升级或其他原因,本文档内容会不定期进行更新。除非另有约定,本文档仅作为使用指导,飞腾在现有技术的基础上尽最大努力提供相应的介绍及操作指引,但飞腾在此明确声明对本文档内容的准确性、完整性、适用性、可靠性的等不作任何明示或暗示的保证。
本文档中所有内容,包括但不限于图片、架构设计、页面布局、文字描述,均由飞腾和/或其关联公司依法拥有其知识产权,包括但不限于商标权、专利权、著作权等。非经飞腾和/或其关联公司书面同意,任何人不得擅自使用、修改,复制上述内容。