本章内容
- 理解 Apache 连接保持
- 掌握 Apache 的访问控制
- 掌握 Apache 日志管理的方法
Apache HTTP Server
之所以受到众多企业的青睐,得益于其代码开源、跨平台、功能
模块化、可灵活定制等诸多优点,不仅性能稳定,在安全性方面的表现也十分出色。
本章将进一步学习
httpd
服务器的相关知识。
3.1 Apache
连接保持
HTTP
是属于应用层的面向对象协议,基于
TCP
协议之上的可靠传输。每次在进行
HTTP
连接之前,需要先进行
TCP
连接,在
HTTP
连接结束后要对
TCP
连接进行终止,每
个
TCP
连接都需要进行三次握手与四次断开。
HTTP
协议不会对之前发生过的请求和响应
进行管理,所以频繁地建立与关闭连接对于
HTTP
而言会消耗更多的内存与
CPU
资源。能
不能允许通过同一个
TCP
连接发出多个请求,从而减少与多个连接相关的延迟,解决办法
就是连接保持。
对于
HTTP/1.1
,就是尽量地保持客户端的连接,通过一个连接传送多个
HTTP
请求响
应,对于客户端可以提高
50%
以上的响应时间,对于服务器可以降低资源开销。
Apache
通过设置配置文件
httpd-default.conf
中相关的连接保持参数来开启与控制连接
保持功能。
KeepAlive
:决定是否打开连接保持功能,后面接
OFF
表示关闭,接
ON
表示打开,可
以根据网站的并发请求量决定是否打开,即在高并发时打开连接保持功能,并发量不高
时关闭此功能。
KeepAliveTimeout
:表示一次连接多次请求之间的最大间隔时间,即两次请求之间超
过该时间连接就会自动断开,从而避免客户端占用连接资源。
MaxKeepAliveRequests
:用于设置在一次长连接中可以传输的最大请求数量,超过此
最大请求数量就会断开连接,最大值的设置决定于网站中网页的内容,一般设置数量会
多于网站中所有的元素
3.2 Apache
的访问控制
为了更好地控制对网站资源的访问,可以为特定的网站目录添加访问授权。本节将分别
介绍客户机地址限制、用户授权限制,这两种访问控制方式都应用于
httpd.conf
配置文件中
的目录区域
<Directory
目录位置
> …… </Directory>
范围内。
3.2.1
客户机地址限制
通过
Require
配置项,可以根据客户端的主机名或
IP
地址来决定是否允许客户端访问。
在
httpd
服务主配置文件的
<Location>
、
<Directory>
、
<Files>
、
<Limit>
配置段中均可以使
用
Require
配置项来控制客户端的访问。使用
Require
配置项时,需要设置客户端地址以构
成完整的限制策略,地址形式可以是
IP
地址、网络地址、主机名或域名。当
Require
配置
项之后为
“all”
时,表示匹配任意地址。限制策略的格式如下所示。
Require all granted
:允许所有主机访问;
Require all denied
:拒绝所有主机访问;
Require local
:仅允许本地主机访问;
Require [not] host <
主机名或域名列表
>
:允许或拒绝指定主机或域名访问;
Require [not] ip <IP
地址或网段列表
>
:允许或拒绝指定
IP
地址网络访问。
通常情况下,网站服务器是对所有客户机开放的,网页文档目录并未做任何限制,因此
使用的是
“Require all granted”
的策略,表示允许从任何客户机访问,策略格式如下所示。
<Directory "/usr/local/httpd/htdocs">
........省略
Require all granted
</Directory>
定义限制策略时,多个不带
“not”
的
Require
配置语句之间是
“
或
”
的关系,即任意一条
Require
配置语句满足条件均可访问。若既出现了不带
“not”
的
Require
配置语句,又出现了
带
“not”
的
Require
配置语句,则配置语句之间是
“
与
”
的关系,即同时满足所有
Require
配置
语句才能访问。
需要使用
“
仅允许
”
的限制策略时,应使用
Require 配置语句明确设置允许策略,只允许
一部分主机访问。例如,若只希望
IP
地址为 192.168.248.1
的主机能够访问,目录区域应做
如下设置。
<Directory "/usr/local/httpd/htdocs">
........省略
Require ip 192.168.248.1
</Directory>
反之,需要使用
“
仅拒绝
”
的限制策略时,灵活使用
Require
与
Require not
配置语句设
置 拒 绝 访 问 策 略 , 仅 禁 止 一 部 分 主 机 访 问 。 在 使 用
not
禁 止 访 问 时 要 将 其 置 于
<RequireAll></RequireAll>
容器中,并在容器中设置相应的限制策略。例如,若只希望禁止
来自两个内网网段
192.168.0.0/24
和
192.168.1.0/24
的主机访问,但允许其他任何主机访
问,可以使用如下限制策略。
<Directory "/usr/local/httpd/htdocs">
........省略
<RequireAll>
Require all granted
Require not ip 192.168.0.0/24 192.168.1.0/24
</Directory>
当未被授权的客户机访问网站目录时,将会被拒绝访问。
3.2.2
用户授权限制
httpd
服务器支持使用摘要认证(
Digest
)和基本认证(
Basic
)两种方式。使用摘要认
证需要在编译
httpd
之前添加
“--enable-auth-digest”
选项,但并不是所有的浏览器都支持摘
要认证;而基本认证是
httpd
服务的基本功能,不需要预先配置特别的选项。
基于用户的访问控制包含认证(
Authentication
)和授权(
Authorization
)两个过程。
认证是指识别用户身份的过程,授权是指允许特定用户访问特定目录区域的过程。下面将以
基本认证方式为例,添加用户授权限制。
1
.创建用户认证数据文件
httpd
的基本认证通过校验用户名、密码组合来判断是否允许用户访问。授权访问的用
户账号需要事先建立,并保存在固定的数据文件中。使用专门的
htpasswd
工具程序,可以
创建授权用户数据文件,并维护其中的用户账号。
使用
htpasswd
工具时,必须指定用户数据文件的位置,添加
“-c”
选项表示新建立此文
件。例如,执行以下操作可以新建数据文件
/usr/local/httpd/conf/.awspwd
,其中包含一个名
为
webadmin
的用户信息。
[root@nmd ~]# cd /usr/local/httpd/
[root@nmd httpd]# bin/htpasswd -c /usr/local/httpd/conf/.awspwd webadmin
New password:
Re-type new password:
Adding password for user webadmin
[root@nmd httpd]#
[root@nmd httpd]# cat /usr/local/httpd/conf/.awspwd
webadmin:$apr1$ijl6opdz$gUd0SemsticNsvlapWNaw/
[root@nmd httpd]#
若省略
“-c”
选项,则表示指定的用户数据文件已经存在,用于添加新的用户或修改现有
用户的密码。例如,需要向
.awspwd
数据文件中添加一个新用户 zhangsan
时,可以执行以下操
作。
[root@nmd httpd]# bin/htpasswd /usr/local/httpd/conf/.awspwd zhangsan
New password:
Re-type new password:
Adding password for user zhangsan
[root@nmd httpd]# cat /usr/local/httpd/conf/.awspwd
webadmin:$apr1$ijl6opdz$gUd0SemsticNsvlapWNaw/
zhangsan:$apr1$p1UuzJ1s$AOoKe4.kdofZdtd2vk9Mg0
[root@nmd httpd]#
2
.添加用户授权配置
有了授权用户账号以后,还需要修改
httpd.conf
配置文件,在特定的目录区域中添加授
权配置,以启用基本认证并设置允许哪些用户访问。例如,若只允许
.awspwd
数据文件中
的任一用户访问系统,可以执行以下操作。
[root@nmd ~]# vim /usr/local/httpd/conf/httpd.conf
<Directory "/usr/local/httpd/htdocs">
........省略
AuthName "DocumentRoot"
AuthType Basic
AuthUserFile /usr/local/httpd/conf/.awspwd
Require valid-user
</Directory>
[root@nmd ~]# systemctl restart httpd.service
在上述配置内容中,相关配置项的含义如下。
AuthName
:
定义受保护的领域名称,该内容将在浏览器弹出的认证对话框中显示。
AuthType
:
设置认证的类型,
Basic
表示基本认证。
AuthUserFile
:
设置用于保存用户账号、密码的认证文件路径。
require valid-user
:
要求只有认证文件中的合法用户才能访问。其中,
valid-user
表示
所有合法用户,若只授权给单个用户,可改为指定的用户名(如 zhangsan
)。
3
.验证用户访问授权
当访问系统时,浏览器会首先弹出认证对话框,如图
3.1
所示。只有输入正确的用户名
和密码后才能查看特定目录下的网站资源,否则将拒绝访问。
3.3 Apache
日志分割
随着网站的访问量越来越大,默认情况下
Apache
服务器产生的单个日志文件也会越来
越大,如果不对日志进行分割,那么如果日志文件占用磁盘空间很大的话势必会将整个日志
文件删除,这样也丢失了很多对网站比较宝贵的信息,而这些日志可以用来进行访问分析、
网络安全监察、网络运行状况监控等。
另外,如果服务器遇到故障时,运维人员要打开日志文件进行分析,打开的过程会消耗
很长时间,也势必会增加处理故障的时间。因此管理好这些海量的日志对网站的意义很大,
我们会将
Apache
的日志进行按每天的日期自动分割。下面介绍两种方法均可实现。
1.Apache
自带
rotatelogs
分割工具
首先,将
Apache
主配置文件
httpd.conf
打开,配置网站的日志文件转交给
rotatelogs
分割处理。
[root@nmd ~]# mkdir /var/log/httpd/
[root@nmd ~]# vim /usr/local/httpd/conf/httpd.conf
ErrorLog "| /usr/local/bin/rotatelogs -l /var/log/httpd/error_%Y%m%d.log 86400"
CustomLog "| /usr/local/bin/rotatelogs -l /var/log/httpd/access_%Y%m%d.log 86400" combined
[root@nmd ~]# systemctl restart httpd.service
[root@nmd ~]# ll /var/log/httpd/
总用量 8
-rw-r--r--. 1 root root 2424 1月 3 12:11 access_20240103.log
-rw-r--r--. 1 root root 867 1月 3 12:11 error_20240103.log
其中
ErrorLog
行是错误日志,
-l
表示使用本地时间代替
GMT
时间作为时间基准。需要
注意的是在一个改变
GMT
偏移量
(
比如夏令时
)
的环境中使用
-l
会导致不可预料的结果。
CustomLog
行是定义访问日志格式,
86400
表示一天,即每天生成一个新的日志文件。
重启
Apache
服务,查看日志文件是否已经按日期分割。
2.
使用第三方工具
cronolog
分割
除了
Apache
自带
rotatelogs
分割工具,也可使用第三方工具
cronolog
对
Apache
日志
进行分割,具体操作如下所示。
(
1
)编译安装
cronolog
工具
[root@nmd ~]# tar zxvf cronolog-1.6.2.tar.gz
[root@nmd ~]# cd cronolog-1.6.2/
[root@nmd cronolog-1.6.2]# ./configure
[root@nmd cronolog-1.6.2]#make && make install
(
2
)设置
cronolog
工具工具分割
apache
日志
[root@nmd ~]# vim /usr/local/httpd/conf/httpd.conf
ErrorLog "| /usr/local/sbin/cronolog -l /var/log/httpd/www.bdqn.com-error_%Y%m%d.log 86400"
CustomLog "| /usr/local/sbin/cronolog -l /var/log/httpd/www.bdqn.com-access_%Y%m%d.log 86400" combined
[root@nmd ~]# systemctl restart httpd.service
[root@nmd ~]# ll /var/log/httpd/
总用量 8
-rw-r--r--. 1 root root 2424 1月 3 12:11 access_20240103.log
-rw-r--r--. 1 root root 867 1月 3 12:11 error_20240103.log
3.4 AWStats
日志分析
在
httpd
服务器的访问日志文件
access_log
中,记录了大量的客户机访问信息,通过
分析这些信息,可以及时了解
Web
站点的访问情况,如每天或特定时间段的访问
IP
数量,
点击量最大的页面等。
本节将介绍如何安装
AWStats
日志分析系统,以完成自动化的日志分析与统计工作。
3.4.1
部署
AWStats
分析系统
AWStats
是使用
Perl
语言开发的一款开源日志分析系统,它不仅可用来分析
Apache
网
站服务器的访问日志,也可以用来分析
Samba
、
Vsftpd
、
IIS
等服务的日志信息。结合
crond
等计划任务服务,可以对不断增长的日志内容定期进行分析。
AWStats
的软件包可以从官方网站下载。下面以
awstats-7.7.tar.gz
软件包为例,介绍
为
Web
站点
www.kcg.com
添加
AWStats
日志分析系统的过程。
1
.安装
AWStats
软件包
Awstats
软件包的安装非常简单,只需将软件包解压到
httpd
服务器中的
/usr/local/
目录
下即可。
[root@nmd ~]# tar zxf awstats-7.7.tar.gz
[root@nmd ~]# mv awstats-7.7 /usr/local/awstats
2
.为要统计的站点建立配置文件
AWStats
系统支持统计多个网站的日志文件,通常以网站名称来区分不同的站点。因
此,在执行日志文件分析之前,需要为每个
Web
站点建立站点统计配置文件,借助于
AWStats
系统提供的
awstats_configure.pl
脚本可以简化创建过程。
首先切换到
awstats/tools
目录下,并执行其中的
awstats_configure.pl
脚本。
[root@nmd ~]# cd /usr/local/awstats/tools/
[root@nmd tools]# chmod +x awstats_configure.pl
[root@nmd tools]# ./awstats_configure.pl
之后将会进入一个交互式的配置过程,将会检查
awstats
的安装目录、
httpd
服务的配
置文件路径等系统环境,并提示用户指定站点名称、设置配置文件路径。
(
1
)指定
httpd
主配置文件的路径
配置脚本将查找并识别
httpd
服务的主配置文件,以便自动添加相关配置内容。如果未
能在常见的安装路径中找到相关配置内容,则用户需要根据提示进行手工指定。
[root@nmd tools]# ./awstats_configure.pl
----- AWStats awstats_configure 1.0 (build 20140126) (c) Laurent Destailleur -----
This tool will help you to configure AWStats to analyze statistics for
one web server. You can try to use it to let it do all that is possible
in AWStats setup, however following the step by step manual setup
documentation (docs/index.html) is often a better idea. Above all if:
- You are not an administrator user,
- You want to analyze downloaded log files without web server,
- You want to analyze mail or ftp log files instead of web log files,
- You need to analyze load balanced servers log files,
- You want to 'understand' all possible ways to use AWStats...
Read the AWStats documentation (docs/index.html).
-----> Running OS detected: Linux, BSD or Unix
-----> Check for web server install
Enter full config file path of your Web server.
Example: /etc/httpd/httpd.conf
Example: /usr/local/apache2/conf/httpd.conf
Example: c:\Program files\apache group\apache\conf\httpd.conf
Config file path ('none' to skip web server setup):
>
Config file path ('none' to skip web server setup):
>
Config file path ('none' to skip web server setup):
> /usr/local/httpd/conf/httpd.conf
(
2
)为指定
Web
站点创建配置文件
根据提示继续选择“
y
”以创建站点配置文件,并指定要统计的目标网站名称、站点配
置文件的存放位置(默认为
/etc/awstats
)。
-----> Check and complete web server config file '/usr/local/httpd/conf/httpd.conf'
Warning: You Apache config file contains directives to write 'common' log files
This means that some features can't work (os, browsers and keywords detection).
Do you want me to setup Apache to write 'combined' log files [y/N] ? y
Add 'Alias /awstatsclasses "/usr/local/awstats/wwwroot/classes/"'
Add 'Alias /awstatscss "/usr/local/awstats/wwwroot/css/"'
Add 'Alias /awstatsicons "/usr/local/awstats/wwwroot/icon/"'
Add 'ScriptAlias /awstats/ "/usr/local/awstats/wwwroot/cgi-bin/"'
Add '<Directory>' directive
AWStats directives added to Apache config file.
-----> Update model config file '/usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf'
File awstats.model.conf updated.
-----> Need to create a new config file ?
Do you want me to build a new AWStats config/profile
file (required if first install) [y/N] ? y
-----> Define config file name to create
What is the name of your web site or profile analysis ?
Example: www.mysite.com
Example: demo
-----> Define config file path
In which directory do you plan to store your config file(s) ?
Default: /etc/awstats
Directory path to store config file(s) (Enter for default):
> //直接按 Enter 键接受默认设置
(
3
)后续配置工作
后续配置工作接下来将会尝试重启
httpd
服务(支持使用
/sbin/service httpd restart
或
/bin/systemctl restarthttpd.servic
命令重启,需要有相关脚本,否则手动重启
apache
服务),
然 后 设 置
cron
计 划 任 务 (
7.6
版 本 尚 不 支 持 , 需 要 根 据 提 示 使 用
/usr/local/awstats/tools/awstats_updateall.pl now
命令,自行设置任务计划),按两次
Enter
键退出配置工具。
Apache 2.4
以上版本,因为重新定义了访问权限,所以需要将自动生成的
awstats
访
问权限进行相应修改。同时,加载
CGI
模块
[root@nmd tools]# vim /usr/local/httpd/conf/httpd.conf
#
<Directory "/usr/local/awstats/wwwroot">
Options None
AllowOverride None
# Order allow,deny
# Allow from all
Require all granted
</Directory>
[root@nmd tools]# systemctl restart httpd.service
根据上述设置过程,为网站
www.kgc.com
新建立的站点统计配置文件将存放到
/etc/awstats
目录下,文件名称为
awstats.www.kgc.com.conf
。若还需要统计其他
Web
站
点 的 日 志 , 可 以 执 行
awstats_configure.pl
脚 本 创 建 新 的 配 置 文 件 。 可 以 使 用
http://localhost/awstats/awstats.pl?config=www.bdqn.com地址访问日志分析页面。
3
.修改站点统计配置文件
为站点
www.kgc.com
建立好配置文件以后,还需要对其做进一步的修改。修改的内容
主要包括指定要分析的
Web
日志文件和指定用来存放统计数据的目录。
[root@nmd ~]# vim /etc/awstats/awstats.www.bdqn.com.conf
LogFile="/var/log/httpdlogs/access_log"
DirData="/var/lib/awstats"
[root@nmd ~]# mkdir /var/lib/awstats
其中,
LogFile
用来指定日志路径,应设置
Web
日志文件的实际位置;
DirData
用来指
定数据目录,可以采用默认值,但需要创建指定的目录(
/var/lib/awstats
)。
4
.执行日志分析,并设置
cron
计划任务
使用
AWStats
提供的
awstats_updateall.pl
脚本,可以更新所有站点(根据站点配置文
件)的日志统计数据。执行该脚本时,系统将会自动分析新增的日志内容,并将分析结果更
新到统计数据库中。
[root@nmd ~]# cd /usr/local/awstats/tools/
[root@nmd tools]# chmod +x awstats_updateall.pl
[root@nmd tools]# ./awstats_updateall.pl now
由于
Web
日志文件的内容是在不断更新的,为了及时反馈网站访问情况,日志分析工
作也需要定期、自动地执行。通过
crond
服务可设置计划任务,一般建议每五分钟执行一次
日志分析任务。
[root@nmd tools]# crontab -e
*/5 * * * * /usr/local/awstats/tools/awstats_updateall.pl now
3.4.2
访问
AWStats
分析系统
访问站点
http://192.168.9.158/awstats/awstats.pl?config=www.kgc.com
后,即可看到
AWStats
日志分析系统的统计页面,该页面分别按访问时间、用户来源、所用浏览器等类
别列出各种详细的网站访问情况
。若此处访问出现
403 Forbidden
错误,关
闭
selinux
即可正常访问。
在该页面中,拖动窗口右侧的滚动条即可查看整个分析报告内容;或者单击左侧导航栏
中的链接,可以选择查看其中的部分内容。
在“按参观时间”类别下,可以查看每小时、每天、每周、每月的网站访问次数、网页
数、文件数等信息。
在“浏览器统计”类别下,可以查看用户的参观时间、所用的操作系统、浏览器版
搜索本网站的关键词等相关信息。
在访问
AWStats
系统时,需要指定
awstats
目录、脚本位置、统计目标等信息,这样
既不便于记忆,输入时也比较麻烦。为了简化操作,可以在
Web
根目录下建立一个自动跳
转的
HTML
网页。例如,执行以下操作后,用户只要访问
http://www.kgc.com/awb.html
,
即可自动跳转到
www.kgc.com
站点的
AWStats
日志分析页面。
[root@www ~]# vim /var/www/html/awb.html
<html>
<head>
<meta http-equiv=refresh content="0;
url=http://www.bdqn.com/awstats/awstats.pl?config=www.bdqn.com">
</head>
<body></body>
</html>