电子邮件表示通过电子通讯系统进行信件的书写、发送和接收。今天使用的最多的通讯系统是互联网，同时电子邮件也是互联网上最受欢迎的功能之一。通过电子邮件系统，您可以用非常低廉的价格，以非常快速的方式（几秒钟之内可以发送到世界上任何你指定的目的地）,与世界上任何一个角落的网络用户联络。同时，您可以得到大量免费的新闻、专题邮件，并实现轻松的信息搜索。这是任何传统的方式也无法相比的。正是由于电子邮件的使用简易、投递迅速、收费低廉，易于保存、全球畅通无阻，使得电子邮件被广泛地应用，它使人们的交流方式得到了极大的改变。每一个申请互联网帐号的用户都会有一个电子邮件地址。它是一个很类似于用户家门牌号码的邮箱地址，或者更准确地说，相当于你在邮局租用了一个信箱。因为传统的信件是由邮递员送到你的家门口，而电子邮件则需要自己去查看信箱，只是您不用跨出家门一步。电子邮件来源于专有电子邮件系统。早在互联网流行以前很久，电子邮件就已经存在了，是在主机-多终端的主从式体系中从一台计算机终端向另一计算机终端传送文本信息的相对简单的方法而发展起来的。

经历了漫长的过程之后，它现在已经演变成为一个更加复杂并丰富得多的系统，可以传送声音、图片、图像、文档等多媒体信息，以至于如数据库或帐目报告等更加专业化的文件都可以以电子邮件附件的形式在网上分发。

电子邮件可视为半结构化的文本文件。RFC822 明确的把邮件划分为两部分：第1 部分称为邮件头，邮件头中包含若干数据字段，其作用是标识邮件的重要部分，例如发送者、接收者、主题和注释。邮件头字段应出现在邮件体之前，两部分间使用一个空行分隔。第2 部分就是邮件体（body），邮件体（body）是发送用户发给接收用户邮件的内容。

电子邮件与普通信件有类似的地方，发信者注明收件人的姓名与地址（即邮件地址），发送方服务器把邮件传到收件方服务器，收件方服务器再把邮件发到收件人的邮箱中，如下图所示：

电子邮件系统主要由以下3 部分组成：MUA (Mail UserAgent)，邮件用户代理，是帮助用户读和写邮件；MTA (MailTransport Agent)，邮件传输代理，负责将邮件从一个服务器传到另一个服务器；MDA(MailDeliveryAgent)，邮件投递代理，将邮件分发到用户的邮箱里。整个邮件传输过程如下图所示：

该系统采用Microsoft SQL Server 2000数据库，数据库的名称mail。对系统功能的分析绘制了系统总体E-R图，如图3-1所示：

为了消除数据的冗于在表中采取了主关键字。根据数据库功能模块的不同，所做需求分析的不同建立了以下表，它们分别是：

1. 用于保存邮件夹内邮件信息的数据表，具体设计如表3-1所示：

表3-1 mail数据表

1. 用于保存所添加的黑白名单邮件地址的数据表，具体设计如表所示：

表3-2 black_mailadd数据表

表3-3 white_mailadd数据表

1. 用于保存用户添加的主题关键字的信息表，具体设计如表所示：

表3-4 key_word数据表

1. 贝叶斯过滤所要用到的数据表，具体设计如表所示：

表3-5 drop_word数据表

表3-6 bayes_field数据表

表3-7 hash_all数据表

表3-8 hash_pro数据表

安装此系统所需的基本软、硬件环境为：

1. Windows95、 Windows98 或WindowsNT/2000/XP。
2. Microsoft SQL Server 2000数据库
3. Pentium100及以上档次的IBM PC及其兼容机。
4. 128M以上内存。
5. 5000M以上可用硬盘空间。
6. 高密软盘驱动器。
7. VGA显示器。
8. CD——ROM驱动器。
9. 本程序在Windows2000 Professional操作系统下，以中文Dreamweaver MX 2004为前台开发工具，用中文版Microsoft SQL Server 2000数据库为后台数据库。

本系统分为三个大模块，每个大模块下有不同的功能划分，模块结构图如图4-1所示：

这个模块分为收邮件和写邮件两部分，用户可以通过这个模块收发电子邮件，完成正常邮件和垃圾邮件的接收，本系统是采用从本地数据库读取数据，为反垃圾技术的研究提供测试环境。

1. 邮件夹

此模块建立了两个文件夹，分别是收件夹和垃圾邮件夹，经过过滤的正常邮件显示在收件夹中，过滤后得到的垃圾邮件显示在垃圾邮件夹中。并可以对邮件进行删除和查看操作。

1. 垃圾邮件过滤

此模块是本设计的核心部分，采用了黑名单、白名单、主题关键字、贝叶斯过滤技术来过滤垃圾邮件，用户可以通过过滤设置来启动和停止这些过滤规则。

通过黑名单、白名单、主题关键字、贝叶斯过滤技术完成客户端的垃圾邮件过滤，每个过滤规则在对邮件进行处理判断后，若可以确定邮件的属性，即为垃圾邮件或非垃圾邮件就可以直接把邮件显示在垃圾邮件夹和收件夹。客户端垃圾邮件过滤模型如下图所示：

黑名单是一个简单有效最常用的过滤方法，它首先检查邮件头，如果发送者在黑名单内，就拒绝接收该邮件。黑名单可以是发送垃圾邮件的服务器、开放的代理、开放的中继以及发送者邮箱地址。现在有很多组织都在做*bl(block list)，将那些经常发送垃圾邮件的IP地址(甚至IP地址范围)收集在一起，做成block list。

白名单过滤的方法是在邮件过滤系统中维持一张白名单表，其中收录了用户认可的邮件地址。当收到的邮件其发送者在用户的白名单中，该邮件就被判定为正常邮件。这种方法能100%的屏蔽垃圾邮件，但是同时也会过滤掉很多第一次与收件人通信的正常邮件，而这些用户不在收件人的白名单中。

目前很多邮件接收端都采用了黑白名单的方式来处理垃圾邮件，包括MUA和MTA，当然在MTA中使用得更广泛，这样可以有效地减少服务器的负担。本文中黑名单和白名单分别是已知的垃圾邮件发送者或可信任的邮件发送者的邮件地址，这种技术手段是最传统的方式，它通过黑名单技术对垃圾邮件进行屏蔽，通过白名单技术对允许的邮件进行放行。

这种技术是根据在邮件头、邮件主题或者邮件正文中是否含有设定的关键字符来判断邮件是否为垃圾邮件，然后采取处理措施。这种技术非常简单易行，现在的邮件客户端一般都提供这种技术。根据调查显示，采用基于关键字符技术的邮件过滤器能够捕获到60%的垃圾邮件。但是这种当邮件中含有某类的关键字符时就判定邮件为垃圾邮件的技术缺点非常致命，它的误确认率特别高。例如将单词"free"设置为过滤关键字，那么所有包含有这个单词的邮件都会被过滤掉，不管这封邮件来自于你的朋友还是垃圾邮件制造者。本文中是设置要过滤的邮件标题关键字，对标题中含有这些关键字的邮件进行过滤。

例如：一封含有“法轮功”字样的垃圾邮件 A和 一封含有“法律”字样的非垃圾邮件B。

根据邮件A生成hashtable_ bad，该哈希表中的记录为：

法：1次

轮：1次

功：1次

计算得在本表中：

法出现的概率为0.3

轮出现的概率为0.3

功出现的概率为0.3

根据邮件B生成hashtable_good，该哈希表中的记录为：

法：1

律：1

计算得在本表中：

法出现的概率为0.5

律出现的概率为0.5

综合考虑两个哈希表，共有四个TOKEN串： 法 轮 功 律

当邮件中出现“法”时，该邮件为垃圾邮件的概率为：

P=0.3/（0.3+0.5）=0.375

出现“轮”时：

P=0.3/（0.3+0）=1

出现“功“时：

P=0.3/（0.3+0）=1

出现“律”时

P=0/（0+0.5）=0；

由此可得第三个哈希表：hashtable_probability 其数据为：

法：0.375

轮：1

功：1

律：0

当新到一封含有“功律”的邮件时，我们可得到两个TOKEN串，功 律

查询哈希表hashtable_probability可得：

P(垃圾邮件|功）=1

P(垃圾邮件|律）=0

此时该邮件为垃圾邮件的可能性为：

P=（0*1）/[0*1+（1-0）*（1-1）]=0

由此可推出该邮件为非垃圾邮件。

针对贝叶斯过滤的流程以及其所需要的功能，可以把整个过滤从功能上分为邮件预处理、贝叶斯算法实现、数据库访问、过滤主逻辑几个主要模块，系统结构如下图所示：

邮件预处理模块：这个模块主要负责读取邮件，对邮件进行编解码，去html的tag等；

贝叶斯算法模块：这个模块主要的功能是对邮件文本向量化，统计特征向量词出现的次数，分类器的训练、调整、更新，新邮件的过滤等；

数据库访问模块：在文本向量化，统计频率和计算概率时需要访问数据库，这个模块主要对数据库进行访问操作；

过滤主逻辑模块：这个模块负责调用其余各个模块的功能，实现垃圾邮件过滤处理的主逻辑。

系统服务工作流程图如图5-1所示：

进入反垃圾邮件管理系统就可直观的显示收件夹和垃圾邮件夹中邮件的数目，并可点击进入浏览邮件，如果各种过滤策略启动，收到的邮件满足黑名单、关键字、贝叶斯过滤的条件，不满足白名单过滤的条件将会被显示在垃圾邮件夹里，正常邮件会被显示在垃圾邮件夹里，邮件统计界面如图5-2所示：

被过滤后的正常邮件被显示在收件夹内，显示了寄件人、日期和邮件主题，可对邮件进行删除和内容查看操作。如图5-3所示：

1. 黑白名单功能测试：在黑名单中加入要过滤的邮件地址，在白名单中加入允许放行的邮件地址，启动黑白名单功能，发送两封邮件，前一封邮件地址在黑名单中，后一封邮件地址在白名单中，发信人是前者的邮件被显示在垃圾邮件夹中，发信人是后者的邮件被显示在收件夹中，测试成功。
   1. 主题关键字过滤测试：添加要过滤的关键字，启动主题关键字过滤功能，发送一封标题中含有过滤关键字的邮件，该邮件被显示在垃圾邮件夹里，测试成功。
   2. 贝叶斯过滤测试：启动贝叶斯过滤功能，在文本1.txt中写入非垃圾邮件样本集，在文本2.txt中写入垃圾邮件样本集，对1.txt和2.txt进行学习，分析计算得到哈希概率表，发送一封含有这两个样本集字串的邮件，设定一个阈值，垃圾邮件概率超过这个阈值邮件被显示在垃圾邮件夹里，小于这个阈值邮件被显示在收件夹里，测试成功。测试中我在1.txt中写入了fa、lv两个字串，在2.txt中写入fa、lun、gong三个字串，经过学习得到下图所示的数据表：

当发送一封邮件内容是fa lun mail的邮件时，计算得到的垃圾邮件概率大于预先设定的阈值95，该邮件被显示在垃圾邮件夹中。点击邮件浏览界面中对邮件进行bayes分析的按钮可以显示bayes分析的各项指标，如下图所示：

1.对系统中需要使用的过滤参数进行集中的管理和配置。主要包括以下两个方面的内容：

(1)提供用户界面给用户修改相关参数，以完成个性化定制。

(2)在系统的使用过程中，考虑到用户的实际情况，应该方便的允许用户随时开启或关闭邮件过滤功能。

针对此问题我设计了一个参数设置模块来根据用户的需要开启关闭不同的过滤规则。

1. 特征串的选取

特征串选取好坏将决定最终的过滤效果。特征串词库不是静态建立的，而是根据垃圾邮件集和非垃圾邮件集动态变化的，这样才能保证其一定的智能性和不断的学习能力。因此需要考虑多种情况，准确的提取垃圾邮件集合和非垃圾邮件集合中的特征信息，从而建立比较完善的特征串词库。对英文邮件，token串的选取不能仅简单的以单词为分解目标。而应该考虑到各种变化的情况，比如字母大小写 ，字母的异化。

黑白名单技术占用较少的计算机资源，易于实施，但需要手动维护邮件地址清单，此方案在成熟的垃圾邮件解决方案中只起补充作用。

关键字过滤是一个简单但是有效的阻断绝大多数垃圾邮件的方法，其优点是简单易构造、易实现、可靠性高。而缺点是：必须经常对关键字进行更改和产生较多误报的情况。

贝叶斯算法在实际应用中需注意的方面：

1. 纯粹的贝叶斯算法过滤只考虑了邮件正文的内容，而往往邮件头部的一

些信息是很重要的，因此必须把邮件头部的不同组成部分出现的TOKEN标识出来，且其权重设置为较大值。

1. 在遇到某些特殊邮件时要根据这些网页的具体特征去判断这些邮件的合法性，例如在某个邮件中邮件正文很少，除此之外就只有一个网页的链接，那么这封邮件就很有可能是垃圾邮件。

1. 由于正常邮件被误判断为垃圾邮件很有可能给用户带来极大的损失，因此必须采取方法降低正常邮件的误判。这里可以采取二级过滤规则的策略，即在一封邮件被判断为垃圾邮件以后还可以利用别的过滤规则对其再次进行判断，若符合某些条件则把其判为非垃圾邮件。
   1. 由于贝叶斯算法在电子邮件中的应用是由使用英语的人提出来并按照英语的语法习惯处理TOKEN串的，所以，当把他们应用到汉字处理或者其他并不和英语类似的语言时就会产生许多问题。这里也不具备对中文的识别，因为中文的分词算法比较复杂，准确率不高。

6．4通用模块分析

本系统中包括一些通用模块，这些模块以文件的形式保存，可以在其他文件中使用#include语句包含这些模块，使用其中定义的功能。比如：

conn.asp 实现到数据库的连接，代码如下：

<%

set conn=server.CreateObject("adodb.connection")

set rs=server.createobject("adodb.recordset")

set subrs=server.createobject("adodb.recordset")

str="PROVIDER=SQLOLEDB;DATA SOURCE=127.0.0.1;UID=sa;

PWD=123;DATABASE=mail"

conn.open str

%>

在设计过程中，我深刻认识到了反垃圾邮件技术研究的重要性，它对我们的工作和生活都产生着巨大的影响。我也对目前所应用到的各种反垃圾技术做了全面的了解，最后选择了三种常见的技术进行了功能设计，它们分别是黑白名单技术、主题关键字过滤技术、贝叶斯过滤技术，本文就围绕这三种技术做了详细说明并阐述了开发过程，希望通过这三种技术提高垃圾邮件的过滤率。但是由于现在很多垃圾邮件发送者也在利用各种过滤技术的漏洞发送垃圾邮件，要想做到百分之百的过滤垃圾邮件是一件不可能的事，在设计中使用的三种过滤技术也存在着各自的缺陷，还有很多难点问题，比如黑白名单地址的选取，主题关键字的选取，贝叶斯垃圾邮件集和非垃圾邮件集的搜集。当然还有很多更高效的过滤技术有待我们去研究，控制和消除垃圾邮件也不是几个人或几个组织就可以完成的,它需要全社会的共同努力,来建立一个洁净的网络空间。