大数据知识图谱项目——基于知识图谱+flask的大数据电影问答系统（超详细讲解及源码）

一、项目概述

知识图谱是将知识连接起来形成的一个网络。由节点和边组成，节点是实体，边是两个实体的关系，节点和边都可以有属性。知识图谱除了可以查询实体的属性外，还可以很方便的从一个实体通过遍历关系的方式找到相关的实体及属性信息。

本项目基于电影方面知识的问答，通过搭建一个电影领域知识图谱，并以该知识图谱完成自动问答与分析服务。本项目以neo4j作为存储，基于传统规则的方式完成了知识问答，并最终以关键词执行cypher查询，并返回相应结果查询语句作为问答。后面我又设计了一个简单的基于 Flask 的聊天机器人应用，电影AI助手会根据用户的问题返回结果，用户输入和系统返回的输出结果都会一起自动存储到sql数据库，项目整体的代码逻辑和页面效果都是很不错的！也方便了一些小伙伴的云平台部署和开发。

该问答系统完全基于规则匹配实现，通过关键词匹配，对问句进行分类，电影问题本身属于封闭域类场景，对领域问题进行穷举并分类，然后使用cypher的match去匹配查找neo4j，根据返回数据组装问句回答，最后返回结果。

二、实现知识图谱的电影知识问答系统基本流程

1、建立图谱（结构化的，详见代码；非结构化的需要的NLP特别多）
2、构建类别判定（可以基于机器学习方法或者深度学习方法的文本分类或者是基于关键字的规则方法）（本文为规则方法）
3、提取问题中的实体
4、根据类别和实体构建查询语句并查询
5、根处理查询结果并输出
6、设计一个基于 Flask 的聊天机器人AI助手
7、设计数据自动存储到sql数据库

三、实现知识图谱的电影问答系统基本流程

Neo4j版本：Neo4j Desktop1.4.15;
neo4j里面电影系统数据库版本：4.4.5;
Pycharm版本：2021;
JDK版本：jdk1.8.0_211;
MongoDB版本：MongoDB-windows-x86_64-5.0.14;
flask版本：3.0.0；

四、Node4j实验环境的安装配置

(一)安装JAVA
1.下载java安装包：
官网下载链接：https://www.oracle.com/java/technologies/javase-downloads.html

本人下载的版本为JDK-1.8,JDK版本的选择一定要恰当，版本太高或者太低都可能导致后续的neo4j无法使用。

安装好JDK之后就要开始配置环境变量了。 配置环境变量的步骤如下：
右键单击此电脑—点击属性—点击高级系统设置—点击环境变量

在下方的系统变量区域，新建环境变量，命名为JAVA_HOME，变量值设置为刚才JAVA的安装路径，我这里是C:\Program Files\Java\jdk1.8.0_211

编辑系统变量区的Path，点击新建，然后输入 %JAVA_HOME%\bin

打开命令提示符CMD（WIN+R,输入cmd)，输入 java -version，若提示Java的版本信息，则证明环境变量配置成功。

2.安装好JDK之后，就可以安装neo4j了
2.1 下载neo4j
官方下载链接：https://neo4j.com/download-center/#community
也可以直接下载我上传到云盘链接：
Neo4j Desktop Setup 1.4.15.exe
链接：https://pan.baidu.com/s/1eXw0QjqQ9nfpXwR09zLQHA?pwd=2023
提取码：2023

打开之后会有一个自己设置默认路径，可以根据自己电脑情况自行设置，然后等待启动就行了

打开之后我们新建一个数据库，名字叫做：“基于电影领域的问答系统”

详细信息看下图:

数据库所用的是4.4.5版本，其他数据库参数信息如下：

项目结构整体目录:

├── README.md       // 描述文件
├── 建立词表.py     // 建立词表的程序文件
├── 建立图谱.py     // 建立知识图谱的程序文件
├── chatbot_graph.py     // 聊天系统主函数文件/运行文件
├── question_classifier.py        // 聊天系统问题分类函数 
├── question_parser.py        // 聊天系统问题转换函数 
├── answer_search.py        // 聊天系统问题回复函数
├── genre.txt        // 建立的词表 
├── movie.txt        // 建立的词表  
├── person.txt        // 建立的词表  
└── data   //数据文件
    └── genre.csv               // 图谱数据集之一
    └── movie_to_genre.csv               // 图谱数据集之一
    └── movie.csv               // 图谱数据集之一
    └── person_to_movie.csv               // 图谱数据集之一
    └── person.csv               // 图谱数据集之一
    └── userdict3.txt               // 图谱数据集之一
    └── vocabulary.txt              // 图谱数据集之一
    └── question              // 问题模版（项目中未用，但参考了）
        └── ...              // 16个问题模版

问答系统框架的构建是通过chatbot_graph.py、answer_search.py、question_classifier.py、question_parser.py等脚本实现。

五、系统实现具体步骤

下面给大家简单介绍一下里面的部分内容和源码。
创建一个“电影问答系统”的知识图谱项目，选择默认的neo4j（defult）数据库：

数据库所用的是4.4.5版本，其他数据库参数信息如下：

我们点击open进去数据库浏览器界面

里面有我们的端口号和连接用户名user：

将我们脚本的端口号、用户名和密码与neo4j里面保持一致。

#graph直接写账号密码会不安全
g=Graph('bolt://localhost:7687',user='neo4j',password='123456')
#创建config以及db.cfg用来存储信息

建立一个与Neo4j图数据库的连接。Graph是py2neo库中的一个类，用于创建一个图数据库的实例。在这里，通过指定bolt://localhost:7687作为数据库的地址和端口，user和password作为登录凭据，来创建一个名为g的图数据库对象。这个对象可以用来执行与数据库相关的操作，比如创建节点、创建关系等。

构建词表和图谱时候，路径要跟我们本地设置的目录保持一致：

answer_search.py脚本部分代码截图：

定义一个名为search_main的方法，它接受一个参数sqls，该参数是一个包含多个字典的列表。每个字典代表一个查询，包含两个键：question_type和sql。question_type表示查询的类型，sql是一个包含一个或多个Cypher查询的列表。在方法内部，它首先创建一个空列表final_answers，用于存储最终的答案。然后，它遍历sqls列表中的每个字典。对于每个字典，它提取question_type和sql的值，并创建一个空列表answers来存储查询结果。

接下来，它遍历queries列表中的每个查询，并使用self.g.run(query).data()执行Cypher查询，并将结果添加到answers列表中。最后，它调用answer_prettify方法，将question_type和answers作为参数传递，并将返回的结果存储在final_answer变量中。如果final_answer不为空，则将其添加到final_answers列表中。最后，方法返回final_answers列表，其中包含了所有查询的答案。通过执行一系列的Cypher查询，并将查询结果进行处理和美化，然后返回最终的答案列表。

question_classifier.py脚本部分代码截图：

question_classifier.py脚本根据问题的内容将问题分类到不同的类型中。在QuestionClassifier类的构造函数中，首先获取当前文件的路径，并根据路径拼接出特征词文件的路径。然后，加载特征词文件中的内容，分别存储到person_wds、movie_wds和genre_wds这三个列表中。接着，将这三个列表中的元素合并到region_words这个集合中。

接下来，通过调用build_actree方法构造了一个领域actree，用于加速过滤。然后，调用build_wdtype_dict方法构建了一个词对应类型的字典wdtype_dict。在构造函数的最后，定义了一些问句疑问词的列表，用于判断问题的类型。这些列表包括评分、上映、风格、剧情、出演、演员简介、合作出演、总共和生日等。最后，打印出初始化完成的提示信息。作用是初始化一个问题分类器对象，并加载特征词和构建相关数据结构，为后续的问题分类做准备。

成功构建电影知识图谱节点和关系！

脚本运行完之后查看neo4j数据库中构建的知识图谱：

 match (n) return n

这里提示：Not all return nodes are being displayed due to Initial Node Display setting. Only 3000 of 5045 nodes are being displayed
由于“初始节点显示”设置，并非所有返回节点都显示。5045个节点中仅显示3000个
这里因为我设置的参数只显示前3000个，只显示了一部分，可以根据自己需求自由设置。

问答框架包含问句分类、问句解析、查询结果三个步骤，首先是构建词表和建立图谱；
问句分类，是通过question_classifier.py脚本实现的。
question_parser.py脚本进行问句分类后对问句进行解析。
answer_search.py脚本对解析后的结果进行查询
chatbot_graph.py脚本进行问答实测。

流程： chatbot_graph(总控)->question_classifier（分类）->question_parser（构建查询语句）->answer_search（处理查询结果并输出）

这个chatbot_graph脚本是整个问答系统的主程序。首先创建了一个ChatBotGraph类，包含了三个主要的组件：问题分类器（QuestionClassifier）、问题解析器（QuestionParser）和答案搜索器（AnswerSearcher）。在ChatBotGraph类的构造函数中，初始化了这三个组件的实例。QuestionClassifier用于对用户输入的问题进行分类QuestionParser用于解析分类结果，AnswerSearcher用于搜索合适的答案。chat_main方法是主要的交互逻辑。它接收用户输入的问题作为参数，并依次调用分类器、解析器和搜索器来获取最终的答案。如果没有找到合适的答案，将返回一个默认的回答。在代码的最后部分，创建了一个ChatBotGraph的实例，并通过一个死循环不断接收用户输入的问题，并输出对应的回答。

当我们执行chatbot_graph.py主程序，开始实现电影知识问答：
“您好！请输入您想要提问的电影知识问题:”

我们输入一个简单的问题：“李连杰和成龙的简介”
问答系统返回的结果如下：

再试试其它的问题：比如十面埋伏的评分、十面埋伏和功夫的简介、黄飞鸿之三狮王争霸里面的演员等等，当然不仅限于此，还有很多关于电影知识方面都可以问，对脚本也进行了一些优化。
问答系统返回结果如下：

后面我设计了一个简单的基于 Flask 的聊天机器人应用app.py，并且用户提交的问题数据和问答系统返回的数据都会自动存储到mysql，如果想存储到其他数据库也可以自行修改。这里mysql创建表比较简单就不介绍了。

先导入所需模块

from flask import Flask, render_template, request
import mysql.connector

创建一个Flask应用程序实例

app = Flask(__name__)

然后进行sql数据库连接，主机名、用户、密码和sql数据库名称根据实际情况自行更改。

将用户输入和问答系统返回结果输出一起插入sql数据库

这里我设计了两个路由:
@app.route(‘/’)装饰器定义了一个路由，当用户访问根路径时，会调用index()函数并返回一个名为index.html的模板页面。
另外，@app.route(‘/ask’, methods=[‘POST’])装饰器定义了另一个路由，当用户通过POST方法提交一个表单到/ask路径时，会调用ask()函数。这个函数获取用户在表单中输入的问题，然后通过调用handler.chat_main(question)方法来获取问题的答案。接着，它将用户的问题和答案插入到一个名为chat_logs的SQL数据库表中，并将结果渲染到index.html模板页面中返回给用户

然后核心部分还是我们的ChatBotGraph 类：这是聊天机器人的核心类。init() 方法初始化了 QuestionClassifier、QuestionPaser 和 AnswerSearcher 三个类的实例。chat_main() 方法接收用户输入的问题 sent，首先使用 QuestionClassifier 对问题进行分类，然后使用 QuestionPaser 对分类结果进行解析，生成 SQL 语句，最后使用 AnswerSearcher 对 SQL 语句进行搜索，得到最终答案 final_answers。最后当我们这个脚本被直接执行时，启动 Flask 应用程序，并在调试模式下运行。如果脚本被作为模块导入，app.run(debug=True) 将不会执行，因此不会启动 Flask 服务器。

if __name__ == '__main__':
    app.run(debug=True)

添加了两个文件夹，里面是对flask前端页面的渲染，主要是一些静态文件的放置，如果想加入更多动态页面的设计和js逻辑可以放置到这里，注意哦在flask框架中要引用对应的Flask模板语法{{ url_for(‘static’, filename=‘css/styles.css’) }}来生成样式表文件的路径，不然运行会显示找不到我们的样式文件。

在系统页面加了一个显示时间的js逻辑代码，定义了一个名为time的函数，并使用setTimeout函数在页面加载后延迟1秒钟开始执行该函数。time函数的作用是更新页面中具有类名为showTime的元素的内容，这里我设置的是time函数每隔1秒钟执行一次，实现定时更新页面中的时间显示。

前面都OK之后，然后我们直接启动我们的基于知识图谱+Flask的大数据电影问答项目，直接运行app脚本文件，启动flask。启动速度还是很快的！

本地地址 http://127.0.0.1:5000/

整体页面展示效果还是挺好的

我们问一些电影知识的问题，电影AI助手会进行回答，然后数据自动存储到sql数据库中的chat_logs表。
比如：“十面埋伏的评分是多少？”
电影AI助手返回回答结果

输出结果也会打印至控制台：

数据库中的表数据也是自动添加。

项目整体的代码逻辑和页面效果都是很不错的！也方便了一些小伙伴的云平台部署和开发。

最后总结一下本文章基于电影问答系统的主要特征是知识图谱，系统依赖一个或多个领域的实体，并基于图谱进行推理或演绎，深度回答用户的问题，更擅长回答知识性问题，与基于模板的聊天机器人有所不同的是它更直接、直观的给用户答案。本项目问答系统没有复杂的算法，一般采用模板匹配的方式寻找匹配度最高的答案，可以直接给出答案。经过测试本问答系统能回答的问题有很多，基于问句中存在的关键词回答效果表现很好。做出来的基于电影知识问答系统能够根据用户提出的问题很好的进行解答。做出来的问答系统还是很Nice的。

我还写了另一篇关于大数据知识图谱项目——基于知识图谱+flask的大数据医疗知识问答系统（超详细讲解及源码）的文章，感兴趣的可以去学习，附链接：
https://blog.csdn.net/Myx74270512/article/details/129147862?spm=1001.2014.3001.5502

这里只是简要介绍一下项目的部署和一些细节部分，具体详细内容和部署细节在开发文档里面，各位有兴趣的小伙伴可以私信我要详细的项目开发文档、完整项目源码和其它相关资料。

最近在进行机器学习算法方面的系统研究，后面有时间和精力也会分享更多关于大数据领域方面的优质内容，喜欢的小伙伴可以点赞关注收藏，写博客不易，感谢各位的喜欢与支持！

欢迎各位小伙伴的来访，有需要的都可以私信我！