Elasticsearch：如何创建搜索引擎

作者：Jessica Taylor

搜索引擎是生活中我们认为理所当然的事情之一。每当我们寻找某些东西时，我们都会将一个单词或短语放入搜索引擎，就像魔术一样，它会为我们提供一个匹配结果列表。现在可能感觉不那么神奇了，因为这是我们每天都在做的事情。但任何记得 Alta Vista 时代的人都应该明白我们现在的情况有多好。

当我说 “搜索引擎” 时，很容易想到流行的网络搜索引擎，例如 Google 以及在较小程度上上的 Bing。但搜索引擎的应用远远超出了搜索网络的范围。 Uber 和 Tinder 等热门应用程序包含强大的搜索引擎，可利用其平台独有的地理位置和其他特征将用户与司机和日期进行匹配。这对于流媒体应用程序、学术网站甚至内部网来说都是一样的。事实上，如果你查看任何主要网站的导航栏，你很可能会看到一个搜索栏，可以帮助你从该特定网站找到你需要的内容。

搜索引擎的潜在用例数量巨大，这可能就是你阅读本文的原因。也许你是一名开发人员，希望构建你的第一个搜索引擎。或者你可能意识到搜索通过检索增强生成来增强生成式 AI 体验，并且想了解更多信息。为了使这尽可能简单，我们将本指南分为三个部分：

搜索引擎的定义和概念
创建你自己的搜索引擎
使用 Elastic® 轻松构建搜索引擎

读完本文后，你将掌握使用 Web 服务器、数据摄取和索引构建第一个搜索引擎所需的所有知识，并由 Elastic 的搜索平台提供支持。

搜索引擎的定义和概念

将搜索引擎视为图书管理员，帮助你找到所需的信息。你告诉他们你要解决的问题或你要回答的问题，图书管理员可以向你推荐最有可能对你有帮助的书籍和资源。他们可能并不总是能做对，但这比盲目地翻阅书籍以期获得幸运要有效得多。

搜索引擎由四个主要组件组成：网络服务器、数据摄取、索引和结果页面。在构建搜索引擎之前，了解它们各自的作用非常重要。

网络服务器

如果搜索引擎是图书馆员，那么网络服务器就是图书馆本身。你可以在此处存储向用户返回有意义的结果所需的所有数据。这些 Web 服务器通常基于云，因为它们为你提供了可扩展性、可访问性、安全性和性能。对于网络搜索引擎来说，这将是跨不同网站的 HTML 页面、图像、视频和其他资产的位置。对于社交媒体网站，这将是该平台上内容所需的标题、描述、元数据和其他信息。

数据摄取

就像图书馆需要整理和收集不同的书籍一样，搜索引擎需要从某个地方收集数据。这就是为什么数据摄取是构建搜索引擎如此重要的一部分。对于网络搜索引擎，此数据摄取是使用网络爬虫完成的。爬虫使用复杂的算法来扫描网站并识别内容是什么以及在哪里可以找到内容。

通过 API 与其他服务集成是另一种类型的数据摄取。这些集成使你可以选择数据的来源，从而使你的搜索引擎能够更好地查找特定数据。例如，如果你正在构建视频搜索引擎，你可能希望显示来自多个提供商（例如 YouTube、Netflix 和 Disney+）的结果。

同样，你可以使用连接器从一个或多个数据源引入信息。这些通常是预构建的模块或代码片段，可用于连接到特定的数据库、应用程序或 API。它们为你提供了足够的灵活性，而无需将你的范围扩大得太远。

索引

就像在图书馆一样，你需要有一个内容索引，否则将不可能知道所有内容在哪里。索引通过组织和存储数据源中的信息来实现此目的，以确保可以有效地检索这些信息。为了让你的搜索引擎正常工作，它需要能够快速识别、排名和提供内容。

因为你可能尝试对大量数据建立索引，所以不能简单地从源逐字复制该索引。相反，索引需要处理这些内容，将其分解为关键元素，例如：

关键词：页面上找到的单词和短语
嵌入：表示文本数据的多维向量
元数据：标题、描述和页面中嵌入的其他结构化数据
内容分析：了解页面的主题、实体和整体含义
反向链接：来自其他网站的指向内容的链接

搜索引擎结果页面 (search enginer results pages - SERP)

这个难题的最后一部分实际上是向用户显示搜索结果。搜索引擎结果页面承担了你在服务器、数据摄取和索引方面所做的所有艰苦工作，最终形成一个有用结果列表供用户选择。

其外观因搜索引擎而异，但你可能会在 SERP 上有标题、链接、描述和某种分页。你可能还拥有更高级的过滤和分面，因此用户可以根据常用参数轻松优化结果。但重要的是结果会清晰显示，因此很容易找到最佳、最相关的选择。

你的搜索相关性很重要，因为它可以通过向用户展示你了解他们的意图来培养信任，并确保他们走在正确的道路上。这最终引导他们无缝地获取他们想要的信息 —— 这种结合可以建立忠诚度并促进持久的参与。

使用 Elastic 创建你自己的搜索引擎

现在你已经更好地了解了搜索引擎的关键组件，让我们深入了解构建你自己的搜索引擎的过程以及你可能面临的挑战。

首先，你需要考虑搜索引擎的规模。瞄准明星并尝试建立新的谷歌可能很诱人。但抓取数十亿个网页需要大量的基础设施和计算能力，更不用说存储所有数据的能力了。

在开始构建之前，你还应该牢记你现有的知识和技能。你对数据源了解得越多，就越容易将其用于搜索引擎。同样，尝试坚持使用你已经有经验的技术堆栈。如果你精通 Python，请考虑使用它来构建你的搜索引擎。

第 1 步：定义你的搜索要求

构建搜索引擎的第一步是确定搜索引擎要解决的问题。这个决定将影响你要构建的所有其他内容，从数据源到索引，再到显示结果的方式。因此，请考虑一下你正在为谁构建搜索引擎，并问自己以下问题：

他们为什么要寻找这些信息/内容？
你需要了解哪些信息才能确定某件事是否相关？
你将如何决定哪些结果比其他结果更好？
你将如何呈现结果以使其尽可能有用？

一旦回答了这些问题，你将能够更好地在整个构建过程中做出关键决策 - 从使用哪些数据源到是否应该在搜索引擎结果页面上显示图像。你心中的这些答案越清晰，你就越能满足用户的需求和期望。

第 2 步：抓取网络以提取数据

一旦你知道搜索引擎的要求是什么，下一步就是获取你需要的数据。如果你计划使用集成或连接器，则需要访问这些源并确保你可以在需要索引时访问数据。如果数据源属于你，那么这应该不成问题。但请记住，任何外部数据源都会带来一些风险。数据源的所有者可以随时撤销访问权限或对数据进行更改，这可能会导致出现一些问题。你可以安排数据刷新来解决此问题，但如果数据的结构或体系结构发生更改，仍然可能会导致问题。

如果你要创建网络搜索引擎，则需要使用网络爬虫来获取要索引的数据。这所需的时间完全取决于你的搜索引擎的范围。理论上，你可以构建自己的爬虫，但这需要大量工作。相反，使用现有工具（例如 Elastic 网络爬虫）会更快、更容易。这将扫描你喜欢的任何网站，并且你可以安排自动重新爬网，以便你的搜索引擎始终保持最新。