Flink安装和Flink CDC实现数据同步

 一，Flink 和Flink CDC

1， Flink

Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。

中文文档 Apache Flink Documentation | Apache Flink

官方文档 ：https://flink.apache.org
Flink 中文社区视频课程：https://github.com/flink-china/flink-training-course
Flink 中文社区 ：https://www.slidestalk.com/FlinkChina
ververica 教程 ：https://training.ververica.com/
ververica 教程中文文档:https://ci.apache.org/projects/flink/flink-docs-master/zh/
源码：https://github.com/apache/flink
Flink 知识图谱 https://developer.aliyun.com/article/744741

2，Flink CDC

CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC 。

目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。CDC 技术的应用场景非常广泛：

  •  数据迁移：常用于数据库备份、容灾等；
  •  数据分发：将一个数据源分发给多个下游，常用于业务解耦、微服务；
  •  数据采集：将分散异构的数据源集成到数据仓库中，消除数据孤岛，便于后续的分析。

目前业界主流的 CDC 实现机制可以分为两种：

2.1 基于查询的 CDC

  • 离线调度查询作业，批处理。依赖表中的更新时间字段，每次执行查询去获取表中最新的数据；
  • 无法捕获删除事件，从而无法保证数据一致性；
  • 无法保障实时性，基于离线调度存在天然的延迟。

2.2 基于日志的 CDC

  • 实时消费日志，流处理。例如 MySQL 的 binlog 日志完整记录了数据库中的变更，可以把binlog 文件当作流的数据源；
  • 保障数据一致性，因为 binlog 文件包含了所有历史变更明细；
  • 保障实时性，因为类似 binlog 的日志文件是可以流式消费的，提供的是实时数据。

2.3 主流CDC技术对比

1) DataX 不支持增量同步，Canal 不支持全量同步。虽然两者都是非常流行的数据同步工具，但在场景支持上仍不完善。

2) 在全量+增量一体化同步方面，只有 Flink CDC、Debezium、Oracle Goldengate 支持较好。

3) 在架构方面，Apache Flink 是一个非常优秀的分布式流处理框架，因此 Flink CDC 作为Apache Flink 的一个组件具有非常灵活的水平扩展能力。而 DataX 和 Canal 是个单机架构，在大数据场景下容易面临性能瓶颈的问题。

4) 在数据加工的能力上，CDC 工具是否能够方便地对数据做一些清洗、过滤、聚合，甚至关联打宽。Flink CDC 依托强大的 Flink SQL 流式计算能力，可以非常方便地对数据进行加工。而Debezium 等则需要通过复杂的 Java 代码才能完成，使用门槛比较高。

5) 另外，在生态方面，这里指的是上下游存储的支持。Flink CDC 上下游非常丰富，支持对接MySQL、PostgreSQL 等数据源，还支持写入到 TiDB、HBase、Kafka、Hudi 等各种存储系统中，也支持灵活的自定义 connector。

二，安装Flink

1，为了运行Flink，只需提前安装好 Java 11或以上版本

java -version

2，下载Flink

下载地址：Index of /dist/flinkicon-default.png?t=O83Ahttps://archive.apache.org/dist/flink

可以找到你要安装的版本

wget https://archive.apache.org/dist/flink/flink-1.19.1/flink-1.19.1-bin-scala_2.12.tgz

3，解压

 tar -xzf flink-1.19.1-bin-scala_2.12.tgz

4，进入到flink-1.19.1目录，启动集群

./bin/start-cluster.sh

5，如果想访问WebUI，可以看下面

【问题解决】Flink在linux上运行成功但是无法访问webUI界面_flink web ui的ip访问-CSDN博客

6，停止集群

./bin/stop-cluster.sh

三，运行Flink示例

在examples目录下有很多示例，可以试着运行

1，运行单词统计示例

./bin/flink run examples/streaming/WordCount.jar

进入到log目录，查看日志

tail -f flink-root-taskexecutor-0-rocky8-template.out

四，运行Flink CDC示例

1，通过编写sql脚本来实现同步数据

SET execution.checkpointing.interval = 5s;

drop table if exists  order_01;
CREATE TABLE order_01 (
  id INT NOT NULL,
  `order_id`  VARCHAR,
  amount VARCHAR,
  remark VARCHAR,
  PRIMARY KEY (`id`) NOT ENFORCED
 ) WITH (
    'connector' = 'mysql-cdc',
    'hostname' = 'x.x.x.x',
    'port' = '3306',
    'username' = 'root',
    'password' = 'p4ssword',
    'database-name' = 'account',
    'server-time-zone' = 'UTC',
    'table-name' = 'order_01'
 );

drop table if exists  order_02;
CREATE TABLE order_02 (
  id INT NOT NULL,
  `order_id`  VARCHAR,
  amount VARCHAR,
  remark VARCHAR,
  PRIMARY KEY (`id`) NOT ENFORCED
 ) WITH (
    'connector' = 'jdbc',
    'url' = 'jdbc:mysql://x.x.x.x:3306/account?useSSL=false&allowPublicKeyRetrieval=true&serverTimezone=UTC',
    'username' = 'root',
    'password' = 'p4ssword',
    'table-name' = 'order_02',
    'driver' = 'com.mysql.cj.jdbc.Driver',
    'scan.fetch-size' = '200'
 );

INSERT INTO order_02
SELECT id,order_id,amount,remark
FROM order_01;

编写以上脚本，命名为flinkCdc2Mysql.sql，上传到flink的sql目录下，这里的sql是我新建的，你可以自己指定。

需要下载flink-connecter和flink-sql-connector包

下载地址：Central Repository: com/ververica

 通过以下命令执行

./bin/sql-client.sh -f ./sql/flinkCdc2Mysql.sql

就可以完成数据从order_01表同步到order_02表。

2， 编写Java类，编译成jar，执行jar来实现数据同步

AccountVoucherSumaryDWSSQL类
package com.xxx.demo

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;

/**
 * @date 2024/10/31 下午3:57
 */
public class AccountVoucherSumaryDWSSQL {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(3);
        env.enableCheckpointing(5000);

        final StreamTableEnvironment tEnv = StreamTableEnvironment.create(env);
        tEnv.executeSql("CREATE DATABASE IF NOT EXISTS account");

        // 动态表，此为source表
        tEnv.executeSql("CREATE TABLE account.order_01 (\n" +
            "    id                           INT,\n" +
            "    order_id                     VARCHAR,\n" +
            "    amount                       VARCHAR,\n" +
            "    remark                       VARCHAR,\n" +
            "    PRIMARY KEY (id) NOT ENFORCED\n" +
            ") WITH (\n" +
            "  'connector' = 'mysql-cdc',\n" +
            "  'hostname' = 'x.x.x.x',\n" +
            "  'port' = '3306',\n" +
            "  'username' = 'root',\n" +
            "  'password' = 'p4ssword',\n" +
            "  'database-name' = 'account',\n" +
            "  'table-name' = 'order_01',\n" +
            "  'server-time-zone' = 'UTC',\n" +
            "  'scan.incremental.snapshot.enabled' = 'false'\n" +
            ")");

        // 动态表，此为sink表。sink表和source表的connector不一样
        tEnv.executeSql("CREATE TABLE account.order_02 (\n" +
            "    id                           INT,\n" +
            "    order_id                     VARCHAR,\n" +
            "    amount                       VARCHAR,\n" +
            "    remark                       VARCHAR,\n" +
            "    PRIMARY KEY (id) NOT ENFORCED\n" +
            ") WITH (\n" +
            "  'connector' = 'jdbc',\n" +
            "  'url' = 'jdbc:mysql://x.x.x.x:3306/account?useSSL=false&allowPublicKeyRetrieval=true&connectionTimeZone=UTC',\n" +
            "  'username' = 'root',\n" +
            "  'password' = 'p4ssword',\n" +
            "  'table-name' = 'order_02',\n" +
            "  'sink.buffer-flush.max-rows' = '1',\n" +
            "  'sink.buffer-flush.interval' = '1s',\n" +
            "  'sink.max-retries' = '3' \n"+
            ")");

        tEnv.executeSql("INSERT INTO account.order_02 (id, order_id, amount, remark)\n" +
            " select t1.id,\n" +
            "       t1.order_id,\n" +
            "       t1.amount,\n" +
            "       t1.remark\n" +
            " from account.order_01 t1 \n");

        env.execute();
    }
}

pom文件
 

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.xxx.demo</groupId>
    <artifactId>FlinkDemo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <scala.version>2.12</scala.version>
        <java.version>8</java.version>
        <flink.version>1.19.1</flink.version>
        <fastjson.version>1.2.62</fastjson.version>
        <hadoop.version>2.8.3</hadoop.version>
        <scope.mode>compile</scope.mode>
        <slf4j.version>1.7.30</slf4j.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-api-scala-bridge_${scala.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-api-java-bridge</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-api-java</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner_${scala.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_${scala.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-files</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-csv</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-jdbc</artifactId>
            <version>3.2.0-1.19</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka</artifactId>
            <version>3.2.0-1.19</version>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>${fastjson.version}</version>
        </dependency>
        <!-- Add log dependencies when debugging locally -->
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>${slf4j.version}</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>${slf4j.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-runtime-web</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>com.google.code.gson</groupId>
            <artifactId>gson</artifactId>
            <version>2.8.7</version>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.26</version>
            <scope>compile</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-runtime</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- Test dependencies -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-test-utils</artifactId>
            <version>${flink.version}</version>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.26</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-statebackend-rocksdb</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.doris</groupId>
            <artifactId>flink-doris-connector-1.15</artifactId>
            <version>1.2.1</version>
        </dependency>
        <dependency>
            <groupId>com.ververica</groupId>
            <artifactId>flink-connector-mysql-cdc</artifactId>
            <version>3.0.1</version>
        </dependency>
    </dependencies>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.8.1</version>
                <configuration>
                    <source>8</source>
                    <target>8</target>
                </configuration>
            </plugin>

            <!-- 打fatjar配置 -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>3.3.0</version>
                <configuration>
                    <archive>
                        <manifest>
                            <!--这里指定要运行的main类-->
                            <mainClass>com.xxx.demo.AccountVoucherSumaryDWSSQL</mainClass>
                        </manifest>
                    </archive>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id> <!-- 此处指定继承合并 -->
                        <phase>package</phase> <!-- 绑定到打包阶段 -->
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

</project>

完成之后，通过maven来打包。

上传包到flink下examples目录下，这里也新建一个目录CDC

通过以下命令来运行

./bin/flink run examples/cdc/FlinkDemo-1.0-SNAPSHOT-jar-with-dependencies.jar

上面两种运行方式运行之后，都可以去Flink的Web页面查看到运行的任务。

五，小结

上面只是搭建了Flink，并运行了示例项目，初步体验了一下Flink的功能，还完全到不了实际项目中运用的程度。后续会一步步去探索Flink在项目中应用的技巧。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/912688.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

有什么初学算法的书籍推荐？

有什么初学算法的书籍推荐？

对于初学算法的读者&#xff0c;以下是一些值得推荐的书籍&#xff1a; 1、算法超简单&#xff1a;趣味游戏带你轻松入门与实践 作者&#xff1a;童晶 著 推荐理由&#xff1a;本书把趣味游戏应用于算法教学&#xff0c;提升读者的学习兴趣&#xff0c;并通过可视化的图解和动…
阅读更多...
【数据结构】堆和二叉树（2）

【数据结构】堆和二叉树（2）

文章目录 前言一、建堆和堆排序1.堆排序 二、二叉树链式结构的实现1.二叉树的遍历 三、链式二叉树的功能函数1.二叉树结点个数2.二叉树叶子结点个数3.二叉树的高度4.二叉树第k层结点个数5. 二叉树查找值为x的结点6.二叉树销毁 总结 前言 接着上一篇博客&#xff0c;我们继续分…
阅读更多...
Ubuntu24.04网络异常与应对方案记录

Ubuntu24.04网络异常与应对方案记录

PS: 参加过408改卷的ZJU ghsongzju.edu.cn 开启嘲讽: 你们知道408有多简单吗&#xff0c;操作系统真实水平自己知道就行&#xff5e;&#xff5e; Requested credits of master in UWSC30&#xff0c;in ZJU24&#xff0c;domestic master is too simple dmesg dmesg 是一个用…
阅读更多...
就是这个样的粗爆，手搓一个计算器：弧长计算器

就是这个样的粗爆，手搓一个计算器：弧长计算器

作为程序员&#xff0c;没有合适的工具&#xff0c;就得手搓一个&#xff0c;PC端&#xff0c;移动端均可适用。废话不多说&#xff0c;直接上代码。 HTML: <div class"calculator"><label for"radius">圆的半径 (r)&#xff1a;</label&…
阅读更多...
ServletContext介绍

ServletContext介绍

文章目录 1、ServletContext对象介绍1_方法介绍2_用例分析 2、ServletContainerInitializer1_整体结构2_工作原理3_使用案例 3、Spring案例源码分析1_注册DispatcherServlet2_注册配置类3_SpringServletContainerInitializer 4_总结 ServletContext 表示上下文对象&#xff0c;…
阅读更多...
【论文复现】MSA+抑郁症模型总结（三）

【论文复现】MSA+抑郁症模型总结（三）

&#x1f4dd;个人主页&#x1f339;&#xff1a;Eternity._ &#x1f339;&#x1f339;期待您的关注 &#x1f339;&#x1f339; ❀MSA抑郁症模型 热门研究领域&#xff1a;情感计算的横向发展1. 概述2. 论文地址3. 研究背景4. 主要贡献5. 模型结构和代码6. 数据集介绍7. 性…
阅读更多...
使用 Umami 部署博客分析工具

使用 Umami 部署博客分析工具

Umami 简介 Umami 是一款开源且注重隐私的网站分析工具&#xff0c;可替代 Google Analytics。它提供网站流量和用户行为等见解&#xff0c;但不使用 Cookie 或收集个人数据&#xff0c;符合隐私法规。Umami 轻巧易用&#xff0c;可自行托管。 如果你有自己的博客&#xff0c;…
阅读更多...
JAVA笔记 | ResponseBodyEmitter等异步流式接口快速学习

JAVA笔记 | ResponseBodyEmitter等异步流式接口快速学习

先简单记录下简单使用跟测试&#xff0c;后续再补充具体&#xff0c;最近有用到&#xff0c;简单来说就是后端(服务端)编写个发射器&#xff0c;实现一次请求&#xff0c;一直向前端客户端发射数据&#xff0c;直到发射器执行完毕&#xff0c;模拟ai一句一句回复的效果 Respon…
阅读更多...
在IntelliJ IDEA中创建带子模块的SpringBoot工程

在IntelliJ IDEA中创建带子模块的SpringBoot工程

前言 在项目开发中&#xff0c;一个工程往往有若干子工程或模块&#xff0c;所以主工程一般是一个容器&#xff0c;本文介绍在IntelliJ IDEA中创建带多模块的SpringBoot工程的详细步骤。 1、首先打开IntellJ IDEA&#xff08;以下简称IDEA&#xff09;,创建一个新项目。假定新…
阅读更多...
【LeetCode】每日一题 2024_11_9 设计相邻元素求和服务（构造，哈希）

【LeetCode】每日一题 2024_11_9 设计相邻元素求和服务（构造，哈希）

前言 每天和你一起刷 LeetCode 每日一题~ LeetCode 启动&#xff01; 题目&#xff1a;设计相邻元素求和服务 近几天不知道力扣发什么疯&#xff0c;每日一题出的太抽象了&#xff0c;我题解是写不了一点了 . . . 今天稍微正常了些&#xff0c;就又来更新了~ 代码与解题思路…
阅读更多...
如何搭建企业内部知识库？：打造专属智能体，为企业提供高效智能的知识管理

如何搭建企业内部知识库？：打造专属智能体，为企业提供高效智能的知识管理

在当今数据爆炸的时代&#xff0c;虽然AI强大&#xff0c;但常规的AI工具或搜索引擎在面对复杂、专业领域的问题时&#xff0c;可能给出模棱两可的回应&#xff0c;无法满足企业精细化的需求。这就是为什么&#xff0c;企业需要一个专属的AI知识库 —— 它不仅能存储你的数据&a…
阅读更多...
胶囊网络、MobileNet、坐标注意力机制的应用

胶囊网络、MobileNet、坐标注意力机制的应用

文章目录 摘要Abstract1.胶囊网络1.1 动态路由 2.坐标注意力机制3.MobileNet3.1 深度卷积3.2 逐点卷积3.3 深度可分离卷积3.3.1 深度可分离卷积与标准卷积的对比3.3.2 卷积操作的代码实现3.3.2.1 函数原型3.3.2.2 标准卷积3.3.2.3 分组卷积3.3.2.4 深度可分离卷积 3.4 MobileNe…
阅读更多...
一个开源、免费（MIT License）、功能强大、可扩展的电动汽车充电控制器和家庭能源管理系统（带私活源码）

一个开源、免费（MIT License）、功能强大、可扩展的电动汽车充电控制器和家庭能源管理系统（带私活源码）

项目介绍 evcc是一个开源、免费&#xff08;MIT License&#xff09;、功能强大、可扩展的电动汽车充电控制器和家庭能源管理系统&#xff0c;支持广泛的设备和品牌&#xff0c;提供简单的用户界面和强大的功能。 功能特点 用户界面&#xff1a;简单且清晰的用户界面。 充电器…
阅读更多...
Pr 视频过渡：沉浸式视频

Pr 视频过渡：沉浸式视频

效果面板/视频过渡/沉浸式视频 Video Transitions/Immersive Video Adobe Premiere Pro 的视频过渡效果中&#xff0c;沉浸式视频 Immersive Video效果组主要用于 VR 视频剪辑之间的过渡。 自动 VR 属性 Auto VR Properties是所有 VR 视频过渡效果的通用选项。 默认勾选&#x…
阅读更多...
[OpenGL]使用OpenGL实现硬阴影效果

[OpenGL]使用OpenGL实现硬阴影效果

一、简介 本文介绍了如何使用OpenGL实现硬阴影效果&#xff0c;并在最后给出了全部的代码。本文基于[OpenGL]渲染Shadow Map&#xff0c;实现硬阴影的流程如下&#xff1a; 首先&#xff0c;以光源为视角&#xff0c;渲染场景的深度图&#xff0c;将light space中的深度图存储…
阅读更多...
成都睿明智科技有限公司抖音电商服务效果如何？

成都睿明智科技有限公司抖音电商服务效果如何？

在这个短视频风起云涌的时代&#xff0c;抖音电商以其独特的魅力&#xff0c;成为了众多商家竞相追逐的新蓝海。而在这片波澜壮阔的商海中&#xff0c;成都睿明智科技有限公司犹如一艘稳健的航船&#xff0c;引领着无数企业驶向成功的彼岸。今天&#xff0c;就让我们一起揭开成…
阅读更多...
uniapp 实现瀑布流

uniapp 实现瀑布流

效果演示 组件下载 瀑布流布局-waterfall - DCloud 插件市场
阅读更多...
集合进阶(JAVA笔记第二十九期)

集合进阶(JAVA笔记第二十九期)

p.s.这是萌新自己自学总结的笔记&#xff0c;如果想学习得更透彻的话还是请去看大佬的讲解 集合基础看这里 目录 集合体系结构单列集合Collection各个方法的注意事项add()remove()contains() Collection三种遍历方式迭代器遍历增强for遍历lambda表达式遍历匿名内部类遍历 Lis…
阅读更多...
使用LlamaIndex框架构建RAG应用的基础实践指南

使用LlamaIndex框架构建RAG应用的基础实践指南

前言 上一篇文章[检索增强生成 Retrieval-Augmented Generation]介绍了什么是 RAG &#xff0c;并详细对比了和大模型微调方式的区别。 目前实现 RAG 的主流框架就是 [LangChain] 和 [LlamaIndex]&#xff0c;LangChain 更适合需要复杂对话流程、上下文管理、以及多步骤任务的…
阅读更多...
小程序开发进阶之路-AI编程助手

小程序开发进阶之路-AI编程助手

之前&#xff0c;我独自一人开发了一个名为“心情追忆”的小程序&#xff0c;旨在帮助用户记录日常的心情变化及重要时刻。从项目的构思、设计、前端&#xff08;小程序&#xff09;开发、后端搭建到最终部署&#xff0c;所有环节都由我一人包办。经过一个月的努力&#xff0c;…
阅读更多...
最新文章

Copyright @ 2022~2023