高并发短视频系统设计：架构、存储与性能优化全解

1. 系统概况与需求分析

1.1 短视频系统简介

当前短视频行业的快速发展，加上用户对高清、流畅观看体验的需求不断提升，对系统的并发处理能力、视频处理速度、存储效率等多方面都提出了极高的要求。那么，我们首先需要了解一个完整的短视频系统应该具备哪些核心模块。

短视频系统主要包含以下几个核心模块：

  • 视频上传与处理
  • 视频内容分发与存储
  • 用户互动与评论
  • 视频搜索与推荐

1.2 用户需求及估算

要设计一个能够支持三千万用户同时在线看视频的系统，最重要的是对用户需求进行精确估算和分析。以下是常见的一些需求指标：

  • 并发观看用户数
  • 单个用户的视频上传频率
  • 单视频的平均大小与时长
  • 每日新增视频量
  • 视频存储时长

假设我们有以下具体需求：

  • 3000万并发用户
  • 每个用户平均每周上传1个视频
  • 视频平均大小为50MB，时长为3分钟
  • 每天新增视频10万
  • 所有视频至少存储6个月

1.3 高并发性挑战

高并发场景下主要面临的挑战包括：

  • 视频上传及处理的并发性
  • 大量并发视频播放请求的处理
  • 视频存储的容量及性能瓶颈
  • 数据的高可用性及一致性
  • 网络带宽与流量管理

2. 核心系统架构设计

2.1 架构概览

在设计支持三千万用户短视频系统的过程中，必须把系统分成不同的模块，以便更好地应对各个模块的功能需求、性能要求以及可能的故障隔离。下图展示了整个系统的高层次架构。

file

  1. 用户层：系统的直接访问者，包括移动端、PC端等。
  2. 前端网关层：主要负责请求的接收与转发，包括服务器负载均衡、API认证等。
  3. 应用服务层：包括视频上传、处理、搜索、播放等核心功能。
  4. 数据与存储层：包括视频的存储、用户数据的管理等。

2.2 视频上传流程

2.2.1 视频上传微服务

视频上传是整个短视频系统的起点，设计高效、可靠的视频上传机制尤其重要。整个上传流程如下：

  1. 用户将视频文件上传至前端服务器。
  2. 前端服务器将视频文件传到视频上传服务。
  3. 上传服务对视频文件做初步校验（文件完整性、格式等）。
  4. 校验通过后，上传服务将视频临时存储并写入消息队列进行后续处理。
@RestController
@RequestMapping("/api/upload")
public class VideoUploadController {
    
    @Autowired
    private VideoUploadService uploadService;

    @PostMapping("/video")
    public ResponseEntity<String> uploadVideo(@RequestParam("file") MultipartFile file) {
        // 视频文件校验
        if (file.isEmpty()) {
            return ResponseEntity.status(HttpStatus.BAD_REQUEST).body("Empty file");
        }
        try {
            uploadService.upload(file);
            return ResponseEntity.status(HttpStatus.OK).body("Upload successful");
        } catch (Exception e) {
            return ResponseEntity.status(HttpStatus.INTERNAL_SERVER_ERROR).body(e.getMessage());
        }
    }
}

2.2.2 消息队列机制

我们使用消息队列来保证视频处理的高效、可靠性，典型的实现包括Kafka或RabbitMQ：

@Service
public class VideoUploadService {

    @Autowired
    private MessageQueueClient messageQueueClient;
    
    public void upload(MultipartFile file) throws IOException {
        String tempFilePath = "/tmp/" + file.getOriginalFilename();
        File tempFile = new File(tempFilePath);
        file.transferTo(tempFile);
        // 将文件路径及元数据写入消息队列
        messageQueueClient.sendMessage(new VideoFileUploadMessage(tempFilePath));
    }
}

2.2.3 内容处理流程

内容处理主要包括视频转码、封面图生成、内容审核与存储等。

  1. 转码：将原始视频文件转码成不同流畅度、清晰度的版本。
  2. 封面图生成：从视频中提取关键帧生成封面图。
  3. 审核：内容合规性审核。
  4. 存储：处理后的视频文件和相关数据存储至分布式文件系统。

2.3 视频播放流程

2.3.1 视频搜索引擎

为了提升用户的观看体验，快速和准确的视频搜索非常重要。

@RestController
@RequestMapping("/api/search")
public class VideoSearchController {
    
    @Autowired
    private VideoSearchService searchService;

    @GetMapping("/video")
    public ResponseEntity<List<Video>> searchVideos(@RequestParam("query") String query) {
        List<Video> videos = searchService.search(query);
        return ResponseEntity.status(HttpStatus.OK).body(videos);
    }
}

@Service
public class VideoSearchService {

    @Autowired
    private ElasticSearchClient elasticSearchClient;

    public List<Video> search(String query) {
        // 基于ElasticSearch的搜索操作
        return elasticSearchClient.search(query);
    }
}

2.3.2 视频流传输协议

支持大量用户并发播放的视频系统通常采用 HTTP Live Streaming（HLS）或者动态自适应流媒体（DASH）。这些协议可以根据网络状况动态调整视频流的质量。

3. 视频存储设计

3.1 存储需求分析

面对三千万级并发用户的视频系统，视频存储设计必须满足以下需求：

  1. 容量要求：每天10万新增视频，每个视频50MB。
  2. 访问性能：高效的视频上传与播放访问。
  3. 高可用性：确保视频的高可用性并提供数据冗余机制。

3.2 海量视频文件存储技术方案

高效、安全、稳定存储海量视频文件是系统设计的关键。我们采用 Hadoop 分布式文件系统（HDFS）作为视频存储的主要解决方案。

3.2.1 HDFS 方案详解

HDFS 具有高容错性、扩展性、处理大数据集的性能优势。文件写入HDFS后会被分成若干块，并且每块都会有多个副本存储在不同的节点上，从而保证数据的安全和可用性。

file

3.2.1.1 文件上传与读取过程
  1. 上传过程：
    • 客户端将文件划分成块。
    • NameNode 确定每块的存储节点。
    • 块按顺序写入指定的 DataNode。
public class HDFSClient {
    private FileSystem fileSystem;

    public HDFSClient() throws IOException {
        Configuration configuration = new Configuration();
        fileSystem = FileSystem.get(new URI("hdfs://namenode:9000"), configuration);
    }

    public void uploadFile(String localFilePath, String hdfsPath) throws IOException {
        FSDataOutputStream outputStream = fileSystem.create(new Path(hdfsPath));
        FileInputStream inputStream = new FileInputStream(localFilePath);
        IOUtils.copy(inputStream, outputStream);
        IOUtils.closeQuietly(inputStream);
        IOUtils.closeQuietly(outputStream);
    }

    public void downloadFile(String hdfsPath, String localFilePath) throws IOException {
        FSDataInputStream inputStream = fileSystem.open(new Path(hdfsPath));
        FileOutputStream outputStream = new FileOutputStream(localFilePath);
        IOUtils.copy(inputStream, outputStream);
        IOUtils.closeQuietly(inputStream);
        IOUtils.closeQuietly(outputStream);
    }
}
  1. 读取过程：
    • 客户端查询 NameNode 获取块的位置。
    • 客户端从 DataNode 读取相应的块数据。
3.2.1.2 HDFS 文件合并存储

为了进一步优化大规模小文件存储的问题，我们可以采用 HDFS 文件合并存储策略。

public class HDFSFileMerger {
    private FileSystem fileSystem;

    public HDFSFileMerger() throws IOException {
        Configuration configuration = new Configuration();
        fileSystem = FileSystem.get(new URI("hdfs://namenode:9000"), configuration);
    }

    public void mergeFiles(String srcDir, String destFile) throws IOException {
        Path srcPath = new Path(srcDir);
        Path destPath = new Path(destFile);
        FileUtil.copyMerge(fileSystem, srcPath, fileSystem, destPath, false, 
                          new Configuration(), null);
    }
}

3.3 数据高可用设计

为了确保数据的高可用性，设计数据冗余及容灾机制是至关重要的。

  1. 多副本存储：HDFS 默认的多副本机制可以保证在任意一个节点故障时，数据能够从其他副本节点读取。
  2. 跨数据中心容灾：将副本分布在不同的数据中心，即使某一个数据中心发生灾害，数据依然可以从其他数据中心读取。

4. 性能优化与带宽管理

4.1 性能优化原理

面对高并发的短视频播放需求，性能优化是系统设计的关键。以下是常见的优化原理：

  1. 缓存机制：通过引入缓存层如Redis，减少数据库的直接访问，降低响应时间。
  2. 异步处理：将耗时操作（如视频转码、上传等）转为异步处理，提高系统的响应速度。
  3. 分布式架构：通过分布式系统架构提高系统扩展性和性能。
// 引入缓存机制
@Service
public class VideoService {

    @Autowired
    private RedisTemplate<String, Object> redisTemplate;

    @Autowired
    private VideoRepository videoRepository;

    public Video getVideo(String videoId) {
        // 优先从缓存中获取
        Video video = (Video) redisTemplate.opsForValue().get(videoId);
        if (video == null) {
            // 缓存失效，数据库查询并缓存结果
            video = videoRepository.findById(videoId).orElse(null);
            if (video != null) {
                redisTemplate.opsForValue().set(videoId, video);
            }
        }
        return video;
    }
}

// 异步处理示例
@Async
public Future<String> processVideo(String videoPath) {
    // 执行视频处理逻辑
    // ...
    return new AsyncResult<>("Success");
}

4.2 CDN 部署与利用

内容分发网络（CDN）在提升视频播放性能方面至关重要。CDN 将视频内容分发到靠近用户的边缘节点，减少传输延迟，提高用户体验。

  1. CDN 原理：

    • 视频内容首先上传到源站。
    • 源站会将视频内容推送到不同的CDN节点。
    • 用户请求视频时，CDN会自动将用户请求路由到离用户最近的节点。

  2. CDN 部署：

    • 选择一个合适的 CDN 服务提供商（如 Cloudflare、Akamai、阿里云CDN等）。
    • 将视频源站配置到 CDN 服务提供商。
    • 配置域名解析，将用户请求导向CDN节点。

4.3 系统带宽管理策略

面对三千万用户同时在线观看，需要有效的带宽管理策略以避免过载现象。以下方法可以帮助有效管理带宽：

  1. 限流机制：
    • 定义用户带宽上限，防止某些用户占用过多带宽。
    • 针对不同用户组（如免费用户和付费用户）设定不同的带宽策略。
// 带宽限流示例
@Service
public class BandwidthLimiter {

    private final RateLimiter rateLimiter = RateLimiter.create(1000.0);  // 每秒1000次请求
    
    public void execute(Runnable action) {
        if (rateLimiter.tryAcquire()) {
            action.run();
        } else {
            throw new BandwidthLimitedException("Bandwidth limit exceeded");
        }
    }
}
  1. 动态调整视频质量：
    • 根据用户当前网络情况动态调整视频质量（通常称为ABR，自适应码率）。
    • 用户网络带宽较低时，降低视频质量以减少带宽消耗；网络带宽较高时，提供高清画质。
// 动态调整视频质量示例（伪码）
class ABRManager {
    int currentQuality;
    
    public void adjustQuality(int networkBandwidth) {
        if (networkBandwidth < 500) {
            currentQuality = LOW;
        } else if (networkBandwidth < 1000) {
            currentQuality = MEDIUM;
        } else {
            currentQuality = HIGH;
        }
    }
}

5. 缩略图生成及推荐系统设计

5.1 缩略图的重要性

在短视频平台中，缩略图是视频内容展示的关键，它直接影响用户的点击率与观看率。优质的缩略图能够显著提高用户的观看兴趣。

5.2 缩略图生成流程

缩略图生成通常在视频上传和处理阶段进行，主要流程如下：

  1. 视频上传完毕后，将视频传到处理服务进行编码与截图。
  2. 提取视频中的关键帧生成缩略图。
  3. 将生成的缩略图存储到对象存储系统 (如AWS S3, 阿里云OSS等)。
@Service
public class ThumbnailService {

    private static final String THUMBNAIL_DIR = "/thumbnails/";

    public void generateThumbnail(String videoPath) throws IOException {
        // 调用FFmpeg生成缩略图
        String thumbnailPath = THUMBNAIL_DIR + new File(videoPath).getName() + ".jpg";
        String command = String.format("ffmpeg -i %s -ss 00:00:01.000 -vframes 1 %s", videoPath, thumbnailPath);
        Process process = Runtime.getRuntime().exec(command);
        try {
            process.waitFor();
        } catch (InterruptedException e) {
            Thread.currentThread().interrupt();
        }
    }
    
    public void uploadThumbnailToOSS(String localPath, String ossPath) {
        // 使用OSS客户端上传缩略图至对象存储
        OSSClient ossClient = new OSSClient(endpoint, accessKeyId, accessKeySecret);
        try {
            ossClient.putObject(bucketName, ossPath, new File(localPath));
        } finally {
            ossClient.shutdown();
        }
    }
}

5.3 缩略图推荐系统

为了向用户推荐感兴趣的内容，系统需要一个强大的推荐算法。推荐系统可以分为实时推荐和离线推荐两类。

5.3.1 实时推荐

实时推荐通常基于用户的实时行为和兴趣，如用户点击记录、观看历史等，快速生成个性化的推荐内容。

@Service
public class RealTimeRecommendationService {

    @Autowired
    private UserActivityRepository userActivityRepository;

    @Autowired
    private VideoRepository videoRepository;

    public List<Video> recommendVideos(String userId) {
        // 获取用户的实时活动数据
        List<String> userActivities = userActivityRepository.findRecentActivities(userId);
        // 基于用户活动数据进行推荐算法(简化示例，仅作为伪码)
        List<Video> recommendedVideos = videoRepository.findRecommended(userActivities);
        return recommendedVideos;
    }
}

5.3.2 离线机器学习优化

离线推荐系统通过机器学习模型（如协同过滤、内容推荐等），以批处理的方式从大数据中总结出推荐规则，并定期更新推荐结果。

// 离线推荐伪码示例
class OfflineRecommendationModel {

    public void trainModel(List<UserData> userData) {
        // 训练推荐模型
    }

    public List<Video> recommend(String userId) {
        // 根据训练好的模型和用户数据进行推荐
        return new ArrayList<>();
    }

    public void updateModelPeriodically() {
        // 定期更新模型
        ScheduledExecutorService executor = Executors.newScheduledThreadPool(1);
        executor.scheduleAtFixedRate(() -> {
            List<UserData> allUserData = fetchDataFromDB();
            trainModel(allUserData);
        }, 0, 1, TimeUnit.DAYS);
    }
}

6. 总结与思考

6.1 设计要点总结

在本文中，我们详细介绍了如何设计一个支持三千万用户同时在线看视频的短视频系统，重点包括以下几个方面：

  1. 系统概况与需求分析：

    • 理解短视频系统的核心模块。
    • 精确估算用户需求，面对高并发的挑战。

  2. 核心系统架构设计：

    • 搭建基础架构，实现视频上传、播放、搜索等核心功能。
    • 采用消息队列和分布式系统实现高效的并发处理。

  3. 视频存储设计：

    • 采用HDFS分布式文件系统存储海量视频文件。
    • 设计数据高可用机制，确保数据安全性和一致性。

  4. 性能优化与带宽管理：

    • 通过缓存、异步处理、CDN和限流机制，提升系统性能和稳定性。
    • 使用动态调整视频质量的方法，合理管理系统带宽。

  5. 缩略图生成及推荐系统设计：

    • 生成高质量缩略图，提升用户点击率。
    • 设计实时和离线推荐系统，提供个性化视频推荐。

6.2 未来可能的优化方向

尽管目前设计的系统已经能够支持大量并发用户的需求，但在未来，随着技术的发展和用户需求的变化，系统仍有进一步优化的空间：

  1. 视频处理的AI应用：

    • 视频内容的智能审核及分类。
    • 利用AI生成更优质的缩略图。

  2. 更高效的分布式存储：

    • 研究并应用最新的分布式存储技术，如Ceph、Alluxio等。
    • 提升视频存储的读写性能和扩展性。

  3. 增强用户隐私和数据保护：

    • 实施更严格的数据访问控制和加密存储策略。
    • 符合最新的数据隐私法规（如GDPR）的合规性设计。

  4. 智能网络优化：

    • 采用5G网络技术和边缘计算，实现更低延迟和更高带宽的视频传输。
    • 引入智能传输协议，提高视频流的抗弱网络环境能力。

  5. 用户互动和UGC（用户生成内容）：

    • 增强用户之间的互动功能，提升社区活跃度。
    • 优化UGC内容的审核和推荐机制，增加平台运营的活力。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/681921.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

美国年轻人热衷床上“摆烂”，沃尔玛发掘床上用品新商机！

美国年轻人热衷床上“摆烂”，沃尔玛发掘床上用品新商机！

美国年轻人近年来热衷于床上“摆烂”生活方式&#xff0c;这反映了他们对舒适放松的追求和现代生活的压力。沃尔玛作为零售业巨头&#xff0c;敏锐地捕捉到这一市场变化&#xff0c;发现了床上用品的新商机。 美国年轻人忙碌中渴望宁静空间。床成为他们放松、逃离现实压力的理想…
阅读更多...
十二、配置注解执行SQL

十二、配置注解执行SQL

简化一下流程&#xff0c;主要可以分为下面几步&#xff1a; 1.解析配置&#xff0c;写入配置项 2.执行SQL 3.封装结果 通过注解配置SQL主要体现在解析部分&#xff0c;这部分要分别做解析XML还是配置注解的接口&#xff0c;拿到sql以后&#xff0c;select的处理和insert/upda…
阅读更多...
【C++】手动模拟String底层与深浅拷贝

【C++】手动模拟String底层与深浅拷贝

在string类&#xff1a;版本、组件、构造、操作及应用和 C中string的一些超常用函数 (附习题)这两篇文章中我们已经了解到了string&#xff0c;现在让我们再来手动实现模拟一下吧~ 模拟实现string是为了更好的理解string函数的使用和深浅拷贝方面的知识~ 总体整理了两张思维导…
阅读更多...
深度学习——TensorBoard的使用

深度学习——TensorBoard的使用

官方文档torch.utils.tensorboard — PyTorch 2.3 documentation TensorBoard简介 TensorBoard是一个可视化工具&#xff0c;它可以用来展示网络图、张量的指标变化、张量的分布情况等。特别是在训练网络的时候&#xff0c;我们可以设置不同的参数&#xff08;比如&#xff1…
阅读更多...
本轮牛市新趋势，跟随The First捕捉牛市Alpha

本轮牛市新趋势，跟随The First捕捉牛市Alpha

与以往牛市“百花齐放”的繁荣景象相比&#xff0c;本轮牛市颇具独特走势&#xff0c;呈现出了资金集中度高、财富聚集效应小的特点&#xff0c;绝大部分加密资产甚至跑不赢BTC的涨幅幅度。而以往大放色彩的公链币价值币的走势&#xff0c;甚至比不过牛尾才爆发的MEME币。这使得…
阅读更多...
Python03：python代码初体验2

Python03：python代码初体验2

1、变量命名规范 1&#xff09;字母&#xff08;Unicode字符&#xff09;、数字、下划线&#xff0c;不能使用特殊字符&#xff0c;数字不能开头 2&#xff09;变量名是区分大小写的&#xff08;大小写敏感&#xff0c;x和X是两个不同的变量名&#xff09; 3&#xff09;不能使…
阅读更多...
centos安装部署Mysql8详细教程

centos安装部署Mysql8详细教程

文章目录 一、下载安装1.下载2.安装 二、常见问题1.You must reset your password using ALTER USER statement before executing this statement2.IP is not allowed to connect to this mysql 结尾 提示&#xff1a;以下是本篇文章正文内容&#xff0c;下面案例可供参考 一、…
阅读更多...
文件批量改名工具软件NO.104

文件批量改名工具软件NO.104

该工具基于 .Net 7.0 X86 编写&#xff0c;所以运行该软件就需要安装对应的环境&#xff0c;如果你在使用的时候弹出如上图所示的提示&#xff0c;就直接点击“是”前往官网下载吧 软件主要分为两块&#xff0c;上面是文件名规则&#xff0c;用于设置文件名&#xff1b;下方是文…
阅读更多...
常见的Web漏洞——CORS

常见的Web漏洞——CORS

渗透做了多年的朋友都知道&#xff0c;大洞小洞都是漏洞。因此也学习、沉淀一下以前没重视的漏洞。 简介 CORS&#xff08;Cross-Origin Resource Sharing&#xff0c;跨源资源共享&#xff09;是一种由Web浏览器实现的安全策略&#xff0c;用于控制一个Web页面&#xff08;服…
阅读更多...
vs2019 c++20 规范的头文件 ＜future＞ 源码注释和几个结论

vs2019 c++20 规范的头文件 ＜future＞ 源码注释和几个结论

&#xff08;1 探讨一&#xff09;在多线程中&#xff0c;需要线程返回值的可以用该头文件中的类。该头文件中模板类和模板函数定义很多&#xff0c;用一幅图给出模板类之间的关系&#xff0c;方便从整体上把握和记忆&#xff1a; &#xff08;2&#xff09;
阅读更多...
618数码好物推荐！精选便宜又实用的数码产品推荐！

618数码好物推荐！精选便宜又实用的数码产品推荐！

着618购物盛宴的脚步日益临近&#xff0c;你是否已经锁定了心仪的宝贝&#xff1f;那些曾让你心动不已的数码产品&#xff0c;现在正是以最低价收入囊中的绝佳时机。618不仅是一场购物狂欢&#xff0c;更是各大电商平台竞相推出优惠政策的盛宴。为了满足大家的需求&#xff0c;…
阅读更多...
右键Open with VSCode打开Vue3项目

右键Open with VSCode打开Vue3项目

之前看到一些同事能够对项目根目录进行右键打开项目到 Microsoft VS Code &#xff0c;当时觉得挺不错的&#xff0c;于是乎今天自己折腾了一遍。 目录 1、创建vue3项目 2、更改注册表 # 打开注册表编辑器&#xff08;Registry Editor&#xff09; # 导航到以下注册表路径 …
阅读更多...
宜选影票api接口如何申请密钥和授权呢？

宜选影票api接口如何申请密钥和授权呢？

宜选影票API接口的密钥申请和授权过程一般包括以下步骤&#xff0c;以下将按照清晰的格式分点表示和归纳相关信息&#xff1a; 注册开发者账号&#xff1a; 前往宜选影票的官方网站或开发者平台。注册一个开发者账号&#xff0c;填写必要的个人信息和联系方式。申请API访问权限…
阅读更多...
使用apifox进行并发测试

使用apifox进行并发测试

1.普通的接口测试就不说了&#xff0c;非常简单 2.自动化测试
阅读更多...
＜网络安全＞《88 国内主要企业网络安全公司概览（四）》

＜网络安全＞《88 国内主要企业网络安全公司概览（四）》

9 杭州迪普科技股份有限公司&#xff08;简称联软科技&#xff09; 信息内容LOGO成立日期创始于2008年总部浙江省杭州市滨江区月明路595号迪普科技18楼背景民营企业是否上市300768注册资本64,382.9039万主要产品网络安全数据安全交换机简介安全大数据处理引擎与AI智能分析引擎…
阅读更多...
webgl_decals

webgl_decals

ThreeJS 官方案例学习&#xff08;webgl_decals&#xff09; 1.效果图 2.源码 <template><div><div id"container"></div></div> </template> <script> // 光线投射相关代码 https://threejs.org/docs/index.html#api/z…
阅读更多...
电路方案分析（十九）快速响应过流事件检测电路

电路方案分析（十九）快速响应过流事件检测电路

快速响应过流事件检测电路 1.设计需求2.设计方案3.设计说明4.仿真验证 tips&#xff1a;方案参考来自TI参考设计&#xff0c;仅供学习交流使用。 1.设计需求 2.设计方案 这是一种快速响应单向电流检测解决方案&#xff0c;通常称为过流保护 (OCP)&#xff0c;可提供 < 2μ…
阅读更多...
安徽某高校数据挖掘作业6

安徽某高校数据挖掘作业6

1 根据附件中year文件&#xff0c;编辑Python程序绘制年销售总额分布条形图和年净利润分布条形图&#xff0c;附Python程序和图像。 2 根据附件中quarter和quarter_b文件&#xff0c;编辑Python程序绘制2018—2020年销售额和净利润折线图&#xff0c;附Python程序和图像。 3 …
阅读更多...
全志D1s软件入门之Tina Linux烧写教程

全志D1s软件入门之Tina Linux烧写教程

烧写 Tina Linux 烧写&#xff0c;即将编译打包好的固件下载到设备 烧写方式简介 全志平台为开发者提供了多种多样的烧写方式和烧写工具&#xff1a; &#xff08;1&#xff09; PhoenixSuit&#xff1a;基于Windows的系统的烧写工具&#xff0c;是最常用的烧写工具&#x…
阅读更多...
【AI大模型】Transformers大模型库（一）：Tokenizer

【AI大模型】Transformers大模型库（一）：Tokenizer

目录 一、引言 二、Tokenizer 2.1 概述 2.2 主要功能 2.3 代码示例 三、总结 一、引言 这里的Transformers指的是huggingface开发的大模型库&#xff0c;为huggingface上数以万计的预训练大模型提供预测、训练等服务。 &#x1f917; Transformers 提供了数以千计的预训…
阅读更多...
最新文章

Copyright @ 2022~2023