DolphinDB 与南方科技大学联合授课啦!

11月1日,南方科技大学商学院和 DolphinDB 联合举办了高校课程讲座。讲座由南方科技大学商学院高级研究学者冯鹏举主持,DolphinDB 创始人兼 CEO 周小华博士、某百亿私募数据平台架构师潜蛟老师进行精彩演讲。

Part 1 : 大数据时代下数据库架构革新与生态建设

潜蛟老师首先登台,向同学们介绍了大数据系统架构以及 DolphinDB 生态在大数据时代的应用。潜蛟老师详细介绍了国内大数据架构的发展历程,阐述了从数据采集到搭建数据仓库再到数据中心的完整过程。其中,实时数据采集与离线数据处理是大数据架构中不可或缺的环节。他提到,早期的数据处理主要依赖于批处理方式,数据被集中存储后,再进行定时分析和处理。这种方式虽然简单,但无法满足实时数据处理的需求。随着技术的发展,流式计算逐渐兴起,流式计算架构不断演进。

图片

Lambda 架构包含两个处理层:批处理层流处理层,分别处理历史数据和实时数据,然后再合并结果。但这种架构较为复杂,要求两个处理层保持一致且维护两套代码逻辑。Kappa 架构则是一种应对大数据实时处理的变种架构。它将所有的数据处理看成是数据流的处理,即使是历史数据,也可以重新流入系统进行实时计算。这样一来,架构更加简洁,数据处理逻辑也更加统一。后来,流式计算架构又衍生出流批一体、Dataflow 模型以及实时数仓等形式,进一步优化数据处理过程。

介绍完大数据系统架构的发展历程和现状后,潜蛟老师又分析了现代化数据库技术发展的前沿趋势。目前,现代数据库正逐渐向分布式架构发展,以适应 PB 级别的数据存储和处理需求。时序数据库日益受到金融、物联网和工业生产领域的关注,该模型实现的一大关键是可以进行统一的权限管理。同时,对多类型数据的查询和处理需求使多模数据库成为未来一大发展趋势,它能丰富数据源并将数据更好地整合在一起。

在谈到现代化数据库的选型时,潜蛟老师认为 DolphinDB 是现代化数据库的一大典型代表。“DolphinDB 自主研发了分布式架构,底层采用 C++ 进行优化,在海量数据的存储和计算上有着极致性能。”他还提到,“在最近的版本更新中,DolphinDB 增加了单点登录和多集群管理功能,完善了统一权限管理。TSDB、OLAP、VectorDB、TextDB 等存储引擎的推出也拓展了 DolphinDB 可处理的数据类型。”

DolphinDB 的丰富生态也能在大数据时代得到广泛应用,如建设数据中心、实时数据平台、分析与计算中心等。潜蛟老师指出:“ DolphinDB 开发了大量优质插件,同时也与主流的开源插件适配,打造了完善的生态。由于 DolphinDB 已经构建了许多通用的 C++ 框架,拥有一定研发水平的团队完全可以在 DolphinDB 基础上进一步扩展插件,满足多样化的业务需求。”

Part 2 : DolphinDB 中高频量化交易的探索与实践

随后,周小华博士为同学们带来了主题为“从数据分析到实时计算:中高频量化交易的探索与实践”的精彩演讲。

图片

周博士开场谈到,量化机构在挖掘因子时,会像挖矿一样,从原始数据中提取因子。在量化流程中,随着高频数据的采集和 AI 深度学习方法的运用,会涉及上千个甚至上万个因子,但真正使用的可能只有几个。如今,市场成熟度不断提升,获取 Alpha 收益的难度逐年加剧,业界正持续聚焦于“如何高效地存储、分析海量数据,并迅速挖掘新的有效因子”这一热点议题。

之后,周博士剖析了传统方案在数据存储、分析及实时计算上的挑战,并展示了如何利用 DolphinDB 实现流批一体化的中高频因子开发。在因子开发中,回测是很重要的一环。为了给用户带来更好的回测体验,DolphinDB 开发了集数据回放、模拟撮合引擎、回测引擎于一体的回测框架。

图片

讲座尾声,周博士与大家探讨了交易系统构建和 AI 应用的前沿技术。他详细介绍了 DolphinDB 的一系列强大功能,包括因子开发管理平台、实时曲线拟合引擎、实时估值定价引擎,以及 CPU-GPU 异构计算平台 Shark 等。同学们积极与周博士互动,现场气氛活跃。

DolphinDB 与南方科技大学商学院联合课程开启

《量化投资》课程由南方科技大学商学院与 DolphinDB 合作开发并联合授课。此课程针对本科和研究生开设,旨在探索量化投资的核心理念及其实际应用,内容涵盖量化策略与算法交易、金融数据处理(如 Wind、彭博、Tushare)、市场有效性假说、多因子模型及其在资产定价和组合优化中的应用、Barra模型、风险控制模型,以及量化软件DolphinDB 的使用。

DolphinDB 的课程内容覆盖了从软件部署到中高阶使用的完整实践,具体包括软件安装、数据处理与数据库入门,初、中、高级的多因子构建与回测知识多因子组合优化等策略实战内容。本次课程的学习和实践,能提升同学们在金融市场中的应用能力和实践技能。成绩优异的同学将有机会通过 DolphinDB 技能认证考试,并获得在 DolphinDB 和知名金融机构实习与就业的机会。

DolphinDB 高校合作计划

DolphinDB 高校合作计划旨在通过产学研协同创新、人才共育等多种形式,致力于将 DolphinDB 引入高校,共同培养具备国际视野、创新精神和实践能力的高素质金融科技人才。合作内容包括讲座、课程开发、人才实训及联合研究等,为学生提供丰富的学习资源、实习机会及研究课题。

目前,DolphinDB 已与多所知名高校开展合作,包括上海交通大学安泰经济与管理学院、上海交通大学高级金融学院、浙江大学经济学院、中国科学技术大学管理学院、上海财经大学实验中心、南方科技大学商学院、复旦大学等。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/913139.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

IDM扩展添加到Edge浏览器

IDM扩展添加到Edge浏览器 一般情况下,当安装IDM软件后,该软件将会自动将IDM Integration Module浏览器扩展安装到Edge浏览器上,但在某些情况下,需要我们手动安装,以下为手动安装步骤 手动安装IDM扩展到Edge浏览器 打…

403 Request Entity Too Lager(请求体太大啦)

昨天收到 QA 的生产报障,说是测试环境的附件上传功能报了 403 的错误,错误信息:403 Request Entity Too Lager。我尝试复现问题,发现传个几兆的文件都费劲啊,一传一个失败。不用说,项目用到 ng 代理&#x…

HARCT 2025 新增分论坛2:机器人系统智能控制

会议名称:机电液一体化与先进机器人控制技术国际会议 会议简称:HARCT 2025 大会时间:2025年1月3日-6日 大会地点:中国桂林 主办单位:桂林航天工业学院、广西大学、桂林电子科技大学、桂林理工大学 协办单位&#…

网络世界中的侦察兵----ICMP

前言 学习了IP协议后,都知道IP协议本身是不提供可靠性保障的,那么数据包在这么复杂的互联网环境中传输,总会遇到问题,如果遇到问题后,被丢弃、无回应,可能作为工程师的我们来说都不知道发生了什么事&#…

从0开始学习机器学习--Day21--算法的评估标准

准确率和召回率(precision and recall) 在上一章我们提到了在每次运行算法时通过返回一个实数值来判断算法的好坏,但是我们该如何构建这个实数的计算公式呢,毕竟这关乎于我们对算法的判断,不能过于夸大或贬低。有一个典型的会被影响的很大例…

集群架构中Lua脚本的限制以及出现的报错

🚀 博主介绍:大家好,我是无休居士!一枚任职于一线Top3互联网大厂的Java开发工程师! 🚀 🌟 在这里,你将找到通往Java技术大门的钥匙。作为一个爱敲代码技术人,我不仅热衷…

快速傅里叶变换(FFT)基础(附python实现)

对于非专业人士,傅里叶变换一直是一个神秘的武器,它可以分析出不同频域的信息,从时域转换到频域,揭示了信号的频率成分,对于数字信号处理(DSP)、图像、语音等数据来说,傅里叶变换是最…

python数据结构操作与可视化的应用

Python具有丰富的数据结构操作和可视化库,可以进行各种数据结构的创建、编辑和分析,并将结果可视化。以下是几个常见的Python数据结构操作和可视化的应用示例: 1. 列表(List)操作和可视化: - 创建列表&a…

DataFrame

目录 一、创建DataFrame二、Sql语法三、DSL语法四、RDD与DataFrame互相转换 一、创建DataFrame 在SparkSql中SparkSession是创建DataFrame和执行Sql的入口,创建DataFrame有三种方式: 通过Spark的数据源进行创建 从一个存在的RDD进行转换 从Hive Tabl…

C# 实现对指定句柄的窗口进行键盘输入的实现

在C#中实现对指定句柄的窗口进行键盘操作,可以通过多种方式来实现。以下是一篇详细的指南,介绍如何在C#中实现这一功能。 1. 使用Windows API函数 在C#中,我们可以通过P/Invoke调用Windows API来实现对指定窗口的键盘操作。以下是一些关键的…

GitHub个人主页美化

效果展示 展示为静态效果,动态效果请查看我的GitHub页面 创建GitHub仓库 创建与GitHub用户名相同的仓库,当仓库名与用户名相同时,此仓库会被视作特殊仓库,其README.md(自述文件)会展示在GitHub个人主页…

2024-09-01 - 分布式集群网关 - LoadBalancer - 阿里篇 - 流雨声

摘要 通过公有云部署创建类似 MateLB 的应用负载,可以更加方便的对系统资源进行合理规划。 应用实践 CCM提供Kubernetes与阿里云基础产品(例如CLB、VPC等)对接的能力,支持在同一个CLB后端挂载集群内节点和集群外服务器&#xf…

【销帮帮-注册_登录安全分析报告-试用页面存在安全隐患】

联通支付注册/登录安全分析报告 前言 由于网站注册入口容易被黑客攻击,存在如下安全问题: 暴力破解密码,造成用户信息泄露短信盗刷的安全问题,影响业务及导致用户投诉带来经济损失,尤其是后付费客户,风险巨…

初识Linux · 匿名管道

目录 前言: 匿名管道 理解为什么? 理解是什么? 理解怎么做? 前言: 引入管道之前,我们引入几个问题,进程通信的相关问题。 第一个是进程之间为什么要通信,对于进程间通信来说&…

Linux(CentOS)设置防火墙开放8080端口,运行jar包,接收请求

1、查看防火墙状态 systemctl status firewalld 防火墙开启状态 2、运行 jar 包,使用8080端口 程序正常启动 3、使用 postman 发送请求,失败 4、检查端口是否开放(需更换到 root 用户) firewall-cmd --zonepublic --query-por…

window11安装elasticsearch+Kibana

1、下载elasticsearch与elasticsearch 下载elasticsearch 查看elasticsearch对应的Kibana版本 下载elasticsearch解压后文件目录如下 可执行脚本文件,包括启动elasticsearch服务、插件管理、函数命令等 bin配置文件目录,如elasticsearch配置、角色配置、jvm配置等 conf 默认…

[单例模式]

[设计模式] 设计模式是软件工程中的一种常见做法, 它可以理解为"模板", 是针对一些常见的特定场景, 给出的一些比较好的固定的解决方案. 不同语言适用的设计模式是不一样的. 这里我们接下来要谈到的是java中典型的设计模式. 而且由于设计模式比较适合有一定编程经…

MethodChannel插件的用法

文章目录 1 知识回顾2 示例代码3 经验总结我们在上一章回中介绍了通道相关的内容,本章回中将介绍其中的一种通道:MethodChannnel.闲话休提,让我们一起Talk Flutter吧。 1 知识回顾 我们在上一章回中介绍了通道的概念和作用,并且提到了通道有不同的类型,本章回将其中一种通…

Golang | Leetcode Golang题解之第554题砖墙

题目: 题解: func leastBricks(wall [][]int) int {cnt : map[int]int{}for _, widths : range wall {sum : 0for _, width : range widths[:len(widths)-1] {sum widthcnt[sum]}}maxCnt : 0for _, c : range cnt {if c > maxCnt {maxCnt c}}retur…

通讯录(C 语言)

目录 一、通讯录设计思路1. 伪代码设计思路2. 代码设计思路 二、代码实现三、程序运行演示四、整体分析 一、通讯录设计思路 1. 伪代码设计思路 通讯录可以用来存储 100 个人的信息,每个人的信息包括:姓名、性别、年龄、电话、住址。 提供方法&#x…