基于人工智能技术的《量化投资AI系统》集群架构设计与实现

98f451e1d8224aa5a4d372be6570e7fe.png

乔总:您好!

前些日子你我的共同朋友潘总,推荐您来聊聊将ChatGPT应用于量化投资的合作。在与您及您的团队进行了超过2个多小时的沟通后,恕我直言,不客气地说,感觉您的团队对人工智能技术几乎是空白。为了让您的团队对人工智能技术有一个更真实的了解,而不是“人云亦云”,特意将一些人工智能的真实信息写成技术型文章,作为对您的回复。作为普通的科学工作者和一个纯粹的程序员,历来说话直来直去,其中有冒昧之处请谅解。

本文中的很多内容仅仅是扼要介绍,如需详情,再叙。

 

一、真实的人工智能

1.1 人工智能的派别与简史

人工智能技术发展了几十年,实际上至今(2023年)从未取得突破性的进展,其根本原因是计算机器的“存算不均衡”。目前的计算机技术过渡依赖于“算”,而导致无法获得实质性突破。笔者对于“存算均衡”有过人的思考与想法,以后有机会再叙。本文主要关注于如何将人工智能技术应用于“量化投资”领域,并力求取得实际效果。

人工智能技术分为“逻辑派”与“经验派”。这两个派别自AI诞生起,就存在。专家系统是典型的逻辑派。ChatGPT是典型的经验派。逻辑派认为人类智能主要体现于知识与逻辑推理,因而期望构造严格的规则与逻辑关系来重现人类的智能。经验派则基于数据统计,认为人类的智能主要是训练出来的,只要有足够的数据,训练即可重现人类的智能。在ChatGPT等诞生之前的很多年,就已经出现过不少经验派的产品,但大多波澜不惊。

以美国IBM为首的逻辑派,长时间在医疗领域进行艰苦的尝试,最终以失败告一个段落(不是告终)。以互联网企业为主的经验派,在天生的大数据环境下,自然而然地进行了经验派的新尝试,创造出了轰动一时的ChatGPT这样的大玩具,是“大力出奇迹”的典型代表。

经验派的产品,基于统计学原理,在声、光(图片、照片、视频)、电等确定性物理数据范围内,是可以取得不错的应用效果的。但在基于文化、知识、情感等等非统计学范畴,甚至人自身都无法良好管控的领域,是无法取得实质性进步的。ChatGPT对于预测更是毫无价值。

经验派之所以短暂的成功在于其充分利用了唾手可得的大数据,而经验派目前之所以无法再前进一步也是有因为囹圄于大数据。ChatGPT已经走入死胡同了。

 

1.2 飞蛾扑火

国内的大模型无非更是在浪费资金与时间,因为:(1)算法就那么一个;无论怎么改进,无非是装修工程;(2)数据集也都差不多。无非是互联网数据(国内+国外)。

最要命的是,做过大数据的人都知道,互联网数据的质量实际上极其低下,千万分之一的数据可能才是有价值的,其他都是凑数而已。100T的数据,经过清洗,真正有用的不过GB级别。有些大模型号称是自有数据,比如医疗。然而,事实是,这些数据不是完整的“数据链”,没有证据也没有技术手段保证这些数据的可信。总之,就是一个“凑数”。没有好的数据,谈何训练?谈何推理?

飞蛾扑火一般地投入ChatGPT热潮的无非是机会主义者。

马上2024年了,现在还在跟风ChatGPT者,智商和前途都堪忧。

 

1.3 杞人忧天

参加过几次的人工智能会议,有不少学者(一般都不是数学、计算机方面的),唾沫横飞地谈论AI的风险、伦理等等。这个就是古人“杞人忧天”的重现。在ChatGPT等等的智能都达不到受精卵的程度,没有什么可以担心的。而且,事实是,这样的担心,在AI历史上,被假学者们炒作无数次了。

炒作风险与伦理者,无非是蹭热度写文章谋取不当之名利而已。

 

1.4 未来属于逻辑派

逻辑派是人工智能的唯一希望。

当然不是目前意义的专家系统级别的逻辑产品。以经验派产品为工具,对数据进行清洗与标注,提高知识到规则的自动转换效率是逻辑派未来的主要发展思路。

您是量化投资的翘楚,咱们就以量化投资为例,来简单描绘未来的人工智能系统在量化投资领域的应用前景和实现途径。

咱们先叙述几个事实:

(1)统计学是基于过去的数据;是过去式;是预测未来的基础;是辅助,不是核心;

(2)投资策略是人的智能;是日积月累的真智能;是预测未来的核心内容;

(3)但一个人的智能有限,如何快速、方便地集成团队成员的智能是主要挑战;

(4)投资策略不是万能的,精确无误的推理反而是不能的;基于模糊逻辑的推理是其中的内核;

可见,如果咱们能够获得国家、行业、企业的大量历史数据,进行基于统计学、NLP的数据清洗与预分析,结合数据与团队智能,就可以进行良好的投资策略计算。

 

二、量化投资的大数据与大数据应用

 

2.1 数据来源

量化投资依赖于各种各样的大数据。包括但不限于:

2.1.1 宏观数据

(1)全球及主要经济体 经济(总)数据;

(2)全球及主要经济体 金融市场数据;

(3)全球及主要经济体 大宗交易数据;

(4)全球及主要经济体 能源/交通——数据;

(5)全球及主要经济体 生产力数据;

(6)相关舆情数据;

2.1.2 实时数据

(1)金融市场数据;

(2)大宗交易数据;

(3)其他数据;

 

2.2 数据加工

各分系统获得的数据,无法直接用于决策与投资策略的计算;必须经过各种方式与算法的清洗与分析。

2.2.1 数据清洗

(1)金融数据 清洗;

(2)工业数据 清洗;

(3)舆情数据 清洗;

2.2.2 数据分析

(1)主资金 流向分析;

(2)模型 提取与分析;

(3)金融大模型 训练;

(4)工业大模型 训练;

(5)投资规则 人机互补库;

 

三、量化投资与人工智能

量化投资的人工智能应用主要有:

(1)投资策略 智能推理;

(2)长期投资 辅助决策;

(3)短期投资 辅助决策;

(4)实时投资 辅助决策

 

四、量化投资AI系统的集群架构

 

4.1 团队架构

人工智能项目中,人的智能人工智能(算法)要重要千万倍,因此请务必在人员架构方面舍得投资。

量化投资AI系统的核心成员有:

(1)有经验的量化投资顾问或实操专家;

(2)指定投资策略数据分析、标注的专家;

(3)基于逻辑推理的人工智能系统专家;

(4)大数据清洗专家;

 

4.2 系统架构

量化投资AI系统的核心包括大数据系统与AI系统。

大数据系统需要按集群设计,获取与清洗是重头;基于逻辑与推理的AI系统,无需大数据的训练,负担较轻;实时投资系统对网络与系统性能要求极高,另外给您提供资料。

系统架构的示意图在文章开头,可供参考。

 

4.3 系统预算

数据获取、清洗需要较多的服务器与网络带宽;其他的费用不算太多。

一般而言,这样的系统固定资产投资额在 5000-10000 万之间,每年的费用在1000万左右。

以上价格非常宽泛,仅供参考。

 

联高软件

2023.12

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/236388.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【基于大数据的人肥胖程度预测分析与可控策略】

基于大数据的人肥胖程度预测分析与可控策略 前言数据获取与清洗数据挖掘与分类建模1. K-means聚类2. 层次聚类3. DBSCAN4. 分类建模 数据可视化模型肥胖程度预测分析与可控策略结语 前言 随着现代生活方式的改变,肥胖问题逐渐成为全球性的健康挑战。为了更好地理解…

Nginx rewrite 参数

目录 常用的Nginx 正则表达式 rewrite 和 location的区别 location location 大致分三类: location 常用的匹配规则: location 优先级: rewrite rewrite跳转实现 rewrite 执行顺序如下 语法格式 flag标记说明 rewrite实际操作 基…

hdlbits系列verilog解答(Ringer)-55

文章目录 一、问题描述二、verilog源码三、仿真结果 一、问题描述 本次我们设计一个电路以实现对手机铃声和振动的控制。当工作在振动模式时,开启振动,否则开启铃声。 尝试只使用assign语句,测试一下你是否能将描述转化成数字逻辑电路。 二…

微信商家收款码扣多少手续费

很多人想申请低手续费率的收款码不知从何下手,在参考了大量博客教学之后,终于搞懂了详细流程以及注意事项。在此记录一下。我申请的是一个只需要0.2%费率的微信收款码,申请时间是2022年2月12日。申请之前只需要准备营业执照和法人身份z&#…

成都工业学院Web技术基础(WEB)实验八:BOM、DOM基本操作

写在前面 1、基于2022级计算机大类实验指导书 2、代码仅提供参考,前端变化比较大,按照要求,只能做到像,不能做到一模一样 3、图片和文字仅为示例,需要自行替换 4、如果代码不满足你的要求,请寻求其他的…

Java集合进阶

目录 集合体系结构 Collection集合 List集合 ArrayList集合 LinkedList集合 集合体系结构 注意:有序:存进去的数组和取出来时一样 而不是大小的那种有序 Collection集合 单列集合顶层接口Collection import java.util.ArrayList; import java.util.Collection;public cl…

SAP UI5 walkthrough step1 hello word

这里我用的VS Studio 来进行本地化学习 关于SAP UI5是啥,我就不再赘述了,另外还有VS Studio 的安装,请提前做好准备 下面我们直接进入正文 1.首先在你的本地新建一个文件夹,此处我命名为:walkthrough 2.在VS中打开…

中文语音标注工具FunASR(语音识别)

全称 A Fundamental End-to-End Speech Recognition Toolkit(一个语音识别工具) 可能大家用过whisper(openAi),它【标注英语的确很完美】,【但中文会出现标注错误】或搞了个没说的词替换上去,所…

Pico VR眼镜(XR) Unity开发环境部署及打包教程

创建项目 我这里选择的是URP项目。URP对移动端性能比较友好,另外VR平台也不支持HDRP渲染管线。 然后进入unity工具栏->File -> Build Settings 点击 Android后,点就Switch Platform将项目转为Android项目 安装依赖包 在unity的工具栏中点击Wi…

10天玩转Python第1天:python基础知识与常用开发工具全面详解

这里写自定义目录标题 1.课程之前1.1 课程介绍1.2 今日内容1.3 Python 介绍[了解]1.4 语言的分类 2 Python 环境配置2.1 Python 解释器的安装2.2 pycharm 的配置安装2.3 路径的选择(建议) 3 使用 pycharm 书写代码3.1 双击打开 pycharm 软件3.2 创建新 项目3.3 配置项目的路径和…

展望2024年供应链安全

2023年是开展供应链安全,尤其是开源治理如火如荼的一年,开源治理是供应链安全最重要的一个方面,所以我们从开源治理谈起。我们先回顾一下2023的开源治理情况。我们从信通院《2023年中国企业开源治理全景观察》发布的信息。信通院调研了来自七…

【BUG】微信小程序image不会随着url动态变化

问题描述: 第一次打开界面,显示的是默认头像而不是用户头像,似乎image里面的src只要第一次有值就不会再更新了 解决 不要给src里面的变量设置初始值,而是直接赋空值

ABeam Recruiting | ABeam旗下德硕管理咨询(深圳)最新社招岗位信息

ABeam Recruiting 职等你来 POSITION 招聘岗位 1 SAP项目经理 (FICO/PP/MM/SD模块背景) 职责描述 1.PD&Management:负责项目PD和落地实施管理 2.Business:熟悉了解业务需求、判断并合理地将业务需求转化成信息技术需求…

upload-labs

01 随便上传个文件 发现对于上传类型有限制 查看页面代码发现是js的过滤直接关闭js 上传成功 右键图片在新建标签页打开文件 这里直接抓包改名字也行 02 抓包修改后缀名 03 发现后端做了检测抓包修改失败 大小写绕过失败,php特性php1等会被当成php执行 这里图片的…

MeterSphere实战(一)

MeterSphere是一位朋友讲到的测试平台,说这东西是开源的,因为我是做测试的,很乐意了解一些新鲜事物。在我看来,测试就是要专注一些领域,然后要啥都会一点点,接着融会贯通起来,这样就可以万变不离…

解决Error:You‘re using an RSA key with SHA-1, which is no longer allowed

一、问题 在微信开发者工具中,推送代码时发生错误Error:You‘re using an RSA key with SHA-1, which is no longer allowed...... 奇怪的是命令行可以正常push: 原因:因为生成密钥的RSA算法,由于安全性原因,现在已经不允许使用…

【unity】【WebRTC】从0开始创建一个Unity远程媒体流app-构建可同步场景

【背景】 最近在研究远程画面,所以就实践了一下。技术采用我认为比较合适的WebRTC。 这篇文章的基础是我的另一篇博文,如果希望顺利完成本篇操作,请先关注我后查询我的如下博文: 【WebRTC】【Unity】Unity Web RTC1-Unity中简单实…

【网络安全】CTF入门教程(非常详细)从零基础入门到进阶,看这一篇就够了!

一、CTF简介 CTF(Capture The Flag)中文一般译作夺旗赛,在网络安全领域中指的是网络安全技术人员之间进行技术竞技的一种比赛形式。CTF起源于1996年DEFCON全球黑客大会,以代替之前黑客们通过互相发起真实攻击进行技术比拼的方式。…

Vue3+Antd实现弹框显示内容并加入复制按钮

使用Vue3antd实现点击弹框出现内容并可复制内容的功能&#xff1a; HTML部分&#xff1a; <a-button type"primary" click"showModel">打开弹框 </a-button><!-- ok 是弹框中确定按钮的操作&#xff0c;cancel 是弹框中取消按钮的操作 --…

【网络安全】网络设备可能面临哪些攻击?

网络设备通常是网络基础设施的核心&#xff0c;并控制着整个网络的通信和安全&#xff0c;同样面临着各种各样的攻击威胁。 对网络设备的攻击一旦成功&#xff0c;并进行暴力破坏&#xff0c;将会导致网络服务不可用&#xff0c;且可以对网络流量进行控制&#xff0c;利用被攻陷…