【最后203篇系列】001 - 2024回顾

说明

最早在CSDN上写文章有两个目的:

  • 1 自己梳理知识,以备日后查用
  • 2 曾经从别人的文章中得到过帮助,所以也希望能给人帮助

所以在这个过程中,我的文章基本上完全是原创,也非常强调落地与工程化。在不断写作的过程中,我也得到了许多好处,教学相长的感觉。

不过,万事都有个尽头,我给自己一个小目标:1000篇博客。在接下来的1~2年内,我会完成这个目标。

内容,还是以我自己的体会、实践为主,如果有人觉得有用固然好,自己写写也挺享受的。

内容

快到年底了,又是一年。完结篇从一个年度回顾开始吧。

大概围绕:架构、大模型应用、算法与量化展开。

1 架构

我大约是从2020年开始,决定搞这方面的。最初的动力是来自于需求无法被满足。我所设想的算法世界很有趣,但是似乎找不到可以支撑的结构,我碰到的很多项目都是传统项目,过于古老而简陋。

于是我从装机器、装系统、布服务一点点搞,差不多4年时间,我觉得终于可以告一段落了。架构的世界也很大,我不是高手,只是觉得到这里基本结构可以了,我的兴趣还是在算法。

顺着时间线,5月份之前的记忆有点模糊了,忘了搞了什么。

1.1 ClickHouse - 6月

这是一个很棒的列式数据库,非常适合做备份、快速统计等,以前在我的数据库里缺了这一块。

1.2 ORM - 7月

原来我比较排斥ORM,觉得效率不够高。这大概是我过去经常是做块状数据操作,而且交互量也不大的原因。后来突然发现,世界是有两极的,批量操作和单条操作是不可能互相取代的,各有用武之地。

所以我把SQLAlchemy捡了起来,然后做了大量的对接工作:MySQL、Postgres、Clickhouse、SQLite 等一系列的对接,将使用习惯扭转过来。感觉好极了。

之后用MongoEngine 做了和Mongo的对接。

1.3 异步并发 - 8月

因为要调用大模型,所以对线程和协程异步并发也重新拉出来Review,然后算是成熟应用了。踩了一些坑,比如协程最好在脚本里只调一次run之类的。

1.4 Pydantic - 9 月

很早就像对数据的接口做规范。这次终于发现这个宝藏包,挺好的。

1.5 InfluxDB - 10 月

突然发现,我一直少了一块数据库:时序数据库。这次也补上了,未来可以用来做事件的存储分析,特别是量化的数据。

1.6 FastAPI - 10月

之前是有点偷懒的,想着既然掌握了Flask、Tornado 是不是也就够了。后来发现FastAPI还是很有必要的,特别是天然的异步可以结合异步包进行单条的数据库操作。

1.7 Prefect - 11月

在调度这块,我一直是比较缺失的。我基于Celery、FlastAPScheduler等其实已经自研了80%左右,还缺前端。但是Prefect可以更快让我动起来,我还可以借鉴一些成熟的做法,这样也几乎补上了这块短板。

1.8 队列 - 6-11月

前前后后,我尝试了RabbitMQ、Redis Stream、Kafka 三种队列。今年主要把Kafka弄好了,这个的作用比较大。当然,我又发现这几种队列又是没法互相取代的(轻、重队列)。

1.9 MatterMost -12 月

搭建了自己的服务,方便之后使用大模型加持:比如整理知识、自动安排提醒以及消息推送等。

1.10 Milvus 11月

以前做过实验性的,终于在生产上用起了Milvus。

1.11 Neo4j 10月

以前做过实验性的,终于在生产上用起了Neo4j。

1.12 DogPile 11月

开始在生产上用了Cache

其他

还有一些是零零散散做的,比如

  • 1 日志。以前一直没有记日志的习惯,大部分时候是提供一个足够好的无状态服务。
  • 2 Ansible。用于自动化部署。
  • 3 Grafana。用于展示数据。
  • 4 Telegraf。 和InfluxDB搭配的收集和解析指标工具。
  • 5 Logstash。另一个生态ELK下的组件。
  • 6 Nginx。开始用带健康检测的方式实现AB服务的部署。
  • 7 Mysql 升到了8。
  • 8 Mongo升到了8。

除了这些工具性的东西,我还做了大量的与之适配的开发。总之,今年可以说从程序设计、程序调度、IO并发以及存储等多个方面都有了大提升,够我实现一些基础算法能力了。

比较可惜的是,今年还是没有时间 把Dask和Ray搞好,得要2025年了。

2 大模型应用

今年应该算是大模型应用元年。

2.1 智谱时间(3、4月)

早些时候,智谱还是最好的选择。那时候我还手工部署和使用过glm2,glm3,还用自己的显卡实现过一些简单的项目。后来调他们的官方接口也做过一些任务。

2.2 Ollama时间(5、6月)

那时还是以自己搞小模型为主,当时出了Llama2啥的,性能有了提升,但还没太大用。

2.3 LangChain-ChatChat(7月)

虽然还是一个基于小模型的工具,但是从前台到后台,把RAG的东西展示清楚了,也触发了我去搞Agent、Function-Calling的想法。

2.4 DeepSeek(8、9月)

从这里开始是一个分水岭。DeepSeek重新定义了大模型的价格,以及效果。很快还退出了缓存技术,这都是很大的进步,让我们的项目可以以更大的规模去使用大模型。

2.5 豆包(10,11月)

如果说DeepSeek是ToC的,那么豆包就是ToB的。同级别的效果,更大的并发和更低的价格。我们的应用量更大了。

到现在,我们非常明确,大模型对于产品和业务,应该怎么去配合,以及发挥价值。(外在)

对我来说,更重要的还是RAG、Agent和Function-Calling。从现在的评估来看,大模型的能力基本没有问题了,工具也基本查探和准备好了,下一步就可以结合我的工作方式 丰富,并在实际的业务中发挥很大作用。(内在)

大模型白热化竞争以及飞速迭代的背后,让我更加肯定一些模糊的想法。既要顺着主流,把大模型用好 ,当下就产生巨大推力;另外,也要看到未来发展的趋势,有些是必然的,比如机器换人。还有一些是现在主流技术的盲区,但随着大模型的影响力,这些盲区可能会被打开。

总之,现在更专注与加速是最正确的决定。

3 算法

算法是目前我最“亏欠”的一块

我最初是搞算法的,这是我最感兴趣的一块。中间因为建设架构的原因,很大一部分精力都不在算法。然而这才是价值实现的最关键步骤。

我的算法最终目标是模拟+推演。

如果说传统机器学习是基于解析法的,我所要研究的方向就是近似法。在模拟和推演的基础上,可以进行发现,也可以进行博弈。

3.1 实体识别重构(3-5月)

最早有一版实体识别,但是比较早了。后来需要进行迭代,里面的从打标、训练到输出,整个流水线很长。所以我对整个模型的流水线进行了重构。
感觉更多的还是“炒冷饭”,但是为了业务也没办法。

3.2 实体识别及匹配(7-8月)

这个更多是奔着业务去的,但是在这个过程中有方法性的收获。

  • 1 信息角度。向量法对于特别短的文本效果是不好的,这时候熵太大了。所以不能用向量,而是要用类似词袋的方法。所以这是一个两极问题。
  • 2 层次。先模式识别,再模型处理。一个基本的总分结构是要有的。

3.3 开启强化学习(9-10月)

有了一个完整的开始,也完成了一些入门级实验。

  • 1 强化学习的基本概念。
  • 2 QLearning的再次剖析,后续打算以这个为抓手重新切入。

3.4 语义向量的使用(8-11)

这也算是炒冷饭吧,好歹也用上了。效果如预期,不错。

3+个应用点,都是用向量去重。

诶,就是这些。感觉自己都很丢脸,一点深度都没有。明年开始要改变了,期待在未来的4年内,算法再上一个台阶,量化为证。

我大致把算法分为以下几部分:

  • 1 判别算法。包含聚类和分类算法,主要的目的是将数据归为某类,并给出量化的度量。这模拟人类的基础判别逻辑,归纳和演绎。
  • 2 遗传算法。主要的目的是进行探索,找到更合适的解。与之相关的是线性规划,一种更简单的优化方法。
  • 3 推理算法。目前还不明确,但应该是以图为基础的算法。模拟人的链式推理。
  • 4 强化学习。主要目的也是进行探索,但与遗传算法不同,强化学习的目标是更泛化的通用目标,更接近人的学习方式。
  • 5 时间序列模型。特别强调在时间序列上的特征计算与判别,比较有代表性的是HMM的隐含序列。
  • 6 推荐算法。从时间和空间两个大的维度进行推荐。

一些比较明确的想法:

  • 1 LR、GBDT、XGBoost差不多是判别模型的代表。
  • 2 KMeans, DBScan是聚类的代表。
  • 3 图的聚类,或者说子图分割是一个重要的切入点。
  • 4 遗传算法+LR+矩阵计算可以产生很强大的应用,我称为MPLR(Matrix Parralel LR)
  • 5 QLearning可以视为是强化学习的LR。

4 量化

产生了一些新的想法,更新了认知,也有了新的工具准备。

认知1: 中国的股市完全不同于美国股市(但不意味着无价值,只是方法不同)
认识2: 投资债券可能是更好的方式
认知3: 简单技术路子是行不通的,虽然能比一般的固收高,但肯定不划算
认知4: 模式+模型是对的方式
认知5: 先实现成熟的策略,再进行变体,是对的方式

工具1:Numba。极大加速了数值型For循环的效率。
工具2:Pybroker。可以用来进行参照和对比。

我希望明年一月份可以完成V2版的第一次迭代,V1版要准备退出舞台了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/941491.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

隐藏指定文件/文件夹和自动提示功能消失解决方案

一. 隐藏指定文件/文件夹 Idea中隐藏指定文件或指定类型文件 Setting → File Types → Ignored Files and Folders输入要隐藏的文件名,支持*号通配符回车确认添加 二. 自动提示功能消失解决方案 指定SpringBoot配置文件 File → Project Structure → Facets选…

springboot474基于web的垃圾分类回收系统(论文+源码)_kaic

摘 要 如今社会上各行各业,都喜欢用自己行业的专属软件工作,互联网发展到这个时候,人们已经发现离不开了互联网。新技术的产生,往往能解决一些老技术的弊端问题。因为传统垃圾分类回收系统信息管理难度大,容错率低&am…

最优二叉搜索树【东北大学oj数据结构10-4】C++

题面 最优二叉搜索树是由 n 个键和 n1 个虚拟键构造的二叉搜索树,以最小化搜索操作的成本期望值。 给定一个序列 Kk1​,k2​,...,kn​,其中 n 个不同的键按排序顺序 ,我们希望构造一个二叉搜索树。 对于每个关键 ki​,我们有一个…

jsp-servlet开发

STS中开发步骤 建普通jsp项目过程 1.建项目(非Maven项目) new----project----other----Web----Dynamic Web Project 2.下载包放到LIB目录中,如果是Maven项目可以自动导包(pom.xml中设置好) 3.设置工作空间,网页…

easyExcel导出大数据量EXCEL文件,前端实现进度条或者遮罩层

需求:页面点击导出,先按照页面条件去数据库查询,然后将查询到的数据导出。 问题:由于查询特别耗时,所以点击之后页面会看上去没有反应 方案1:就在点击之后在页面增加了一个进度条,等待后端查询…

新版Android Studio 2024.1.2版本,如何通过无线wifi连接手机实现交互

1、首先,先确定手机是否启动了开发者选项 在我的设备 -> 全部参数 -> MIUI版本点击6下 (有的手机是 关于手机 -> 查看手机版本 ) 2、在设置中搜索 开启开发者选项 3、进入开发者选项后,在 调试 中选择 无线调试并选择…

CEF127 编译指南 MacOS 篇 - 编译 CEF(六)

1. 引言 经过前面的准备工作,我们已经完成了所有必要的环境配置。本文将详细介绍如何在 macOS 系统上编译 CEF127。通过正确的编译命令和参数配置,我们将完成 CEF 的构建工作,最终生成可用的二进制文件。 2. 编译前准备 2.1 确认环境变量 …

扩散模型经典问题:在Image-to-Image或Image-to-Video任务中,如何尽可能地保持住原始输入Image的特征?

AIGC算法工程师 面试八股文 2025年版本 在Image-to-Image或Image-to-Video任务中,如何尽可能地保持住原始输入Image的特征?你知道有哪些经典方法?这些方法各有什么优缺点? 目录 经典条件扩散模型 垫图法 Adapter方法 ControlNet方法 UNet中的ReferenceNet DiT中的Re…

0.96寸OLED显示屏详解

我们之前讲了 LCD1602,今天我们将它的进阶模块——OLED。它接线更少,性能更强,也能显示中文和图像了。 大家在学习单片机的时候是否会遇到调试的问题呢?例如 “这串代码我到底运行成功了没有” ,我相信很多刚开始学习…

windows下VSCode配置C++/CMake/Qt开发环境

文章目录 1 windows下vscode配置C/CMake开发环境2 windows下配置qt开发环境(qmakemingw)3 windows下配置qt开发环境(cmakemingwmsvc) 更多精彩内容👉内容导航 👈👉Qt开发经验 👈&…

项目代码第6讲:UpdownController.cs;理解 工艺/工序 流程、机台信息;前端的“历史 警报/工艺 记录”

一、UpdownController.cs 1、前端传入 当用户在下图的“记录查询”中的 两个界面选项 中,点击“导出”功能时,向后端发起请求,请求服务器下载文件的权限 【权限是在Program.cs中检测的,这个控制器里只需要进行“谁在哪个接口下载了文件”的日志记录】 【导出:是用户把…

30多种独特艺术抽象液态酸性金属镀铬封面背景视觉纹理MOV视频素材

使用 Prismatic Flows 转换您的项目!这个包拥有 30 多种独特的液体背景和动画,为任何创意活动提供令人惊叹的视觉效果。 棱镜流 – 动画背景和迭加包括30多种不同的液体背景和动画。这些高质量的资源非常适合通过充满活力和动态的视觉效果来增强您的项目…

车载网关性能 --- 车载网关通用buffer分配需求

老规矩,分享一段喜欢的文字,避免自己成为高知识低文化的工程师: 所谓鸡汤,要么蛊惑你认命,要么怂恿你拼命,但都是回避问题的根源,以现象替代逻辑,以情绪代替思考,把消极接受现实的懦弱,伪装成乐观面对不幸的豁达,往不幸上面喷“香水”来掩盖问题。 无人问津也好,技不…

PLSQL 客户端连接 Oracle 数据库配置

1. 安装Oracle客户端 首先,安装Oracle客户端。可以从Oracle官方网站下载Oracle Instant Client, 安装完成后,请记住安装路径,因为将在后续步骤中需要用到它。 2. 配置环境变量 添加环境变量 ORACLE_HOME 安装Oracle客户端后,配…

docker-harbor仓库的搭建(2024)

准备实验需要的软件 将软件拉入虚拟机中,解压压缩包 [rootlocalhost ~]# tar zxf harbor-offline-installer-v2.5.4.tgz 1.进入harbor目录拷贝文件,创建名为harbor.yml的备份文件 [rootlocalhost ~]# cd harbor/ [rootlocalhost harbor]# cp harbor.yml…

Jmeter分布式压力测试

1、场景 在做性能测试时,单台机器进行压测可能达不到预期结果。主要原因是单台机器压到一定程度会出现瓶颈。也有可能单机网卡跟不上造成结果偏差较大。 例如4C8G的window server机器,使用UI方式,最高压测在1800并发(RT 20ms以内)左右。如果…

Oracle下载安装(保姆级教学)

方法1 1. 官网下载安装包 对于 Oracle 软件的下载,建议通过官网免费下载,安全且有保证。 下载地址: https://www.oracle.com/database/technologies/oracle19c-windows-downloads.html 通过下载页面可以选择安装压缩包( WIND…

AOP 面向切面编程的实现原理

AOP是基于IOC的Bean加载来实现的,所以理解Spring AOP的初始化必须要先理解Spring IOC的初始化。然后就能找到初始化的流程和aop对应的handler,即parseCustomElement方法找到parse aop:aspectj-autoproxy的handler(org.springframework.aop.config.AopNam…

C# 范围判断函数

封装范围函数 public static class CommonUtil {/// <summary>/// 范围判断函数&#xff0c;检查给定的值是否在指定的最小值和最大值之间。/// 例如&#xff0c;可以用来判断当前日期是否在开始日期和结束日期之间。/// 该方法适用于任何实现了 IComparable 接口的类型…

搭建Elastic search群集

一、实验环境 二、实验步骤 Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎Elasticsearch目录文件&#xff1a; /etc/elasticsearch/elasticsearch.yml#配置文件 /etc/elasticsearch/jvm.options#java虚拟机 /etc/init.d/elasticsearch#服务启动脚本 /e…