【ai_agent】从零写一个agent框架（四）用rust制作一个python的虚拟运行环境。

前言

为了增加框架的扩展性和适用性，我们要能够在流程节点中运行python脚本。

这个时候需要考虑几个问题：

1 为什么是python？

思考：老实说我并不喜欢python，我更倾向于lua这种短小轻快的脚本。在我之前写的规则引擎rush里，就用的lua脚本写规则。并且我对比过多个脚本的性能，lua可以甩python几条街。

但是，python是大众的选择，被更多的人接受，没得选，只能是它。

这里有屌大的就要说了，为啥不用js，不用wasm，它们用的人也很多。不管是从应用的角度看，还是从平台的角度讲，长远来看这哥俩也是要支持的。

2 能在业务pod里面执行python吗？

肯定是不能，一般在服务端运行的脚本都要有个沙盒环境。

一是为了避免不同本地环境造成的版本差异，包的差异等等。
二是为了打造一个安全封闭的运行环境，避免和其他服务相互影响。

3 用类似cmd这种命令执行python脚本可以吗？

当然是不可以，因为这会失去对脚本的约束。

4 运行python文件还是运行python文本？

在表现形式上，文本能力必须要支持。绝大多数的agent编辑平台提供的都是python文本的编辑能力，运行能力，可能它们对于python脚本的定义仅用来实现一些简单功能。

但是我做的agent越多就越难受，因为一个稍微复杂的功能，我要在这个文档框里写大几千行，实难维护。

这些平台提供的编辑视图，都极为垃圾，我们很难在浏览器上做到vscode或者pycharm这种专业编辑器的舒适度

更重要的是一些复杂功能需要多个文件来编写，如果仅支持文本就自废武功了。

实现

思路如下：

用rust包装一个python的运行时，然后做成docker ，对外提供一个rpc的接口。

代码仓库传送门

python运行时实现

我这里用的pyo3完成rust和python的绑定。
python的入口必须是一个函数，但函数可以指定
支持指定syspath，这样就可以加载python文件。文件可以通过k8s的pv挂载，或者as3挂载。
这里安全相关的模块我懒的做了，工程链路里是必须要做的。

代码如下：

pub  fn eval_function(&self, function_name: &str, args: Value) -> PyResult<Value> {
    wd_log::log_debug_ln!("eval_function -> {:?} args:{:?}", self, args);
    let  Self {
        src,
        module_name,
        file_name,
        sys_path,
    } = self;
    let file_name = file_name.clone().unwrap_or(format!("{}.py", module_name));
    Python::with_gil(move |py| {
        //设置系统path
 if  let  Some(path) = sys_path {
            let syspath: &PyList = py.import_bound("sys") ? .getattr("path") ? .extract() ? ;
            syspath.insert(0, &path) ? ;
        }
        //加载模型
 let module = match src {
            ScriptSrc::ScriptCode(script) => PyModule::from_code_bound(
                py,
                script.as_str(),
                file_name.as_str(),
                module_name.as_str(),
            ) ? ,
            ScriptSrc::ModuleName => PyModule::import_bound(py, module_name.as_str()) ? ,
        };
        //加载函数
 let function = module.getattr(function_name) ? ;
        //拼接输入
 let input_obj = Self::value_to_py_object(py, args) ? ;
        let input_class = FunctionInput { data: input_obj };
        //调起函数
 let output_obj = function.call((input_class,), None) ? .extract::<PyObject>() ? ;
        //输出转格式
 let value = Self::py_object_to_value(output_obj, py) ? ;
        Ok(value)
    })
}

入参的绑定

入参绑定为python的class，如下代码，真正的入参是这个class里面的data
包装class的目的是为py提供一些外部方法，可以操作rust里面的内容，或者获取一些不可变更参数，当然懒惰的我没实现任何方法。

#[pyclass]
pub  struct FunctionInput {
    #[pyo3(get, set)]
    data: PyObject,
}

对外接口

对外我们还是提供grpc接口，proto文件如下：

这里我们指明入参类型是google/protobuf/struct，它最终会转化为python的dict传给py脚本。
grpc的实现我这里就不贴了，主要用的tonic框架。
tonic的client需要我们自己实现连接池，我用的wd_tools::pool:ObjPool

syntax = "proto3";

package proto;

import "google/api/annotations.proto";
import "google/protobuf/struct.proto";

service PythonRuntimeService{
    rpc CallFunction(CallFunctionRequest)returns (CallFunctionResponse){
        option (google.api.http) = {
            post: "/api/v1/function/{function_name}"
            body: "*"
        };
    };
}

enum  SrcType {
    SRC_TYPE_SCRIPT = 0;
    SRC_TYPE_MODULE = 1;
}
message CallFunctionRequest{
    SrcType src = 1;
    // if src == SRC_TYPE_SCRIPT, script_code must have a python code.
optional string script_code = 2;
    string module_name = 3;
    //default: file_name = module_name.py
optional string file_name = 4;
    optional string sys_path = 5;
    string function_name = 6;
    google.protobuf.Struct function_input = 7;

}
message CallFunctionResponse{
    // 0:success
int32 code = 1;
    string msg = 2;
    optional google.protobuf.Struct output = 3;
}

docker构建

因为我们用的pyo3，它依赖libpython和rust环境，所以我们需要对rust的官方镜像做亿点小小的改造。

首先rust的官方镜像就很有问题，用它镜像打出来的包里面的依赖都不完整。比如用rust:1.78-alpine打包就一直提示缺着缺那。
rust的alpine的镜像使用musl编译，按理说我静态编译后，它应该更容易被用起来。万万没想到在相同版本的alpine镜像中竟然跑不起来。
pyo3在编译的时候，会内置一些py信息，即便的相同的版本，不同的运行系统也无法编译。也就是说我们很难跨平台编译。

当然还有一堆堆的坑，所幸我已经爬完了，并且把镜像放到了hub上。

构建镜像：wdshihaoren/python_rt:build-1.75-240527 ，你也可以用它编译自己的任意rust项目。
运行镜像：wdshihaoren/python_rt:16896997，非常的精简小巧，只有30M，如下图：

测试

首先启动测试用例，在python_rt目录下如下命令启动

先装一下psutil库

cargo test tests::run_server -- --nocapture

先测试一下文件执行，py文件内容地址，用grpc请求结果如下：

请求：
{
  "src": 1,
  "module_name": "sys_info",
  "sys_path":"./custom_plugin",
  "function_name": "get_system_info",
  "function_input": {
    "fields": {
      "hello": {
        "kind": "world"
      }
    }
  }
}
响应：
{
  "code": 0,
  "msg": "success",
  "output": {
    "fields": {
      "cpu_count": {
        "numberValue": 12,
        "kind": "numberValue"
      },
      "cpu_percent": {
        "numberValue": 16.7,
        "kind": "numberValue"
      },
      "disk_free": {
        "numberValue": 141.9490623474121,
        "kind": "numberValue"
      },
      "disk_total": {
        "numberValue": 465.62699127197266,
        "kind": "numberValue"
      },
      "disk_used": {
        "numberValue": 23.568099975585938,
        "kind": "numberValue"
      },
      "memory_available": {
        "numberValue": 11853.76171875,
        "kind": "numberValue"
      },
      "memory_total": {
        "numberValue": 32768,
        "kind": "numberValue"
      },
      "os_release": {
        "stringValue": "21.3.0",
        "kind": "stringValue"
      },
      "os_type": {
        "stringValue": "Darwin",
        "kind": "stringValue"
      }
    }
  }
}

再测试一下参数输入：正确给出结果

输入：
{
  "src": 1,
  "module_name": "sys_info",
  "sys_path": "custom_plugin",
  "function_name": "generate_system_report",
  "function_input": {
    "fields": {
      "cpu_count": {
        "numberValue": 12,
        "kind": "numberValue"
      },
      ...//和上面的内容一样，粘下来就可以了
    }
  }
}
输出：
{
  "code": 0,
  "msg": ""\n系统报告：\n\n操作系统类型: Darwin\n操作系统版本: 21.3.0\nCPU逻辑核心数: 12.0\nCPU使用率: 23.5%\n内存总量: 32768.0 MB\n可用内存: 13596.53515625 MB\n磁盘总量: 465.62699127197266 GB\n磁盘已使用: 23.568099975585938 GB\n磁盘剩余: 159.18515014648438 GB\n    "",
  "output": {
    "fields": {}
  }
}

测试一下文本脚本能力，我们按照【ai_agent】从零写一个agent框架(一)打造最强开放agent编辑框架，拳打dify，脚踩coze 中的实例依次启动服务。

然后如图创建三个节点，点击debug执行，可以看到python执行的结果。

尾语

做的事情很简单，但是坑很多，重点是很多事情需要权衡和思考。如果你有不一样的想法欢迎留言讨论。

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

在这里插入图片描述

二、AI大模型视频教程

在这里插入图片描述

三、AI大模型各大学习书籍

在这里插入图片描述

四、AI大模型各大场景实战案例

在这里插入图片描述

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。