AutoDev 1.1.3 登场，个性化 AI 辅助：私有化大模型、自主设计 prompt、定义独特规则...

在过去的半个月里，我们为开源辅助编程工具 AutoDev 添加了更强大的自定义能力，现在你可以：

使用自己部署的开源大模型
自己配置 Intellij IDEA 中的行为
自定义开发过程中的规范

当然了，如果您自身拥有开发能力的话，建议您自己基于 AutoDev 定制。毕竟，为 AutoDev 添加太多的自定义能力，会导致架构的复杂性螺旋上升。

AutoDev 现在已支持多语言（不同语言能力有所差异）、多 IDE，因此只在 JetBrains 任何一个本地 IDE 的插件市场里，搜索 AutoDev 并安装即可。

自定义大语言模型

我们通过 Thoughtworks 正在的开源底层模型平台 Gluon Meson，构建了一个统一的大语言模型接口。随后，我们测试了切换几个开源模型：清华大学 ChatGLM2-6B、阿里云通义千问 Qwen-7B 等，均可以流畅使用 —— 模型太小，在诸如需要上下文补全的能力没有那么强。

考虑到提供更好的开发者体验，现在的 AutoDev 只支持服务端的流式返回，为此我们在源码中提供了一个 FastAPI + EventSourceResponse 的示例作为参考。

请求结构

我们发送给服务端的接口将类似于：

{
  "messages": [
     { "role": "user", "message": "I'm Nihillum." },
     { "role": "assistant", "message": "OK" },
     { "role": "user", "message": "What did I just say?" }
  ]
}

根据现有的 #25 issue 设计情况，我们也将在未来提供更多的可配置的 headers 等

响应结果

对于结果来说，为了方便支持不同的模型，我们使用了 JSON Path 来处理返回结果。如下是一个简单的 JSON Path 的配置示例。

$.choices[0].content

随后，将从 content 中取值，并处理。

详细见 README.md 中的 Custom LLM Server 部分。

自定义 prompt 行为项

为了配合不同大模型的能力差异，我们参考了 JetBrains AI Assistant 的设计，也在 AutoDev 中引入了自定义行为的方式，即你可以自定义自己的行为，并配置 prompt 的上下文。诸如于，你可以自定义一个将 Rust 转为 Kotlin 语言的行为项：

为此，只需要添加一个对应的 JSON 配置即可：

{
  "prompts": [
    {
      "title": "\uD83C\uDDE8\uD83C\uDDF3 翻译成 Kotlin",
      "autoInvoke": false,
      "matchRegex": ".*",
      "priority": 1000,
      "template": "Translate the following code to Kotlin.\n${SIMILAR_CHUNK}\nCompare these snippets:\n${METHOD_INPUT_OUTPUT}\nHere is the code:\n${SELECTION}"
    }
  ]
}

其中的 priority 是用来配置在菜单中的顺序，template 则是发送给 LLM 的 prompt。除此，在 template 中，为了更好的支持一些高级的特征，我们配置了一些上下文变量：

${SELECTION}：所选代码
${SIMILAR_CHUNK}：相似的代码片段
${METHOD_INPUT_OUTPUT}：方法的输入与输出

规范变量：

${SPEC_*}：从配置文件的规范部分加载规范，比如 ${SPEC_controller}将会从配置中加载 spec.controller。

详细见 README.md 中的 Custom Action 部分。

自定义规范

在自定义操作项中，我们会定义一些不同任务的配置规则，诸如于 SPEC_controller 便会从 spec 中读取对应的内容，作为配置 prompt 的一部分：

{
  "spec": {
    "controller": "- Use BeanUtils.copyProperties in the Controller for DTO to Entity conversion.\n- Avoid using Autowired.\n- Use Swagger Annotations to indicate API meanings.\n- Controller methods should capture and handle business exceptions, rather than throwing system exceptions.",
    "service": "- Service layer should use constructor injection or setter injection; avoid using the @Autowired annotation.",
    "entity": "- Entity classes should use JPA annotations for database mapping.\n- The entity class name should match the corresponding database table name. Entity classes should use annotations to mark primary keys and table names, for example: @Id, @GeneratedValue, @Table, etc.",
    "repository": "- Repository interfaces should extend the JpaRepository interface to inherit basic CRUD operations.",
    "ddl": "- Fields should be constrained with NOT NULL constraints to ensure data integrity."
  }
}

然后，你就可以愉快地进行 AI 辅助编程了。