LangSmith是评估大模型能力好坏的评估工具,能够量化评估基于大模型的系统的效果。LangSmith通过记录langchain构建的大模型应用的中间过程,从而能够更好的调整提示词等中间过程做优化。想要使用LangSmith首先进入他的设置页面,https://smith.langchain.com/settings注册一个账号,然后进入API Keys页面创建一个API Keys,我们为例后续演示,这里创建一个test_api_key名字的API Key,如下图所示。
然后我们需要在本地安装LangSmith的依赖包
pip install -U langsmith
设置完成后就可以在LangChain代码中加入LangSmith环境变量进行过程数据收集了。需要设置的环境变量有如下四个。
- LANGCHAIN_TRACING_V2:设置LangChain是否开启日志跟踪模式。
- LANGCHAIN_API_KEY:就是上面生成的LangSmith的key。
- LANGCHAIN_ENDPOINT:LangSmith的收集过程数据的API地址
- LANGCHAIN_PROJECT:是要跟踪的项目名称,如果LangSmith平台上还没有这个项目,会自动创建。如果不设置这个环境变量,会把相关信息写到default项目,使用过程中比较建议设置改环境变量。LangSmith中的项目不一定要跟实际团队理解的项目是对应的,这可以理解成是一个分类或者标签。只要在运行LangChain的程序前修改了这个标签,它就会把对应的日志写到修改后的项目下面。常规可以按照环境类型划分、按日期划分