文章目录
- 1 wandb介绍
- 2 wandb安装
- 2.1 注册wandb账号
- 2.2 创建项目并获得密钥
- 2.3 安装wandb并登录
- 3 wandb本地部署
- 3.1 设置wandb运行模式
- 3.2 云端查看运行数据
- 4 总结
1 wandb介绍
Wandb(Weights & Biases)是一个用于跟踪、可视化和协作机器学习实验的开源工具和平台。它为机器学习项目提供了一种简单而强大的方式来记录实验参数、跟踪指标、可视化模型和数据,并与团队成员共享结果。
2 wandb安装
2.1 注册wandb账号
在使用wandb库时需要在它的官网注册一个账号,网址是:https://wandb.ai/site。
’
2.2 创建项目并获得密钥
成功注册并登录后在界面的左上角选择Create new project
进行新建项目,下面是新建项目页面:
填写好项目名称和描述后便可以得到该项目的密钥API Key:
2.3 安装wandb并登录
按照安装界面上的提示使用pip命令安装wandb包:
pip install wandb
在安装好后跳转到你要使用wandb的程序所在的命令行中,使用下面的命令进行登录并按提示输入API Key 信息:
wandb login
具体的登录方式以及wandb在程序中的相关配置方法可以参考下面这篇博客:深度学习之wandb的基本使用
3 wandb本地部署
wandb最为人称赞的地方在于它能够以多种方式可视化神经网络、实时监督训练过程,并实现多人协同操作。但是实现这些功能的基础是需要联网。在一些实际使用中,我们可能只想在本地训练,在训练完毕后统一可视化查看,这时就要求wandb能够在本地使用,并保存数据以待我们需要的时候进行联网查看。
因此,wandb内部集成了一套本地部署方法, 具体使用方法为:
3.1 设置wandb运行模式
为了本地使用wandb,需要将其运行方式设置为本地(即“dryrun
”)模式。相应的代码演示:
import wandb
# 初始化wandb
run = wandb.init(mode="dryrun")
# 其他训练代码
...
在这种模式下,wandb 会把所有的日志数据保存在本地磁盘,而不是上传到云端。
3.2 云端查看运行数据
当需要查看网络的运行数据时,重新接入网络并使用 wandb sync
命令便可同步本地运行数据到 wandb 云服务。以下是相应的命令:
wandb sync /path/to/dryrun/directory
请注意,这里的“/path/to/dryrun/directory”表示的是当前本地 dryrun 目录的路径,在具体使用时应该根据当前项目路径进行具体替换。
这样,即使在没有网络连接的情况下,也可以跟踪机器学习实验,并在恢复网络连接后上传实验数据。
4 总结
在一些大型的深度学习项目中,合理的应用wandb能够帮助我们快速分析网络架构和模型组成,便于高效的开展针对性的改进工作。本文仅总结了wandb的安装方法和本地部署方法,如果读者有需要可以去wandb官网的使用文档上学习更多的使用方法:https://docs.wandb.ai/