计算每种层级的LLM使用的大致总成本。考虑到每次使用LLM需要3个输入token产生1个输出token的假设,我们可以这样估算总成本:
-
计算单次使用的token总数:
- 输入token:3个
- 输出token:1个
- 总计:3输入 + 1输出 = 4个token
-
成本计算:
- 第一层:从$0.25起,假设这是每token的价格,总成本为 $0.25 × 4 = $1.00
- 第二层:从$12.00起,总成本为 $12.00 × 4 = $48.00
- 第三层:从$24.00起,总成本为 $24.00 × 4 = $96.00
- 第四层:从$42.00起,总成本为 $42.00 × 4 = $168.00
以上计算是基于每层起始价格的简单估计。实际成本可能会根据具体的使用量、可能的折扣政策、订阅级别等因素有所不同。特别是大规模使用时,通常可以和服务提供商商议更优惠的价格。
如Groq的llama 3 70B、Databricks的DBRX Instruct、Cohere的Command r+,以及AnthropicAI的Opus,它们的性能和适用场景有所不同,因此选择哪个模型还需要考虑具体需求和预算。