🧐 #阅读自托管 Llama-3 8B-Instruct 大语言模型与 ChatGPT 的成本对比

作者：Sid Premkumar 摘要：假设你的模型 100% 利用率，使用 EKS 自我托管 Llama-3 8B-Instruct 模型每处理 1 百万个 tokens 的成本大约是 17 美元，而 ChatGPT 处理相同任务的成本仅为 1 美元。如果选择自我托管硬件，成本可以降至每 1 百万个 tokens 低于 0.01 美元，但需要约 5.5 年才能收回成本。 硬件选择 背景：所有测试均在 EKS 集群上运行。每个测试节点仅运行系统必需的 pods（如 prometheus、 nvidia…