api-bench：测试大模型 API 与中转站的首字延迟、并发和缓存命中
api-bench 是一款开源测速工具，可测试大模型 API 的响应延迟、生成速度、并发稳定性和缓存命中情况，并生成 HTML 报告。
免费、MIT 开源，提供命令行脚本和在线版本；脚本仅依赖 Python 标准库。压测会发起真实 API 请求并消耗额度，请谨慎设置请求数量。
阅读原文：https://meta.appinn.net/t/93954
💧小众软件 · 投稿
api-bench：测试大模型 API 与中转站的首字延迟、并发和缓存命中
api-bench 是一款开源测速工具，可测试大模型 API 的响应延迟、生成速度、并发稳定性和缓存命中情况，并生成 HTML 报告。
免费、MIT 开源，提供命令行脚本和在线版本；脚本仅依赖 Python 标准库。压测会发起真实 API 请求并消耗额度，请谨慎设置请求数量。
阅读原文：https://meta.appinn.net/t/93954
💧小众软件 · 投稿
