有同学本地部署了 llama 模型,然后使用 OpenCat 当作客户端,运行成功

https://github.com/ggerganov/llama.cpp/blob/master/examples/server/api_like_OAI.py
 
 
@APPINN