https://meta.appinn.net/t/topic/60454/6
同类产品有挺多的,我补充几个:
1️⃣ Jan 用起来也很方便,主要是好看,文档聊天 3等功能也有,但是貌似比较弱
2️⃣ GPT4All 4 这个是这几个中唯一的原生应用(QT写的),所以是最流畅的,但是不支持公式渲染,它的知识库检索功能应该算是比较不错的
3️⃣ AnythingLLM 感觉操作起来还是尚且有点烦琐,现在我主要用的是LobeChat(用claude 3.5 sonnet聊天)、Continue.dev(用deepseek辅助写代码)以及浏览器的Fission插件,最后是LM Studio偶尔玩玩本地模型
为什么我不常使用上面说的几个其他应用呢,我觉得主要有两个问题:
1️⃣ 基于RAG和关键词检索的知识库检索,其实非常不可靠,我自己使用下来体验极差,尤其是只有向量检索的
2️⃣ 本地模型(尤其是70B以下的)效果非常一般,即使是小体积模型中我认为表现很优秀的Gemma2 27B,也只能聊聊天,复杂一些的任务处理不了,至少要Qwen2 72B这种大小的模型才能基本完成大多数任务(而这可能需要48GB以上的显存,我只有8GB或16GB)
3️⃣ 在线API在Deepseek这类性价比模型出现后,价格已经可以接受了,我最多的一天用了100万Token,看上去很多,其实也就一块多钱