🧐 #阅读在笔记本电脑上索引所有英文版本的维基百科

由于 JVector 库的最新进展（将成为即将发布的 3.0 版本的一部分），在笔记本电脑上对整个英语维基百科进行索引已成为现实。 这篇文章详细介绍了如何做到这一点。 注意，这是因为早前 Cohere 发布了一个包含所有维基百科的数据集，通过多语言 v3 模型对其进行分块并嵌入到向量中。 自己计算如此多的嵌入将花费大约 5000 美元。 以及需要： Linux / macOS，不支持 Windows 数据集大约有 180GB 可用空间，完整索引有 90GB 可用空间。 在构建期间有足够的…