在您的应用中本地部署LLM/VLM/TTS模型的跨平台框架。
支持Flutter、React-Native和Kotlin多平台。
支持您在Huggingface上找到的任何GGUF模型；Qwen、Gemma、Llama、DeepSeek等。
运行LLM、VLM、嵌入模型、TTS模型等。
支持从FP32到低至2位量化模型，提高效率并减少设备负担。
支持Jinja2的聊天模板和令牌流。
https://github.com/cactus-compute/cactus
支持Flutter、React-Native和Kotlin多平台。
支持您在Huggingface上找到的任何GGUF模型；Qwen、Gemma、Llama、DeepSeek等。
运行LLM、VLM、嵌入模型、TTS模型等。
支持从FP32到低至2位量化模型，提高效率并减少设备负担。
支持Jinja2的聊天模板和令牌流。
https://github.com/cactus-compute/cactus
GitHub
GitHub - cactus-compute/cactus: Low-latency AI engine for mobile devices & wearables
Low-latency AI engine for mobile devices & wearables - cactus-compute/cactus
