Tabby - 基于AI大模型的编程助手
Tabby是一个自托管 AI 编码助手。 GitHub Copilot 的开源/本地替代方案。
推荐：用 NSDT场景设计器 快速搭建3D场景。
1、主要特性
- 自包含，不需要 DBMS 或云服务
- 用于可视化、配置模型和 MLOps 的 Web UI。
- OpenAPI 接口，易于与现有基础架构（例如 Cloud IDE）集成。
- 消费级 GPU 支持（具有各种优化的 FP-16 权重加载）。
2、Tabby演示
3、Docker安装Tabby
# Create data dir and grant owner to 1000 (Tabby run as uid 1000 in container)
mkdir -p data/hf_cache && chown -R 1000 datadocker run \\-it --rm \\-v ./data:/data \\-v ./data/hf_cache:/home/app/.cache/huggingface \\-p 5000:5000 \\-e MODEL_NAME=TabbyML/J-350M \\tabbyml/tabby
要使用 GPU 后端 (triton) 获得更快的推理速度：
docker run \\--gpus all \\-it --rm \\-v ./data:/data \\-v ./data/hf_cache:/home/app/.cache/huggingface \\-p 5000:5000 \\-e MODEL_NAME=TabbyML/J-350M \\-e MODEL_BACKEND=triton \\tabbyml/tabby
注意：要使用 GPU，你需要安装 NVIDIA Container Toolkit。 我们还建议使用带有 CUDA 11.8 或更高版本的 NVIDIA 驱动程序。
然后，可以使用 /v1/completions 端点查询服务器：
curl -X POST http://localhost:5000/v1/completions -H 'Content-Type: application/json' --data '{"prompt": "def binarySearch(arr, left, right, x):\\n mid = (left +"
}'
我们还在管理面板 localhost:5000/_admin 中提供了一个交互式练习环境：
原文链接：Tabby：Copilot平替 — BimAnt
