LocalAI 部署完整指南从 CPU 到 GPU 的 3 条硬件路径【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI这份备忘写给需要在自己机器上跑 LLM、图像、语音模型的同事LocalAI 是一个能运行任意模型无需 GPU的开源 AI 引擎。按 LocalAI 本地部署路径对照自己的硬件情况选一条当场验证服务是否可用。能力边界LocalAI 负责 LLM、视觉、语音、图像、视频五类模型的本地推理并暴露 OpenAI 兼容 API现有云调用可以平替。边界也说清楚它是本地推理引擎不面向给大量外部线上用户提供高并发服务的场景有这种需求需要自行评估部署方式。如果你的模型只需要在本机跑十秒内就可以决定用直接往下走。LocalAI 本地部署的 3 条落地路径纯 CPU 笔记本选一键脚本它会自动装好全部依赖。脚本在受限网络下可能失败失败就改用源码路径curl https://localai.io/install.sh | sh注意脚本跑完后直接启动 LocalAI 即可无需手动配置容器。有 N 卡的工作站用 Docker 的 GPU 镜像一条命令起容器。docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-aio-gpu-nvidia-cuda-12注意--gpus all要求宿主机有 NVIDIA 驱动且容器已启用 GPU没有显卡就换用localai/localai:latest-aio-cpu这个 CPU 镜像。需要二开的开发者走源码编译适合读代码和改后端。git clone https://gitcode.com/GitHub_Trending/lo/LocalAI cd LocalAI make build ./local-ai注意这条路径构建耗时最长首次只需确认make build能通过。首次运行验证服务默认监听 8080 端口。启动后最省事的存活确认是在终端打一次模型列表curl http://localhost:8080/v1/models返回 JSON 模型列表就说明链路通了返回连接被拒绝先确认进程是否还在。也可以在浏览器直接访问 http://localhost:8080 查看。LocalAI settings.yml 关键配置速查实际会动手改的只有 4 个参数都写在 settings.yml参数默认值作用api.hostlocalhost服务监听地址需要局域网访问时改为 0.0.0.0api.port8080服务端口被占用就改model.path/usr/share/models/模型文件存放目录model.typeggml-v3模型类型支持多种格式最小可用案例Streamlit 聊天机器人最轻量的示例是 Streamlit 聊天机器人用示例目录自带的 docker-compose 直接起不需要写任何代码cd examples/streamlit-bot docker-compose up -d启动后访问 http://localhost:8501 进入对话界面效果类似下图LocalAI 部署的 3 个常见卡点8080 端口连不上→ 原因默认端口被其他服务占用 → 在 settings.yml 里改api.port或调整 docker 启动时的宿主端口映射。--gpus参数报错→ 原因宿主机没有 NVIDIA 驱动或容器未启用 GPU → 换用localai/localai:latest-aio-cpu镜像项目本身不依赖 GPU 也能跑。找不到模型→ 原因model.path指向的目录里没有模型文件 → 把模型放到该目录或把参数改成模型实际存放路径。资源与社区官方文档docs/示例项目examples/模型配置模板gallery/项目说明与社区入口GitHub 讨论区、DiscordREADME.md以上覆盖首次部署settings.yml 的完整参数与高级功能以 docs/ 目录为准。【免费下载链接】LocalAILocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.项目地址: https://gitcode.com/GitHub_Trending/lo/LocalAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考