ODS接入Langfuse给本地AI服务器装上可观测性引擎【免费下载链接】ODSTurn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation.项目地址: https://gitcode.com/GitHub_Trending/dr/ODSODS可以把 PC、Mac 或 Linux 变成一台私有 AI 服务器而 Langfuse 可观测性扩展 让每一次 LLM 调用都有迹可循——请求、Token、延迟、模型版本全部自动记录无需改动任何业务代码。本文带你用最少的步骤为本地 AI 栈装上这套开源 Tracing 引擎。为什么本地 AI 服务器需要可观测性当你的 AI 服务器上跑着 LiteLLM、Open WebUI、n8n 工作流和多个 Agent 时一个常见问题是输出质量变差了但不知道是哪个模型、哪条 Prompt 出的问题。手动翻容器日志低效且不可靠。Langfuse 作为开源 LLM 观测平台提供三大核心能力完整调用链Traces每次 LLM 请求的输入、输出、延迟、Token 数、所用模型一目了然⭐评估Evaluations对调用结果打分数手动或程序化跟踪质量变化趋势✏️Prompt 管理在界面中版本化 Prompt 模板并做 A/B 测试 在多 Agent 场景下观测平台几乎是刚需。ODS 官方模板 multi-agent-laboratory.yaml 就注明Langfuse 用于 debugging agent loops。一键启用两条命令完成部署Langfuse 在 ODS 中是默认关闭的可选扩展启用只需一行命令ods enable langfuse或者在安装阶段直接带上参数./install.sh --langfuse扩展的完整定义见 compose.yaml.disabled启用后自动重命名为compose.yaml生效服务元数据则定义在 manifest.yaml 中。启用后Langfuse 界面运行在http://localhost:3006端口可通过.env中的LANGFUSE_PORT修改。首次启动的小提示Langfuse 由 6 个容器组成Web、Worker、PostgreSQL、ClickHouse、Redis、MinIO全部运行在隔离的langfuse-internal内部网络中。ClickHouse 首次启动需要约 90 秒初始化请耐心等待所有容器变为 healthy 状态。零配置打通 LiteLLMTraces 自动上报这是 ODS 集成 Langfuse 最优雅的地方——不需要修改任何 LiteLLM 配置也不需要改应用代码。原理很简单安装器自动生成项目密钥对LANGFUSE_PROJECT_PUBLIC_KEY/SECRET_KEY写入.env扩展的 compose overlay 在启用时自动把这两个密钥和LANGFUSE_HOST注入 LiteLLM 容器LiteLLM 入口脚本检测到LANGFUSE_ENABLEDtrue后自动注册langfuse回调LiteLLM 侧的回调注入逻辑可以查看 litellm/compose.yaml。也就是说开关一打开所有经过 LiteLLM 的调用就自动出现在 Langfuse 面板里。数据完全留在本地私有化数据栈担心 Trace 数据泄露在 ODS 中Langfuse 的所有数据都存储在本地磁盘且与其他扩展完全隔离本地路径存储内容data/langfuse/postgres/调用元数据、项目与用户数据data/langfuse/clickhouse/事件数据与分析存储data/langfuse/redis/队列与缓存data/langfuse/minio/事件上传桶langfuse-events所有密码和密钥数据库口令、加密密钥等都由安装器自动生成并保存在.env无需手动设置。值得一提的是post_install.sh 钩子会在 Linux 原生 Docker 环境自动修正数据目录的 uid 归属避免 PostgreSQL/ClickHouse 因权限问题初始化失败——macOS 和 WSL2 用户无需关心这一步。常见问题快速排查① 界面没有 Trace确认.env中LANGFUSE_ENABLEDtrue然后重启 LiteLLMdocker compose up -d --force-recreate litellm docker compose logs litellm | grep -i langfuse② 服务起不来逐个检查 6 个容器的健康状态docker compose ps langfuse langfuse-worker langfuse-postgres③ 登录不进去检查.env中的LANGFUSE_INIT_USER_EMAIL/LANGFUSE_INIT_USER_PASSWORD默认邮箱adminods.local。修改凭证后需重建容器生效。④ 内存占用偏高ClickHouse 是最大消耗者默认上限 2 GB可在 compose 文件的deploy.resources.limits中调整。把它放进你的模板ODS 提供了多个官方模板开箱即用地包含 Langfusellm-platform.yamlLLM 平台全家桶LiteLLM Langfuse Token-Spy LibreChat n8nml-data-workshop.yaml机器学习数据工作坊onboarding-full-stack.yaml全栈入门方案完整扩展目录可参阅 extensions/CATALOG.md。总结用一行ods enable langfuse你就拥有了✅ 全量 LLM 调用链追踪问题定位从大海捞针到按图索骥✅ Prompt 版本管理与 A/B 测试质量改进有据可依✅ 评估体系让 AI 应用的质量可度量、可追踪✅ 数据 100% 本地化隐私安全无忧给本地 AI 服务器装上 Langfuse 观测引擎是你从能跑起来迈向跑得明白的关键一步。【免费下载链接】ODSTurn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation.项目地址: https://gitcode.com/GitHub_Trending/dr/ODS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考