EN

KubeAI

KubeAI 用于在 Kubernetes 上部署和扩展机器学习模型。

核验日期

核心信息

以下信息由程序从官方接口读取，不经模型改写。

许可证
Apache-2.0
语言
Go
维护方
kubeai-project
核验日期

它是什么

KubeAI 在 Kubernetes 上部署和扩展机器学习模型。KubeAI 面向 LLM、嵌入、重排序和语音转文字构建。KubeAI 由两个主要子组件构成。KubeAI 模型 operator 直接管理后端服务器 Pod。

主要能力

  1. KubeAI 可运行 vLLM 和 Ollama 服务器。

  2. KubeAI 使用 Infinity 生成嵌入。

  3. KubeAI 使用交叉编码器模型对搜索结果重新排序。

  4. KubeAI 可以从零开始扩展以满足需求。

  5. KubeAI 模型代理提供兼容 OpenAI 的 API。

  6. KubeAI 代理实现了前缀感知的负载均衡策略,该策略针对后端服务引擎(即 vLLM)的 KV 缓存利用率进行优化。

怎么上手

  1. 安装 KubeAI 并等待组件就绪,这可能需要一分钟。

  2. 可以安装一些预定义的模型。

  3. 在独立终端中对 Pod 启动 watch,可以看到 KubeAI 如何部署模型。

  4. 启动本地端口转发,连接到内置的聊天界面。

摘自 README · bash
kind create cluster # OR: minikube start
摘自 README · bash
helm repo add kubeai https://www.kubeai.org
helm repo update
摘自 README · bash
helm install kubeai kubeai/kubeai --wait --timeout 10m
摘自 README · bash
cat <<EOF > kubeai-models.yaml
catalog:
  deepseek-r1-1.5b-cpu:
    enabled: true
    features: [TextGeneration]
    url: 'ollama://deepseek-r1:1.5b'
    engine: OLlama
    minReplicas: 1
    resourceProfile: 'cpu:1'
  qwen2-500m-cpu:
    enabled: true
  nomic-embed-text-cpu:
    enabled: true
EOF

helm install kubeai-models kubeai/models \
    -f ./kubeai-models.yaml
摘自 README · bash
kubectl get pods --watch
摘自 README · bash
kubectl port-forward svc/open-webui 8000:80

适合谁

KubeAI 跨副本编排 LoRA 适配器。KubeAI 可与 Kafka、PubSub 等集成。KubeAI 代理还实现了请求排队(在系统从零副本扩展期间)和请求重试(用于处理有问题的后端)。

KubeAI 模型 operator 通过 KubeAI Model CRD 自动完成常见操作,例如下载模型、挂载卷和加载动态 LoRA 适配器。模型代理和模型 operator 这两个组件位于同一个部署中。KubeAI 可与 OpenAI 客户端库配合使用。

KubeAI 不要求 Istio、Knative 等。KubeAI 不依赖 Istio 和 Knative(用于从零扩展)或 Prometheus 指标适配器(用于自动伸缩)等其他系统。KubeAI 可运行在 CPU、GPU 或 TPU 上。

该项目附带一个热门模型目录,已针对常见 GPU 类型预先配置。Telescope 将 KubeAI 用于多区域的大规模批量 LLM 推理。KubeAI 可通过应用市场部署在 Vultr Managed Kubernetes 上。

Arcee 将 KubeAI 用于多区域、多租户的 SLM 推理。在本地快速上手中,Qwen2 因 minReplicas 为 0 而首次响应较慢,KubeAI 需要启动一个新的 Pod。KubeAI 文档涵盖概念、指南和 API 文档。

来源

本页内容整理自以下官方来源，点击可核对原文。

核验日期 ·

本页由 AI 依据上述官方来源整理，并经自动核对，未经本站实测。 发现错误？告诉我们。