KubeAIによるKubernetes環境でのLLM推論システムの構築
先日初めて知ったのですが、Kubernetes上で生成AIモデル(LLM)による推論システムを構築する際に便利なKubernetes Operatorがあるようです。 KubeAI: AI Inferencing Operator KubeAI – vLLM AI Inference Operator for Kubernetes. The easiest way to serve ML models in production. Supports VLMs, LLMs, embed…