Tag: triton
All the articles with the tag "triton".
-
推理服务业界落地：从训练产物到推理服务怎么发布
Updated:写给工程师的推理服务落地：换版最小动作是改一个 URI。产物进对象存储，期望状态进 Git，集群对账后拉起 Triton / vLLM 或 CPU 上的 ONNX / PMML；按平台已有能力决定要不要 KServe，对照 LLM、广告深度 CTR 和 CPU 粗排。
All the articles with the tag "triton".
写给工程师的推理服务落地：换版最小动作是改一个 URI。产物进对象存储，期望状态进 Git，集群对账后拉起 Triton / vLLM 或 CPU 上的 ONNX / PMML；按平台已有能力决定要不要 KServe，对照 LLM、广告深度 CTR 和 CPU 粗排。