NVIDIA ACE· 一手来源· Elizabeth Goodman·· 17 天前AI 评分21
控制您的 GPU 如何与 Green Contexts 共享工作负载
Control How Your GPU Shares Work with Green Contexts
正文 · AI 翻译
GPU 应用越来越多地由在同一进程内同时运行的多个独立组件构成：一个对延迟敏感的算子……
GPU 应用越来越多地由在同一进程内同时运行的多个独立组件构成：一个对延迟敏感的算子与一个面向吞吐量的后台内核并行运行；一个数据预处理阶段与模型推理并行运行；或者处理工作流的多个阶段共享同一块 GPU。控制这些组件之间如何共享 GPU 资源仍然是一个难题。
来源：NVIDIA ACE · developer.nvidia.com