介绍如何在Windows上通过WSL2原生Docker CE将本地NVIDIA GPU暴露给Kubernetes集群，而非使用Docker Desktop。
AI translation, not an official translation. Refer to the original for technical details.
Adapted from @RDarrylR随着大语言模型Token价格持续攀升，越来越多的团队开始考虑在本地运行较小的模型，而许多本地GPU完全可以应对这类工作负载。对于仍在使用Windows的用户来说，如何让Kubernetes集群识别到本地GPU往往是一大难题。 在WSL2中，nvidia-smi工具是检测GPU的常用手段，但在很多情况下，即便该工具能够显示出显卡，实际工作负载仍会失败。问题通常出在节点上。Docker Desktop的控制平面运行在sysbox-runc下，不支持GPU直通，因此其内部的containerd无法访问/dev/nvidia*设备。 解决方案是在WSL2中使用原生Docker CE，并在启动Minikube时加上"--gpus=all"参数。可以参考Vishnu Hari Dadhich撰写的这篇精彩文章。 https://t.co/X2sz4kta9m #vLLM #Kubernetes #NVIDIA #Minikube #LocalAI
