单机调优，你欠下的第一笔账，难道不是8卡7卡闲？

单机调优，你欠下的第一笔账，不容简单道不是8卡7卡闲？

吃瓜。 较深夜的机房里灯光映在铝合金机柜上，风扇的嗡鸣像是某种较低沉的节奏。我站在一台装满八张顶级GPU的服务器前， 手指轻巧触键盘，心里却一直在盘算：这八颗心脏，真实的都在为模型输出力量吗？事实往往让人哑然失笑——七张卡忙得像蜜蜂采花，唯有一张静静地躺在那里利用率如同被遗忘的角落。

这种现象并非偶然。当我们谈论“较大模型训练”时 常把目光投向跨机网络、R、NCCL这一些宏较大概念；却简单忽视最基础、也最直接的单机层面。CPU怎样把数据喂给GPU、 内存条怎样与NUMA节点对齐、线程亲和性怎样被设定——这一些看似琐碎的细节，其实决定了每张卡能否真实正“吃饱”。

NUMA与CPU绑定：隐形的瓶颈

现代化服务器往往是双路甚至四路架构，各个CPU socket拥有自己的本地内存通道。当一个进程跨socket访问内存时延迟会瞬间飙升。如果训练脚本没有显式地把数据加载线程绑定到对应的NUMA节点， 那么即便GPU已经就位，CPU也有可能在远端内存里打转，引起数据供应欠缺。于是我们看到：部分卡的利用率发展停滞在百分之三十左右，而其余卡则跑到了九十以上，我傻了。。

解决方案其实很简洁：采用numactl --cpunodebind=X --membind=Y把训练进程锁定在特定socket；或者在容器启动时中，这样的一步操作常能让单机吞吐提升百分之十五到二十，蚌埠住了...。

透明较大页：双刃剑

我惊呆了。 Linux默认开启透明较大页试图降较低TLB miss， 但在较高并发、频繁分配较小块内存的场景下——比如较深度学习了解框架里的张量切片——THP反而会引起内存碎片化和分配延迟抖动。留意到某张卡偶尔会会出现“顿帧”，往往正是这是因为内核在后台进行较大页分裂或回收。