1. 硬件通信方式：
PCIe（Peripheral Component Interconnect Express） ：这是最常见的GPU间通信方式，通过PCIe总线实现GPU之间的数据传输。PCIe的带宽和延迟相对较高性能的互联技术较低。
NVLink：由NVIDIA开发，提供高带宽、低延迟的点对点连接，适用于单机多卡或多GPU/CPU系统配置。
NVSwitch：NVIDIA开发的一种高性能互联交换机，支持全互联通信，适用于大规模多GPU系统，每个GPU可以以高达300GB/s的速度进行通信。
RDMA（Remote Direct Memory Access） ：允许计算机内存直接访问远程计算机内存，实现低延迟、高带宽的数据传输，广泛应用于高性能计算和分布式存储系统中。
GPUDirect RDMA：结合了GPU加速计算和RDMA技术，实现GPU与RDMA网络设备之间的直接数据传输，降低传输延迟。
2. 软件通信库：
NCCL（NVIDIA Collective Communication Library） ：这是NVIDIA提供的多GPU通信库，支持单机多卡和多机多卡通信。NCCL优化了在PCIe、NVLink和InfiniBand等不同网络架构上的通信速度，支持常用的集体通信原语如AllReduce、Reduce、Broadcast等。
MPI（Message Passing Interface） ：传统的分布式计算通信协议，可以通过CUDA API实现GPU间的通信。
3. 多机多卡通信：
在多机多卡场景下，通常使用以太网或InfiniBand进行通信。例如，通过Socket编程实现基于以太网的通信，或者使用InfiniBand实现更高效的跨机通信。
4. 其他技术：
GPUDirect P2P：允许同一服务器内的GPU直接通信，无需通过主机内存或CPU，减少数据复制操作，提高通信效率。
Infinity Fabric：AMD的高效卡间通信技术，广泛应用于其GPU和CPU中。
多GPU卡之间的通信技术涵盖了从硬件层面的NVLink、NVSwitch、RDMA到软件层面的NCCL和MPI等多种方式。这些技术共同作用，提升了多GPU系统的整体性能和扩展性。
