ESXi虚拟机如何直通物理网卡？

理解需求：为何要让虚拟机直接使用物理网卡？

在标准的 VMware ESXi 虚拟化环境中，虚拟机 (VM) 的网络连接通常通过虚拟交换机 (vSwitch) 进行，虚拟机使用虚拟网卡 (vNIC)，这些 vNIC 连接到 vSwitch，而 vSwitch 则绑定到一个或多个物理网卡 (pNIC) 上，这种架构提供了灵活性、高可用性和集中管理。

某些特定的应用场景对网络性能、延迟或功能有极苛刻的要求，使得传统的 vSwitch 路径成为瓶颈或无法满足需求，这时，让虚拟机直接访问并使用物理网卡就变得必要，常见场景包括：

1. 极致网络性能与超低延迟：
   • 高频交易系统 (HFT)：微秒级的延迟差异至关重要。
   • 高性能计算 (HPC) 集群通信：MPI 等通信库需要最低延迟和最高带宽。
   • 实时音视频处理与流媒体：需要稳定的高吞吐量和低抖动。
   • 网络功能虚拟化 (NFV)：如防火墙、路由器、负载均衡器等，需要线速处理能力。
2. 特殊硬件功能需求：
   • 虚拟机需要直接利用物理网卡上的特定硬件加速功能（如某些加密/解密引擎、TCP 卸载引擎 – TOE、RDMA 如 RoCE/iWARP）。
   • 需要访问物理网卡特有的、无法通过虚拟化层有效传递的功能或寄存器。
3. 绕过 Hypervisor 开销： 对于极其敏感的应用，即使 vSwitch 性能已经很高，直接访问物理硬件也能完全消除 Hypervisor 网络栈的潜在微小开销。
4. 兼容性与隔离性： 某些专用硬件或软件可能要求直接绑定到物理网络接口，或者需要严格的网络隔离（物理层面）。

核心解决方案：PCIe Passthrough (PCI 直通)

VMware ESXi 提供 PCIe Passthrough (也称为 DirectPath I/O 或 Passthrough) 技术来满足上述需求，其核心原理是：

1. 隔离物理设备： 管理员将特定的物理 PCIe 设备（如网卡）从 ESXi 主机控制中“隔离”出来。
2. 直接映射： ESXi Hypervisor 将此物理设备的 PCIe 配置空间和内存映射 I/O (MMIO) 区域直接映射到目标虚拟机的物理地址空间。
3. 虚拟机独占访问： 目标虚拟机获得对该物理设备的完全、独占的控制权，就像该设备是直接安装在虚拟机内部一样，ESXi 主机自身不再能访问或管理该设备。
4. 安装原生驱动： 在虚拟机内部，需要安装与该物理网卡型号完全匹配的原生操作系统驱动程序（在 Windows VM 中安装 Intel PROSet 驱动，在 Linux VM 中安装相应的 ixgbe、i40e 等驱动）。

重要前提条件与限制

在实施 PCIe Passthrough 之前，务必确认满足以下条件：

1. 硬件支持：
   • ESXi 主机 CPU： 必须支持 Intel VT-d 或 AMD-Vi (IOMMU) 技术，这是实现设备隔离和直接映射的基础，在 BIOS/UEFI 中必须启用此功能（通常位于 CPU 配置或高级芯片组设置中）。
   • 物理网卡 (pNIC)： 该网卡本身及其固件必须兼容 PCIe Passthrough，大多数现代服务器级网卡（Intel X710/XXV710, Mellanox ConnectX 系列等）都支持。关键点：该网卡不能是 ESXi 管理网络或 vSAN 网络当前正在使用的网卡。
   • 主板芯片组： 主板芯片组也需要支持 VT-d/AMD-Vi 的完整功能集。
2. ESXi 许可： PCIe Passthrough 功能需要 vSphere Enterprise Plus 或 vSphere Standard 许可证（具体功能可用性请查阅对应版本的 vSphere 文档），免费的 ESXi Hypervisor 通常不支持 Passthrough。
3. 虚拟机兼容性： 目标虚拟机的硬件版本需要足够新以支持 Passthrough（通常硬件版本 7 或更高更可靠），虚拟机操作系统必须能找到并安装正确的物理网卡驱动。
4. 失去主机管理功能： 一旦网卡被直通给虚拟机：
   • ESXi 主机无法再通过该网卡进行任何网络通信（管理流量、vMotion、存储流量等）。
   • 与该网卡相连的物理端口不再属于任何 vSwitch。
   • 该网卡相关的统计、监控和高级特性（如 NetFlow）在 vCenter 中可能不可用或受限。
5. vMotion 限制： 启用了 Passthrough 设备的虚拟机无法进行 vMotion（热迁移），因为物理设备无法在主机间即时迁移，如果需要进行迁移，必须先关闭虚拟机，移除 Passthrough 设备配置，迁移后再重新配置。SR-IOV 是解决此限制的替代方案（见下文对比）。
6. DMA 保护： 确保启用了 IOMMU (VT-d/AMD-Vi) 以提供必要的 DMA 保护，防止恶意虚拟机通过直通设备直接访问主机或其他虚拟机内存。

配置步骤 (通过 vSphere Client / vCenter)

以下是在 ESXi 主机上为虚拟机配置物理网卡直通的标准步骤：

1. 识别目标物理网卡：
   • 登录 vSphere Client (连接到 vCenter 或直接连到 ESXi Host)。
   • 导航到目标 ESXi 主机。
   • 进入 配置 (Configure) 选项卡。
   • 在 硬件 部分，选择 PCI 设备 (PCI Devices)。
   • 在列表中,找到你要直通的物理网卡，通过 设备名称 (Device Name) 和 供应商/设备 ID (Vendor/Device ID) 来准确识别（vmnic2 对应 Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Controller），记下设备名称（如 0000:03:00.0）或勾选旁边的复选框。确认该设备当前未被主机使用！
2. 为 ESXi 主机启用 Passthrough：
   • 仍在 PCI 设备 列表页面。
   • 找到目标网卡,点击其右侧的 切换直通 (Toggle Passthrough) 按钮（图标通常像一个小芯片加箭头），状态会变为 活动 (Active)。
   • 重要： 启用 Passthrough 后，需要 重启 ESXi 主机 才能使更改生效，系统会提示你，请确保在维护窗口操作。
3. 将直通设备添加到虚拟机：
   • 主机重启后,导航到目标 虚拟机。
   • 右键单击虚拟机,选择 编辑设置 (Edit Settings)。
   • 在 虚拟硬件 (Virtual Hardware) 选项卡中，点击 添加新设备 (Add New Device) 按钮。
   • 从下拉菜单中选择 PCI 设备 (PCI Device)。
   • 在新增的 PCI 设备下拉菜单中，选择你之前启用 Passthrough 并重启后生效的那个物理网卡设备（通常显示设备名称和型号）。
   • 根据需要调整其他设置（如预留所有内存 – 对于 Passthrough 设备通常建议预留，以确保资源可用）。
   • 点击 保存 (OK)。
4. 在虚拟机内安装驱动：
   • 启动该虚拟机。
   • 进入虚拟机操作系统。
   • 操作系统通常会检测到新硬件（一个未知的 PCIe 网络控制器）。
   • 安装该物理网卡对应的、适用于虚拟机操作系统版本的原厂驱动程序。 从网卡制造商（如 Intel, Mellanox/NVIDIA, Broadcom）官网下载最新驱动。
   • 安装完成后,配置虚拟机的网络设置（IP 地址、子网掩码等），就像在物理服务器上配置该网卡一样。

替代方案：SR-IOV (单根 I/O 虚拟化)

PCIe Passthrough 提供了最佳性能和隔离性，但牺牲了 vMotion 等关键虚拟化功能。SR-IOV 是一个重要的替代或补充技术：

• 原理： SR-IOV 允许一个物理网卡（称为 Physical Function – PF）创建出多个独立的、轻量级的虚拟功能实例（称为 Virtual Functions – VF），每个 VF 可以直通给一个不同的虚拟机。
• 优势：
  • 性能接近 Passthrough： VF 直接访问硬件资源，绕过 vSwitch 数据平面。
  • 保留 vMotion： 支持 SR-IOV 的虚拟机可以进行 vMotion（需要物理网卡、ESXi 主机和目标主机、vSwitch 均正确配置支持 SR-IOV）。
  • 更高的密度： 一个物理网卡可以服务多个虚拟机。
• 配置： 比 Passthrough 更复杂，需要：
  • 物理网卡、ESXi 主机驱动、vSwitch 均支持 SR-IOV。
  • 在 ESXi 主机上为物理网卡启用 SR-IOV 并设置 VF 数量（在 配置 > 网络 > 物理网卡 > 编辑设置 中）。
  • 创建或修改 vSwitch，将其类型设置为 SR-IOV 物理网卡上行链路。
  • 在虚拟机设置中添加 SR-IOV 网络适配器 并选择对应的 VF 或网络池。
  • 虚拟机内仍需安装 VF 的特定驱动（通常由网卡厂商提供）。

Passthrough vs. SR-IOV 简单对比

最佳实践与排错

• 规划隔离： 仔细规划哪些物理端口用于 Passthrough/SR-IOV，哪些用于主机管理、vMotion、存储等，使用独立的物理网卡。
• 固件与驱动： 始终保持 ESXi 主机、物理网卡固件 (firmware)、虚拟机内网卡驱动为最新稳定版本，这是稳定性和兼容性的关键。
• 预留内存： 为使用 Passthrough/SR-IOV 设备的虚拟机预留所有内存，避免因内存回收影响设备 DMA 操作。
• 测试验证： 在生产环境部署前，务必在测试环境中充分验证性能、功能和稳定性，使用 ping (低延迟), iperf3/ntttcp (带宽), netperf (TCP/UDP 性能) 等工具测试。
• 排错：
  • Passthrough 启用失败/虚拟机无法添加设备： 检查 BIOS 中 VT-d/AMD-Vi 是否启用；确认 ESXi 许可证支持；检查主机日志 (/var/log/vmkernel.log) 查找相关错误（搜索关键词 passthru, IOMMU, 设备 ID）。
  • 虚拟机内无法识别设备/驱动问题： 确认添加了正确的 PCI 设备；在虚拟机操作系统设备管理器中检查未知设备；务必安装网卡制造商提供的、匹配操作系统版本的最新驱动；检查虚拟机硬件版本是否足够新。
  • 网络不通： 检查虚拟机内 IP 配置、VLAN 设置（如果直通端口连接的交换机端口配置了 VLAN，虚拟机内需配置对应 VLAN 或 Trunk）、物理链路状态、交换机端口配置，确认直通网卡没有插在主机管理网络使用的交换机端口上。
  • 主机不稳定/PSOD (紫屏)： 通常由有缺陷的驱动（ESXi 主机驱动或虚拟机内驱动）、有问题的固件或不兼容的硬件引起，更新固件和驱动是首要步骤，检查 vmkernel.log 和 vmkwarning.log 中的崩溃信息。

通过 ESXi 的 PCIe Passthrough 或 SR-IOV 技术，虚拟机能够直接访问和使用物理网卡，为需要极致网络性能、超低延迟或特殊硬件功能的苛刻应用场景提供了强大的解决方案，Passthrough 提供最高级别的性能和隔离，但牺牲了 vMotion 等灵活性；SR-IOV 则在提供接近 Passthrough 性能的同时，保留了 vMotion 能力和更高的设备利用率，成功实施的关键在于严格满足硬件、软件许可和配置的先决条件，遵循最佳实践（尤其是保持固件和驱动更新），并在生产部署前进行彻底的测试，理解这两种技术的差异和适用场景，有助于为特定的工作负载选择最优的网络虚拟化方案。

引用说明：

• 本文核心概念和功能基于 VMware vSphere 官方产品文档 (特别是关于 PCI Passthrough, DirectPath I/O, SR-IOV 的章节)，具体配置步骤和可用性可能因 vSphere 版本而异，请参考对应版本的官方文档。
• 硬件支持细节（CPU VT-d/AMD-Vi, 网卡兼容性）参考了主要硬件供应商（如 Intel, AMD, NVIDIA (Mellanox), Broadcom）发布的关于其处理器、芯片组和网络适配器虚拟化支持的白皮书和产品规格说明。
• 最佳实践和排错建议综合了 VMware 知识库 (KB) 文章、VMware 社区论坛讨论以及行业内的普遍经验总结。