InfiniBand
InfiniBand(直译为“无限带宽”技术,缩写为IB)是一个用于高性能计算的计算机网络通信标准,它具有极高的吞吐量和极低的延迟,用于计算机与计算机之间的数据互连。InfiniBand也用作服务器与存储系统之间的直接或交换互连,以及存储系统之间的互连。[1]
截至2014年,它是超级计算机最常用的互连技术。Mellanox和英特尔制造InfiniBand主机总线适配器和網路交換器,并根据2016年2月的报道,[2]甲骨文公司已经设计了自己的Infiniband交换机单元和服务器适配芯片,用于自己的产品线和第三方。Mellanox IB卡可用于Solaris、RHEL、SLES、Windows、HP-UX、VMware ESX、[3] AIX。[4]它被设计为可扩展和使用交换结构的网络拓扑。
作为互连技术,IB与以太网、光纤通道和其他专有技术[5](例如克雷公司的SeaStar)竞争。该技术由InfiniBand贸易联盟推动。
规格
性能
特征 |
||||||||
|
SDR |
DDR |
QDR |
FDR-10 |
FDR |
EDR |
HDR |
NDR |
信令速率 (Gb/s) |
2.5 |
5 |
10 |
10.3125 |
14.0625[6] |
25 |
50 |
100 |
理论有效吞吐量,Gb/s,每1x[7] |
2 |
4 |
8 |
10 |
13.64 |
24.24 |
||
4x链路速度 (Gbit/s) |
8 |
16 |
32 |
40 |
54.54 |
96.97 |
||
12x链路速度 (Gbit/s) |
24 |
48 |
96 |
120 |
163.64 |
290.91 |
||
编码(位元) |
8/10 |
8/10 |
8/10 |
64/66 |
64/66 |
64/66 |
||
延迟时间(微秒)[8] |
5 |
2.5 |
1.3 |
0.7 |
0.7 |
0.5 |
||
年[9] |
2001、 |
2005 |
2007 |
2011 |
2014[7] |
2017[7] |
2020年后 |
链路可以聚合:大多数系统使用一个4X聚合。12X链路通常用于计算机集群和超级计算机互连,以及用于内部網路交換器连接。
InfiniBand也提供远程直接内存访问(RDMA)能力以降低CPU负载。
拓扑
InfiniBand使用一个交换结构拓扑,不同于早期的共享媒介以太网。所有传输开始或结束于通道适配器。每个处理器包含一个主机通道适配器(HCA),每个外设具有一个目标通道适配器(TCA)。这些适配器也可以交换安全性或QoS信息。
消息
InfiniBand以最高4 KB的封包发送消息数据。一条消息可以为:
- 一个直接記憶體存取的读取或写入,对于一个远程节点(RDMA)。
- 一个信道发送或接收
- 一个基于事务的操作(可以逆向)
- 一个多播传输。
- 一个原子操作
物理互连
InfiniBand与CX4/SFF-8470连接的交换
除了板式连接,它还支持有源和无源铜缆(最多30米)和光缆(最多10公里)。[10]使用QSFP连接器。
Inifiniband Association也指定了CXP铜连接器系统,用于通过铜缆或有源光缆达到高达120 Gbit/s的能力。
API
InfiniBand没有标准的应用程序接口。標準只列出一組的動作例如 ibv_open_device
或是 ibv_post_send
,這些都是必須存在的子程序或方法的抽象表示方式。這些子程序的語法由供應商自行定義。事實標準的軟體堆疊標準是由 OpenFabrics Alliance 所開發的。它以雙許可證方式發佈,GNU通用公共许可证或BSD许可证用於 GNU/Linux 以及 FreeBSD,且 WinOF 在 Windows 下可以選擇 BSD许可证。它已被大多數 InfiniBand 供應商採用,用於 GNU/Linux、FreeBSD 以及 Windows。
历史
InfiniBand源于1999年两个竞争设计的合并:未来I/O与下一代I/O。这促成了InfiniBand贸易联盟(InfiniBand Trade Association,缩写IBTA),其中包括康柏、戴爾、惠普、IBM、英特尔、微软及昇陽。当时有人认为一些更强大的电脑正在接近PCI总线的互连瓶颈,尽管有像PCI-X的升级。[11]InfiniBand架构规范的1.0版本发布于2000年。最初,IBTA的IB愿景是取代PCI的I/O,以太网的机房、计算机集群的互连以及光纤通道。IBTA也设想在IB结构上分担服务器硬件。随着互聯網泡沫的爆发,业界对投资这样一个意义深远的技术跳跃表现为犹豫不决。[12]
时间线
- 2001年:Mellanox售出InfiniBridge 10Gbit/s设备和超过10,000个InfiniBand端口。[13]
- 2002年:英特尔宣布将着眼于开发PCI Express而不是采用IB芯片,以及微软停止IB开发以利于扩展以太网,IB发展受挫,尽管Sun和日立继续支持IB。[14]
- 2003年:弗吉尼亚理工学院暨州立大学建立了一个InfiniBand集群,在当时的TOP500排名第三。
- 2004年:IB开始作为集群互连采用,对抗以太网上的延迟和价格。[12]OpenFabrics Alliance开发了一个标准化的基于Linux的InfiniBand软件栈。次年,Linux添加IB支持。[15]
- 2005年:IB开始被实现为存储设备的互连。[16]
- 2009年:世界500强超级计算机中,259个使用千兆以太网作为内部互连技术,181个使用InfiniBand。[17]
- 2010年:市场领导者Mellanox和Voltaire合并,IB供应商只剩下另一个竞争者——QLogic,它主要是光纤通道供应商。[18] Oracle makes a major investment in Mellanox.
- 2011年:FDR交换机和适配器在国际超级计算会议上宣布。[19]
- 2012年:英特尔收购QLogic的InfiniBand技术。[20]
- 2016年:甲骨文公司制造自己的InfiniBand互连芯片和交换单元。[21]
- 2019年:Nvidia以69亿美元收购Mellanox。[22]
参见
- SCSI RDMA协议
- iSCSI Extensions for RDMA
- iWARP
- 電腦裝置頻寬列表
- 光互連
- 光通訊
- 并行光接口
- 40/100吉比特以太网