对称RSS

在网络应用中,如果同一个连接的双向报文在开启RSS之后被分发到同一个CPU上处理,这种RSS就称为对称RSS。 对于需要为连接保存一些信息的网络应用来说,对称RSS对性能提升有很大帮助。 如果同一个连接的双向报文被分发到不同的CPU,那么两个CPU之间共享这个连接的信息就会涉及到锁,而锁显然是会影响性能的。

RSS一般使用Toeplitz哈希算法,该算法有两个输入:一个默认的hash key和从报文中提取的五元组信息。 DPDK使用的默认hash key是微软推荐的,具体定义见lib/librte_pmd_e1000/igb_rxtx.c:1539, 同一个连接的不同方向使用这个默认值计算出来的hash值是不一样的。

具体讲就是{src: 1.1.1.1, dst: 2.2.2.2, srcport: 123, dstport: 456}和{src: 2.2.2.2, dst: 1.1.1.1, srcport: 456, dstport: 123} 计算出来的hash值是不一样的,hash值不一样就会导致两个方向的报文被分发到不同的接收队列,由不同的CPU进行处理。

如果想达到对称RSS的效果,那么需要使用其他hash key替换掉DPDK目前使用的。 在论文《Scalable TCP Session Monitoring with Symmetric Receive-side Scaling》中提到了一个hash key可以做到对称RSS

这里给出hash key的值,具体原理可以参考论文。

static uint8_t rss_intel_key[40] = { 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, };

static const struct rte_eth_conf port_conf_default = 
{
    .rxmode = {
                .max_rx_pkt_len = ETHER_MAX_LEN,
                .mq_mode = ETH_RSS
              },
    .rx_adv_conf = {
            .rss_conf = {
                .rss_key =  rss_sym_key,//这个地方修改为对称rss
                .rss_hf = ETH_RSS_IP|ETH_RSS_TCP
            }    
        }
};