腾讯云正在自研全新高性能传输协议HARP：支持10000+节点大规模组网

除了常见的TCP/IP协议和RoCE协议，腾讯云正在开发新的高性能传输协议HARP借助该协议，数据中心可以轻松支持10000+节点的大规模组网，以及故障网络的微秒级复活，实现零断链

HARP是完全自主研发的数据中心高性能传输协议HARP在保证端到端数据报文可靠传输的同时，可以为上层应用提供高可用，可扩展，高性能的网络传输服务

市场上已经有各种网络传输协议为什么腾讯云从0到1开始开发新的传输协议主要原因是伴随着应用规模和需求的不断发展，数据中心网络的可靠性和性能面临巨大挑战，以往的协议逐渐无法满足现有业务的发展

首先，从可靠性上来说，数据中心的交换机出现亚健康状态是不可避免的这种情况会增加业务的响应延迟，或者导致业务超时后断链其次，在性能方面，带宽敏感型应用和延迟敏感型应用日益增多，数据中心应用的部署规模越来越大在集体通信的场景下，经常会出现大量的并发数据传输，这对现有网络传输协议的可扩展性提出了更高的要求

因此，腾讯需要重新设计一套新的传输协议，既能满足上层应用对高可用网络传输的要求，又能提供高带宽，低延迟的数据传输服务，维持大规模部署下的网络性能。

竖琴有三个主要特点:

高可用:通过多路并行传输和实时链路检测，在微秒级切换故障链路，使上层服务在网络故障时完全不知情，没有明显的性能抖动。

高可扩展性:通过共享连接的设计和协议本身的优化，在大规模组网的情况下，硬件资源消耗仍然极低，在轻松支持1w+节点组网的情况下，节点间的通信性能没有明显下降，远优于传统ROCE网络的组网能力。

高性能:自主研发的拥塞控制算法，在实现各种负载时，可以实现极高的传输带宽和稳定的时延，对网络能力没有明显的依赖。

技术上是如何实现的。

1.可配置粒度的共享连接，最多可支持10，000+节点的组网。

为了满足各种业务环境和大规模组网的要求，HARP支持裸连接，VM级共享和主机级共享的连接模式通过共享连接，HARP可以大大减少连接数量，降低硬件实现的资源消耗，实现高可扩展性，轻松支持10000+节点的大规模组网

2.独立的硬件和软件事务，提供200Gbps的最高性能输出。

HARP采用软硬件分层的事务层和可靠传输层的设计，分工明确:硬件负责需要高效可靠传输的消息级事务，软件部分提供高度灵活的消息处理，满足业务特性的要求，不占用有限的硬件资源。

最终，HARP可以在10000+节点的网络规模业务中支持200Gbps的最高性能输出，对于AI训练，键值存储，分布式大数据应用等场景具有独特的价值。

3.自主开发的拥塞控制算法将消息完成时间中位数减少了35%。

HARP采用自主研发的拥塞控制算法PEAD，能够准确感知网络拥塞，维持高吞吐量，保证网络畅通与TCP相比，HARP消息的中值完成时间减少了35%，99%数据包的网络排队延迟减少了90%

4.确定性多径传输和微秒级路径交换。

HARP协议吸收了TCP和UDP的优点，通过自主开发的消息编号方案跟踪每条消息的发送和接收状态HARP以极低的开销支持乱序接收和选择性重传，从而保证消息的可靠传输

同时，HARP通过确定性多路径传输和微秒级路径切换，为上层应用提供高可用的网络服务。

HARP在每个连接中采用多路径传输，每条路径都具有独立的拥塞检测能力基于自主研发的拥塞控制算法的优秀网络控制和感知能力，HARP的路径管理模块会根据路径的拥塞情况进行调度，快速可靠地检测出路径故障，并在100微秒内重新检测出新的可用路径，从而保证单个交换机故障时链路断开的概率为零与TCP故障时的典型重连恢复时间相比，HARP减少了99.9%

本站了解到，HARP最初是为存储和高性能计算场景而设计的，现在也已经登陆了腾讯云硬盘和弹性RDMA业务HARP作为高性能通信基础，可应用于数据中心对网络性能要求较高的服务，如AI训练，键值存储，分布式大数据应用等

目前，腾讯云的工程师正在不断完善其高性能通信库，包括使用Socket，IB Verbs，libfabric，UCX等通信接口接入HARP传输协议，从而扩大HARP的生态。