为了实现高可靠性和冗余部署，当今大多数企业网络及其数据中心跨越了多个位于不同地理位置的物理站点，在这些站点部署类似的业务，在这些站点之间进行二层互通。为了实现站点间的资源动态调配和管理，虚拟机在数据中心之间要能够自由迁移，由于虚拟机迁移过程对用户透明，不能改变IP地址，所以必须在分布于异地的站点之间实现二层网络互联。
图1 站点二层互联
以太网虚拟化互联(EVI：Ethernet Virtual Interconnection)技术基于现有的服务提供商网络和企业网络，给分散的物理站点提供灵活的二层互联功能。EVI解决方案部署非常简单，成本低廉，只需要在站点边缘部署一个或多个支持EVI功能的设备，企业网络和服务提供商网络无需做任何变动。
1 EVI原理分析
1.1 基本概念
EVI是一种先进的"MAC in IP"技术，用于实现基于IP核心网络的L2VPN技术。通过EVI技术在站点的边缘设备上维护路由和转发信息，而无需改变站点内部和核心网络。
EVI整体网络由站点网络、交叠网络和核心网络组成(如图2所示)。
ž 站点网络是通过一台或者多台边缘设备连接到核心网络的具有独立业务功能的二层网络，通常由单个组织管理控制，主要由主机和交换设备组成，边缘设备提供站点之间的二层交换功能;
ž 交叠网络是站点边缘设备之间建立的虚拟网络，提供站点网络之间的二层互联，相互通告连接到边缘设备所有主机和路由器的MAC地址，将多个站点互联形成更大的二层转发域;
ž 核心网络是主要由IP路由设备承载的提供站点网络之间互联的网络。
图2 EVI网络模型
交叠网络实现VLAN在不同站点之间的扩展，主要由交叠接口和虚拟连接组成，在数据平面承载站点间扩展的VLAN的二层流量，在控制平面通过IGP协议在站点之间通告主机和路由器的MAC地址可达性信息，管理平面通过邻居发现协议来实现站点的自动发现功能，简化网络配置管理工作。另外，交叠网络还实现了ARP流量优化功能来减少广播流量对带宽的占用。
不同的VLAN承载不同的业务功能，需要扩展的站点也不同，从而交叠网络支持多实例功能，不同实例的控制平面协议交互以及数据平面流量转发完全隔离，扩展VLAN不能重叠，并且可以独立的配置每个实例的相关网络参数如IGP时间参数，认证参数等。每个实例表示一个VPN，使用Network ID来唯一标识。如图3所示定义了三个VPN实例。
图3 交叠网络多实例
EVI术语介绍
边缘设备：位于站点边缘的执行EVI功能的交换设备，在站点网络作为二层设备运行，在核心网络作为L3设备运行。它完成从站点网络到核心网络的报文封装，以及核心网络到站点网络的报文解封装。
承载接口：边缘设备上的连接到核心网络的三层接口，是对原始以太帧进行隧道封装之后的报文在核心网中传输的源头。该三层接口拥有核心网络地址空间的IP地址，可以是三层以太网口、三层聚合接口、VLAN虚接口、三层环回口接口等类型。每个交叠网络实例都拥有承载接口，不同的实例可以共用相同的承载接口。
交叠接口：边缘设备之间互联的point-to-cloud类型接口，使得边缘设备在同一个交叠网络实例上连接到一个HUB上，每个交叠网络实例都拥有该逻辑接口，能复制广播和组播报文，给从站点内部过来的L2帧提供IP封装(包括单播和组播封装，目前只支持单播，后续会支持组播封装)。该逻辑接口通过承载接口收发报文。
虚拟连接：在相同的交叠网络实例中，边缘设备之间的一条双向的虚拟以太通道，完成边缘设备之间的数据透明传输。该通道由GRE隧道承载，一条隧道上可以承载多条虚拟连接，可以用交叠接口和远端边缘设备的IP地址来标识一条虚拟连接。
邻居发现协议：EVI邻居发现协议(ENDP)，用于自动发现站点及边缘设备，建立和维护边缘设备之间的虚拟连接，交互交叠网络的成员信息。该协议的使用可以大大简化网络配置，减少网管工作人员的维护工作量。
站点标识：每个站点的边缘设备会在交叠网络上通告站点标识信息，该站点标识唯一确定一个站点。具有不同站点表示的边缘设备不能建立站点内邻居关系。
#p#
1.2 运行原理分析
1.2.1 控制平面原理
邻居发现过程
EVI的重要特点是通过边缘设备的控制平面之间通告MAC地址信息，这些MAC信息用来指导数据平面的报文转发过程。在通告MAC地址信息之前，边缘设备之间必须相互发现对方且形成邻居关系。
ENDP(邻居发现协议)主要用于实现跨站点的邻居发现功能。如图4所示，在整个EVI邻居发现过程中有两个实体ENDC(邻居发现客户端)和ENDS(邻居发现服务器)，ENDS用来维护同一交叠网络实例中所有的客户端(即EVI边缘设备)信息，包括IP地址、站点标识等，ENDS通过接收ENDC的注册报文来学习ENDC的信息，同时通过注册应答报文向ENDC发布交叠网络实例中所有的成员ENDC信息，ENDC收到应答报文后通知建立相应的虚拟转发通道。
图4 EVI邻居自动发现过程
各个实体间的关系及交叠网络的建立过程如下：
步骤一：ENDS，ENDC部署在站点边缘设备上。
步骤二：ENDC向ENDS发起注册，发送注册请求报文，携带自身的IP、站点标识。
步骤三：ENDS向ENDC发送应答报文，报文中携带所有ENDC信息。
ENDC收到应答后建立虚拟转发通道，对于核心网络组播复制模式，触发边缘设备加入核心网络提供的任意源组播组。
交叠网络中所有成员站点的边缘设备进行相同的注册过程，最后每个成员均自动发现交叠网络实例内的所有成员信息。为了安全起见，可以配置认证参数来防止恶意的节点注册到交叠网络。为了保证交叠网络注册过程的高可靠性，可以配置多个邻居服务器进行相互备份。边缘设备发现交叠网络的邻居之后，就建立数据平面虚拟转发通道，包括用于单播转发的虚拟连接和组播转发的核心网络组播树通道。
MAC地址通告
经过邻居自动发现过程建立了边缘设备之间的交叠网络之后，在该交叠网络上运行ISIS路由协议来通告单播MAC地址可达性信息(如图5所示)，该路由协议与站点内部或核心网中的L3网络的路由协议之间相互独立，互不影响。在边缘设备上配置了隧道接口时自动启用了ISIS路由协议，无需额外的配置，但可以调节该路由协议的参数。
交叠网络上的ISIS路由协议主要包括ISIS邻居协商、LSP更新等过程，涉及到的报文都在邻居发现协议建立的虚拟通道中传输。ISIS运行在点对点的虚拟连接之上，任意两个边缘设备之间为点对点的虚拟链路，边缘设备将ISIS Hello，LSP报文进行单播IP地址封装，并进行复制向每个远端边缘设备发送。
图5 交叠网络ISIS协议交互过程
MAC地址信息发布过程如下(如图6所示)：
图6 MAC地址发布过程
步骤一：站点1边缘设备在内部接口学习到新的MAC，ISIS进程将该MAC地址在LSP报文中发布，发送LSP更新消息。
步骤二：LSP更新消息到达交叠网络的其他边缘设备。
步骤三：其他边缘设备解封装报文并交由控制平面ISIS进程处理。
步骤四：ISIS进程学习LSP中新的MAC地址并将地址写入本地MAC转发表。
MAC地址的回收过程与上述过程类似，如果某个网络实体从网络中移除，边缘设备会老化该MAC表项并且删除，触发控制平面的ISIS进程的MAC更新过程，从而其他所有的边缘设备将删除该MAC地址。
#p#
1.2.2 数据平面原理
单播流量
一旦边缘设备在EVI控制平面建立了邻居关系且交互MAC可达性信息之后，就可以在站点之间转发流量。对于站点内流量，边缘设备进行VLAN内源MAC地址学习，根据目的MAC地址二层查找MAC地址表，从相应的本地接口转发。如图7所示，主机1(MAC1)向主机2(MAC2)发送以太帧时，边缘设备从端口Eth1收到该以太帧后，学习MAC1到Eth1端口，查找MAC表得到MAC2的出端口为Eth2，从端口Eth2发送以太帧。
图7 站点内二层流量转发
对于站点之间的二层流量转发则与传统的二层转发大不相同，流量转发的处理步骤如下(如图8所示)：
图8 站点间的二层流量转发
步骤一：边缘设备收到以太帧之后，进行源MAC地址学习，目的MAC地址查找本地MAC表，但此时得到的出接口不是本地物理接口，而是EVI隧道接口且邻接信息是异地站点通过ISIS路由协议发布该MAC路由信息的边缘设备的IP地址。
步骤二：边缘设备将原始的以太帧进行EVI封装：外层IP头中的源IP地址为EVI隧道承载接口的IP地址，目的IP地址是MAC查找得到的异地边缘设备的IP地址。
步骤三：边缘设备将封装后的报文从承载接口发送到核心网，最终到达异地站点的边缘设备。
步骤四：异地站点的边缘设备对报文进行解封装。
步骤五：异地站点的边缘设备根据以太帧目的MAC地址进行查找，得到出接口为本地接口，并且从本地接口发送该以太帧，最终到达目的主机。
组播流量
当位于相同VLAN的异地主机之间需要交互组播流量时，就需要在交叠网络上传输组播帧。组播流在边缘设备进行复制，组播源所在站点的边缘设备单播发送组播帧到组播组成员所在的站点边缘设备。
边缘设备在扩展VLAN上运行组播侦听协议，将边缘设备之间的虚拟连接当作普通的以太网接口，在该类型的接口上学习组播路由器端口和组播成员端口。边缘设备控制平面将IGMP、MLD、PIM协议报文封装在隧道中，单播发送到拥有相同扩展VLAN的异地其他站点边缘设备，其他边缘设备在本地站点内部该VLAN内进行泛洪。IGMP查询报文的处理过程以及边缘设备学习的表项示例如下(如图9所示)：
图9 特定组查询过程
步骤一：指定路由器发送特定组查询报文。
步骤二：边缘设备(图9中IP1设备)侦听该报文，学习组播组地址信息以及路由器端口Eth1;
步骤三：并将该报文封装在隧道中发送到站点2和站点3的边缘设备。
步骤四：其他站点边缘设备对报文进行解封装，学习组播组地址信息及路由器端口为EVI-Link1。
步骤五：其他站点的边缘设备。将特定组查询报文在站点内部泛洪，最终到达VLAN内的所有主机。
通过IGMP报文加入特定组的处理过程以及边缘设备学习的表项示例如下(如图10所示)：
图10 特定组加入过程
步骤一：组播成员发送特定组加入报文。
步骤二：边缘设备侦听该报文，学习到组播成员端口Eth1。
步骤三：边缘设备将该报文封装在组播路由器端口EVI-Link1对应的隧道中，单播发送到站点1(组播源)边缘设备。
步骤四：组播源所在站点的边缘设备对报文进行解封装，学习到组播成员端口EVI-Link1和EVI-Link2。
步骤五：组播源所在站点的边缘设备将加入报文在路由器端口Eth1发送到达指定路由器，指定路由器将VLAN接口设置为路由器出接口。
组播数据流的处理过程类似于对IGMP查询报文的处理过程，此处不再赘述。
隧道封装格式
边缘设备对原始以太帧进行GRE封装，添加外层IP头、链路层头、校验和信息，发送到核心网。边缘设备对原始以太帧不做任何修改，设置IP头中的禁止分片标志，最终核心网络传输的报文长度增加了46字节(如图11所示)。
图11 EVI隧道封装格式
EVI解决方案没有定义路径MTU发现功能，部署EVI之前要保证核心网络的MTU大于隧道封装的最大帧长度。
水平分割防止环路
边缘设备默认实现水平分割功能，防止在交叠网络的多个边缘设备之间形成环路，即从EVI隧道解封装之后的以太帧只会在站点内部进行转发，不会再转发到核心网，如图12所示。
图12 EVI水平分割
ARP流量优化
为了减少目的MAC地址为广播MAC的报文泛洪到核心网，在边缘设备侦听从隧道终结的报文中的ARP应答报文，在本地建立ARP缓存，当后续本站点内部的ARP请求直接从边缘设备进行代答，如图13所示。
图13 ARP代答过程
ARP流量优化的处理过程和步骤描述如下：
步骤一：站点3的主机发送ARP请求，获取IP-A的MAC地址。
步骤二：站点A的边缘设备将ARP请求报文进行泛洪，复制并封装转发到核心网络最终转发到站点1、2的边缘设备，站点1、2的边缘设备对ARP报文进行解封装将封装，在站点内部进行泛洪到达目的主机。
步骤三：目的主机发送ARP应答报文。
步骤四：站点3的边缘设备收到应答报文后建立ARP缓存，并将应答报文发送到原主机。
步骤五：站点3内后续其他主机发送ARP请求获取IP2的MAC地址时。
步骤六：站点3的边缘设备查找本地ARP缓存，对该ARP请求回送ARP应答报文。
#p#
2 EVI数据中心应用模型
2.1 数据中心之间EVI应用模型
数据中心之间需要二层互联，建议在数据中心添加独立的边缘层设备负责数据中心之间的二层互联，边缘层支持设备冗余以提升高可靠性。当然，如果数据中心汇聚层设备支持MDC(Multitenant Device Context)特性*(关于MDC的详细介绍，请参考《IP领航》2012年第5期总第24期“1:N的网络设备虚拟化技术——Multitenant Device Context (MDC)”一文)[u2] ，可以在现有汇聚层设备上划分出一个逻辑独立的边缘层设备。这样可以减少网络设备的数量，降低成本。标准的EVI部署模型如图14所示。
图14 数据中心之间EVI部署模型
2.2 数据中心内部EVI应用模型
数据中心内部网络的发展历经三个阶段(如图15所示)：
l Full Layer3网络，三层到接入，全网路由协议;
l L3+L2网络，核心到汇聚运行路由协议，汇聚到接入运行L2协议;
l Full layer2网络，网关在核心，全网L2协议。
图15 数据中心网络发展阶段
Full layer3网络属于传统的数据中心网络。服务器网关部署在接入交换机上，整网通过路由协议控制拓扑和转发路径。这样的网络架构的主要优势在于技术成熟、有大量的运维经验。网络系统稳定且便于维护。但是Full layer3网络的不足之处在于不能支持虚拟化数据中心虚拟机的自由迁移，所以在进入云计算时代后，Full layer3网络逐渐被淘汰。Full layer2网络是下一代数据中心的网络模型。服务器网关在核心层，整网通过TRILL或是SPB协议控制拓扑和转发路径。这样的网络架构主要优势在于能够支持大规模的二层网络，能够支持足够规模的虚拟机资源池。但是，这个网络模型的缺点也是非常明显的。TRILL协议虽然已经标准化(SPB协议正在标准化)，但是大规模的二层网络缺乏运维经验。没有运维经验，也就意味着运维成本的大幅度提升，同时也会给业务系统带来巨大的风险。
综上可以看出，从传统的三层网络模型到未来的大二层网络模型，不适宜一步到位。最合适的方式就是有一个合理的过度模型——L3+L2网络模型。服务器网关在汇聚层。汇聚层到接入层通过IRF等类堆叠和链路聚合技术实现小规模二层网络构建。核心层到汇聚层之间通过路由协议控制。无论是路由协议，还是类堆叠和链路聚合技术都是非常成熟的技术，稳定且有丰富的运维经验。这样的网络架构能够支持资源规模虚拟化，同时又是成熟稳定的，其唯一的缺点是不能够支持大规模的虚拟机资源池化，而EVI技术恰恰可以解决这一问题。
图16 EVI部署在数据中心内部汇聚层组网模型
如图16所示是一个典型的L3+L2网络架构，成熟稳定，在汇聚层上部署EVI特性，通过核心与汇聚之间的IP网络建立Vlink实现二层互通。通过EVI特性将指定的多个二层域连接起来，形成一个完整的大规模二层网络。这样就可以实现虚拟机大规模池化功能。同时，可以避免使用TRILL或是SPB协议带来的运维风险。
由于EVI特性可以通过汇聚层和核心层之间的IP网络实现二层互通，所以通过EVI扩展多个二层域的时候不需要更改布线或是设备，仅仅需要在汇聚设备上启用EVI特性即可。这样可以平滑的扩展二层网络的规模。
图17 EVI平滑扩展数据中心二层网络的规模
如图17所示，目前L3+L2+EVI是最适合云计算虚拟化数据中心网络的模型。其主要的优点包括：
l 技术成熟，架构稳定;
l 丰富的运维经验，便于维护;
l 平滑的扩容能力，能够支持大规模二层网络。
3 结束语
EVI是多个二层域之间通过overlay网络实现二层互联互通的有效手段。从应用的角度来看，可以实现多个数据中心之间的二层互联互通，也可以实现同一个数据中心内部多个不同的二层域之间的互联互通。组网方式非常灵活，简单。是未来实现大规模二层网络组网的有力手段。
