【hcie-cloud】【4】华为云Stack规划设计之华为云Stack标准组网【中】

前言、华为云stack交付综述

看这篇文章
【hcie-cloud】【3】华为云stack规划设计之华为云stack交付综述【上】

华为云stack标准组网

标准组网架构

hcs标准组网架构

• 单核心组网
  • 单核心组网场景下，计算节点支持2网口、4网口或者6网口
• 双核心组网
  • 双核心组网场景下，计算节点支持6网口
• 三层组网
  • 三层组网为单核心架构，计算节点在2网口时，不支持高阶服务，计算节点在4网口和6网口时，支持高阶服务

• 说明：

  • type-i方案交换机、路由器、管理墙支持第三方设备；集中式裸机网关/l2br/l3gw需华为ce系列交换机或fm交换机，sfs后端tor仅支持部分华为ce交换机、fm交换机或第三方厂商设备，设备选型原则请查阅《华为云stack8.1.1配置手册》。分布式裸机网关对接入交换机的光模块兼容性适配请参考《华为云stack配置手册》。

• obs tor支持第三方交换机，mrs存算分离场景需为25g交换机，第三方交换机兼容性要求如下：

  • 支持第三方交换机；
  • 支持vlan，eth-trunk端口聚合；
  • 支持vrf配置，用于配置不同业务平面的隔离；
  • 支持ecmp等价路由，并且支持nqa或者类似的技术，配合ecmp做路由状态监测；ecmp下一跳规格需支持到32个下一跳；
  • 支持qos，可按照vlan，dscp，端口等做流量整形，报文优先级排序；
  • 支持动态lacp，指定lacp模式下eth-trunk接口接收报文的超时时间是3秒；
  • obs tor性能要求：必须满足转发时延<4us且buffer>=20mb，支持10g组网和25g组网。mrs存算分离业务时推荐25g交换机并满足转发时延<2us且buffer>=32mb要求；若第三方交换机的时延<2us且buffer>=32mb不满足或采用10g组网，则mrs存算分离业务时obs的性能（时延和带宽）弱于25ge组网。

• 单核心场景的两对接入交换机为管理区tor和业务区tor。支持管理区tor和业务区tor合部署，此时仅需一对接入tor，但此组网时扩容受限，会造成管理节点扩容时跨tor部署导致在管理节点间二层流量跨tor转发，此组网部署时没有明显区分管理区、业务区的物理分区，易导致客户运维复杂增加运维成本。管理区tor和业务区tor合部署时，计算节点规格小于100台。

• 以上选型仅为部分推荐使用的设备型号，如需更多设备选型，请查阅华为云stack硬件兼容性列表；

• 本章节内所有组网图为示意图，管理和计算配置fusionstorage存储为例，具体连线规则（如接口带宽、接口数量等），参见集成设计指导书网络分区设计。

单核心vs双核心组网

如下图

二层组网vs三层组网

• 三层组网：支持单region多出口，支持csdr，不支持region内的灾备（管理面高可用、csha）。2网口不支持高阶服务，4网口、6网口支持高阶服务。
• 核心交换机是作为后续扩容时，多个spine接在同一对核心上

单核心和双核心组网

单核心组网设计和配置

• 设计规格：
  • 规模可超2000pm但受限核心交换机物理口
• 方案优点：
  • 简化网络架构，提升成本竞争力，标准配置需一对核心、两对tor、一对防火墙（管理墙）
    支持计算节点2网口，4网口或者6网口（同一region内网口的选择需保持一致）

• fm交换机、ce系列交换机网络产品线约束仅能m-lag组网交付。
• 第三方交换机选型要求参见《华为云stack配置手册》-工程组网章节。
• 核心交换机（cloudengine 8850-64cq-ei）64个口，管理业务同核心，最多接32个tor，每个tor48口，32*48=1536台服务器

单核心组网 - 计算节点2网口

• 组网整体说明：

  • 1）单核心组网规模可超2000pm但受限核心交换机物理口；单对tor要求不超过88个端口；业务tor下接入网络节点和计算节点，通过外部接入tor支持企业内部网络二层接入云内（l2br）、硬件l3gw专线，外部接入tor与其他tor不支持合布。
  • 2）基础iaas管理平面的网关在核心。
  • 3）核心交换机可以使用ce8850-64cq或者ce12800。交换机arp规格主要依赖于计算节点规格，100pm场景下arp规格需支持2k，2000pm场景下arp需支持20k规格，2000pm场景下arp需支持30k规格。
  • 4）管理墙可以使用第三方的防火墙，旁挂核心交换机。
  • 5）企业内部三层接入：软件方案只支持企业内部接入方案1，交换机支持异构，在核心交换机配置静态路由下行回程到网络节点；上行到企业内部接入网的路由可配置为静态路由，也可在核心交换机与企业内部接入交换机配置动态路由。硬件l3gw方案支持采用企业内部接入方案2，方案2中的外部接入tor需为华为ce系列交换机、fm交换机。
  • 6）外部接入tor支持l2br和l3gw，需为华为ce系列交换机、fm交换机，支持l2br和l3gw共tor部署（企业内部接入方案2），但不与其他tor共用，外部接入tor设备类型请查阅兼容性网站。l2br接入方式：支持刀片服务器直接l2br接入到外部接入tor，但刀片服务器需配置交换板，直通板场景需配置客户tor接入到外部接入tor；不支持非刀片服务器直接l2br接入到外部接入tor，需配置客户tor接入到外部接入tor。
  • 7）基础型云专线只支持采用核心接入方式（企业内部接入方案1），增强型云专线只支持采用外部接入tor方式（企业内部接入方案2）。支持组播需配置外部接入tor，fm系列仅支持6857-48s6cq-ei、6865-48s8cq-si；ce系列仅支持ce6857f-48s6cq、ce6865e-48s8cq、ce6857、ce6865；三层组播在外部网络中由客户物理设备提供，由客户组播设备与外部接入tor互联。
  • 8）分布式sfs节点分1个管理口（ge），两个前端业务口和两个后端存储口，分别接入到前端tor和后端tor，前端tor可与业务区tor复用，后端tor需华为交换机由sfs独占（请查看sfs兼容性列表）。管理口接入到业务区管理tor，前端业务口接入到业务区业务tor，后端存储口接入到sfs独立配置的后端tor；业务区管理tor和业务tor共部署时，管理口和前端业务口接入到业务区管理/业务tor。管理tor为光口交换机时需配置光转电模块接入sfs管理口。集中式sfs节点2个管理口（为ge口，即为bmc口）和8个业务口（支持不同节点业务口三层互通）。管理口连接bmc交换机，与san存储组网相同，bmc交换机需2台堆叠组网。二层组网场景，业务口连接计算节点业务tor；三层组网场景，业务口连接计算节点leaf（计算节点业务leaf）。
  • 9）dew部署在业务区，管理2网口和业务2网口，连接到业务区的管理tor和业务tor。
  • 10）定期连线时在global region管理墙手动配置ipsec vpn隧道与公有云的vpn服务实例建立互通连接，并通过global region连接到其他各个region。因此管理墙需满足与华为云进行vpn对接能力，见华为云vpn与第三方设备对接要求：https://support.huaweicloud.com/intl/zh-cn/vpn_faq/vpn_faq_0053.html。人机通道通过每个region内的堡垒机（部署在管理节点的vm）与公有云vpn互通，通过堡垒机代理与region内的基础iaas管理网络(external_om、dmz_service、bmc) 互通。

• 托管运维长连线场景：

  • 1）运维墙和bmc汇聚仅在托管运维长连线场景配置，每个region配置原则相同。独立global区无需配置bmc汇聚，仅需一台bmc tor，运维墙与bmc tor互联。其他场景，支持运维墙与管理墙合并，此时无需bmc汇聚，与原有定期连线场景组网相同。
  • 2）托管运维长连线场景配置bmc汇聚时，二层组网bmc汇聚与管理核心互联，三层组网bmc汇聚与管理leaf互联。bmc平面网关在bmc汇聚，bmc接入交换机与bmc汇聚互联无需与管理tor互联，bmc汇聚与运维墙直连。独立global区在托管运维长连线场景无需配置bmc汇聚，仅一组bmc交换机，bmc平面网关在bmc tor，运维墙与bmc交换机直连，bmc交换机与管理tor直连。
  • 3）二层组网场景运维墙与管理核心交换机互联，三层组网场景运维墙与border leaf互联，独立global区场景运维墙与管理tor互联。
  • 4）长连线场景与定期连线场景兼容性能力一致，支持第三方交换机。
  • 5）global 运维墙到region区运维墙之间通道通过ipsec vpn互通。
  • 6）运维墙与pe互联通过internet地址vpn隧道与远程运维中心tsc互通。
  • 7）多物理出口分区组网场景，运维墙和bmc汇聚仅部署在同一个出口分区，部署在eip的出口区，如政务场景部署在互联网分区。
  • 8）大数据物理机集群不支持模式一，混合云+大数据物理机集群场景以及独立global区+大数据物理机集群场景长连线组网与定期连线组网相同。

• 管理区：

  • 1）主推：fusionstorage融合部署，兼容：ipsan、fcsan，管理存储采用san存储场景，管理节点需要配置独立存储网口：2*10ge网卡（ip san场景）或hba卡（fc san场景，需配置fc交换机）。
  • 2）管理tor建议独立部署；管理tor可以与业务tor合部署，计算节点规格小于100台。
  • 3）openstack管理平面（external_om）在如下几种场景需要跟bmc带外管理平面互通，组网中bmc接入交换机必须连接到管理接入或者打通bmc带外管理平面与openstack管理平面。
    • esight运维场景：esight通过external_om平面跟带外管理互通实现设备的管理和运维。
    • 裸金属服务场景：openstack通过external_om平面跟裸金属服务器的带外管理平面互通实现裸金属服务器的管理。
    • 卷管理场景：openstack通过external_om平面跟oceanstor存储的带外管理平面互通实现卷创建删除等操作。
    • sfs管理场景：sfs管理组件通过external_om平面跟oceanstor 9000带外管理互通实现设备的管理和运维。

• obs区：

  • 1）obs tor仅obs独占，不与其他节点复用，支持第三方交换机，支持bond4组网。支持mrs存算分离时（高阶服务，需为4网口、6网口）需25g组网，交换机需满足转发时延<2us且buffer>=32mb要求；其他场景支持10g组网，交换机需满足转发时延<4us且buffer>=20mb。融合部署时一组tor起步；分离部署时lvs和service obs node节点接入obs接入tor，其他obs node节点接入obs存储tor，二层组网场景obs接入tor和obs存储tor可合并，推荐obs接入tor和obs存储tor各自独占。obs tor不与其他tor共用。obs node节点跨网卡bond，其中2个网口为管理+业务+存储（管理面访问obs），2个网口为业务（计算节点和internet访问obs）。obs融合部署时，obs node节点所有服务器都是两种类型网口4根连线分为2个bond；分离部署时部署service的obs node节点为两种类型网口4根连线分为2个bond，其他类型obs node节点服务器仅需管理业务类型口2根连线1个管理bond无需业务类型网口。obs lvs节点连线方式不区分融合部署和分离部署。
  • 2）obs tor性能要求：必须满足转发时延<4us且buffer>=20mb，支持10g组网和25g组网。mrs存算分离业务时推荐25g交换机并满足转发时延<2us且buffer>=32mb要求；若交换机的时延<2us且buffer>=32mb不满足或采用10g组网，则mrs存算分离业务时obs的性能（时延和带宽）弱于25ge组网。
  • 3）obs tor在10g组网时标配为ce6881/ce6857，25g组网时标配为ce6863/ce6865。部署mrs存算分离业务时推荐25g组网，obs tor使用ce6863/ce6865；在已有obs业务采用10g组网时新增mrs存算分离也支持，性能弱于25ge组网。10g组网时，每组交换机上行口为2440g；25g组网时，每组交换机上行口为24100g。

单核心组网 - 计算节点4网口

• 单核心组网中仅4网口和6网口场景支持高阶服务，2网口不支持高阶服务（原因在于基于系统容器的数据库服务不支持2网口组网）

• 服务vpc的高级服务在业务区vpc内部署管理vm，通过基础型云专线（public vrf）实现管理区external_om与服务vpc互通以及dmz区与服务vpc elb互通；服务vpc vm通过external_relay_network与dmz区互通；

• 业务区：

  • 1）业务tor一对起配，网络节点在x86和鲲鹏场景下统一都为6网口（管理+业务+存储）部署方案；支持计算节点2网口（管理业务存储）、4网口（管理业务+存储）、6网口（管理+业务+存储）部署方案，不支持计算节点网口混合部署，即除网络节点外，计算节点的网口形态在单region内需一致；cx5网卡场景，在2网口、4网口、6网口场景都支持用户态和内核态。
  • 2）网络节点配置6个网口，2个管理，2个存储，2个业务（用户态ovs）；计算节点仅部署计算vm。网络节点为独立主机组，计算节点为独立主机组，类型相同两者支持共az（即单az内同时存在网络节点主机组和计算节点主机组）；网络节点与计算节点可共tor部署（不能与外部接入tor共部署），也可独立tor部署。网络节点与计算vm是一套存储资源池。
  • 3）如果有裸金属服务业务，支持分布式裸机和集中式裸机网关两种能力，支持分布式裸机网关与集中式裸机网关方式共存。集中式裸机和分布式裸机支持多个az，分布式裸机可以与集中式裸机共az。
    分布式裸金属网关方案支持第三方交换机，第三方交换机需遵循1822网卡与第三方对接的要求（见配置手册第三方交换机选型原则），仅支持本地盘或fcsan，不支持fusionstorage和ipsan。2网口和4网口场景，分布式裸机支持10ge、25ge组网；6网口场景，分布式裸机支持管理口、业务口都10ge，支持管理口、业务口都25ge。双核心、多出口场景下与集中式裸机网关相同，需管理节点连接到业务tor实现裸机provision的网络互通。多出口场景下分布式裸机网关与集中式裸机网关相同，仅能部署在一个出口下。分布式裸机sdi卡通过串口服务器串口连接进行运维，一台串口服务器可管理30块sdi卡，串口服务器通过带外管理接入bmc网络。远程技术支持模式场景，通过串口服务器bmc ip地址+端口登录到不同sdi卡。
    集中式裸机网关方案中裸金属服务器和裸金属网关连接的tor主推华为ce6881交换机；存储面采用fusionsorage时不支持sd100智能网卡，需采用iscsi方式挂载。集中式裸机网关方案中bmgw单服务器业务口为6个物理口，bms单服务器的业务口推荐2个网口可支持多个网口（见配置手册“裸金属节点配置”）。
  • 4）业务区存储主推fusionstorage分离部署，支持2网口（管理存储合布）和4网口（管理+存储）方案，同时兼容fusionstorage融合部署、fusioncube融合部署、ipsan。san存储场景，计算节点需配置独立的存储网口： 2*10ge（ip san场景）
  • 5）存储tor可以与业务tor共tor部署，但不能与外部接入tor共tor部署。
  • 6）仅6网口时支持sap hana，sap hana节点管理和业务分离，业务网卡类型要求部署用户态ovs，存储仅支持fc san存储，如果部署sap hana服务，需配置fc交换机，可与业务区存储fc交换机共用；鲲鹏场景不支持sap hana。
  • 7）应用备份服务独占dpa节点，无需nas。dpa节点只支持10g，不支持25g。dpa分布式版为管理口、业务口、存储口；dpa单机版无存储口，仅管理口、业务口。一个region支持部署多个dpa集群，单个dpa集群最大6个节点，起配3个管理节点。每个集群的3个管理节点的管理平面需在同一个二层域，其他节点管理口支持三层；集群内所有节点的业务口、存储口支持三层。
  • 8）ssl网关仅在密评场景部署，仅在global部署，其他场景无需部署。部署ssl网关时，单核心组网场景与核心交换机互连、双核心组网场景与管理核心互连、三层组网场景与border leaf互连。ssl网关2个10ge光口为管理口、2个10ge光口为业务口接入管理核心交换机。

单核心组网 - 计算节点6网口

• 每台网络节点业务口配置用户态ovs，支持鲲鹏和x86；计算节点仅部署计算vm，计算节点业务口6网口场景为用户态ovs，2/4网口场景为内核态ovs。网络节点与计算节点类型相同支持同az，接入的业务tor可共tor部署（不能与外部接入tor共部署），也可独立tor部署。网络节点与计算vm是一套存储资源池。
• sap hana受限销售

单核心架构 - 多region组网

• 多region组网说明：
  • 1）两个region分别都是单核心组网。
  • 2）首region和其他region的核心交换机之间需要三层可达。因为manageone和console部署在global区，需要同时管理两个region，两个region的管理面需要打通。region区的管理网络(external_om、dmz_service、obs_om)需要与global区的external_om、dmz_service和obs_om平面互通。支持云连接服务（可选）时，region区的vrouter集群vtep ip（loopback地址）需要与global区的vrouter集群vtep ip（loopback地址）互通。
    globla public与region public，global dmz与region dmz默认不需要过防火墙配置安全策略。global publuc/dmz与region public/dmz互访，global与region存在跨安全区的访问，通过global的防火墙上实现跨域访问，只需要在global所在管理墙配置安全策略。
  • 3）如果双region的方案叠加管理面跨region容灾或csdr，则主备region需部署manageone主备容灾；csdr要求生产和容灾region的存储复制面需要打通，因此业务核心之间需要连线。
  • 4）两个业务核心之间是否需要其他业务流量互通(除了csdr场景下的存储复制互通)，比如eip，ipsec-vpn或者路由直通等互通，按照具体项目要求实现。
  • 5）csdr场景，存储复制网络的网关配置在业务核心的interconnection vrf，两个region的存储复制流量互通不需要过防火墙。两个region的interconnetion vrf的网络互通不需要过防火墙。存储节点存储复制口仅在csdr场景需要。
  • 6）首region和从region间的public vrf和public vrf、dmz vrf和dmz vrf、omaccess vrf和omaccess vrf之间互通的流量过防火墙统一到核心交换机的internet vrf，通过核心交换机首region和从region间的internet vrf之间互联的三层口互通；在每个region的管理墙上配置安全策略，实现集中到internet vrf的region间互通。region间public vrf和dmz vrf跨vrf互通的流量需要在global region的管理墙上配置安全策略，实现跨vrf的互通。
  • 7）多region组网支持高阶服务，csdr服务与高阶服务无关。
  • 注：多region组网下的管理平面互通需求：
    region区的管理网络(external_om、dmz_service、obs_om)需要与global区的external_om、dmz_service和obs_om平面互通。支持云连接服务（可选）时，region区的vrouter集群vtep ip（loopback地址）需要与global区的vrouter集群vtep ip（loopback地址）互通。

双核心组网设计和配置

• 设计规格：
  • 规模可超2000pm但受限核心交换机物理口
• 方案优点：
  • 管理网和业务网物理隔离
  • 标准配置为4对tor(一对管理区tor，一对业务区管理tor，一对业务区业务tor，一对业务区存储tor)

• fm交换机、ce系列交换机网络产品线约束仅能m-lag组网交付。
• 第三方交换机选型要求参见《华为云stack配置手册》-工程组网章节。

双核心组网 - 计算节点6网口

• 整体组网说明：
  • 1）双核心组网规模可超2000pm但受限核心交换机物理口，接入交换机分别是管理区的管理tor，业务区的管理tor、业务tor，存储tor和外部接入tor（单对tor要求不超过88个端口）；业务tor下接入网络节点和计算节点，外部接入tor下接入第三方服务器l2br接入、硬件l3gw专线，业务tor与外部接入tor不支持合布。
  • 2）分布式sfs节点分1个管理口（ge），两个前端业务口和两个后端存储口，分别接入到前端tor和后端tor，前端tor可与业务区tor复用，后端tor需华为交换机由sfs独占（请查看sfs兼容性列表）。管理口接入到业务区管理tor，前端业务口接入到业务区业务tor，后端存储口接入到sfs独立配置的后端tor。管理tor为光口交换机时需配置光转电模块接入sfs管理口。
  • 3）集中式sfs节点2个管理口（为ge口，即为bmc口）和8个业务口（支持不同节点业务口三层互通）。管理口连接bmc交换机，与san存储组网相同，bmc交换机需2台堆叠组网。二层组网场景，业务口连接计算节点业务tor；三层组网场景，业务口连接计算节点leaf（计算节点业务leaf）。
• 管理区：如果双核心组网场景且部署裸金属服务，管理节点需要配置独立2*10ge网卡连接到裸金属服务器的业务区接入tor上（图中红色虚线所示）提供provision网络。
• 业务区：
  • 1）业务tor 3对起配，1对业务区的管理tor，1对业务tor，1对存储tor。业务区管理tor上连管理核心，业务区业务tor和存储tor上连业务核心。
  • 2）每台网络节点业务口配置用户态ovs，支持鲲鹏和x86；计算节点仅部署计算vm，计算节点业务口6网口场景为用户态ovs，2/4网口场景为内核态ovs。网络节点与计算节点类型相同支持共az，接入的业务tor可共tor部署（不能与外部接入tor共部署），也可独立tor部署。网络节点与计算vm是一套存储资源池。

双核心组网 - 6网口多物理出口分区

• 不支持单region多物理出口隔离场景，隔离场景需采用多个region进行部署，不提供一个region的方式交付。

• 不同物理出口分区间通过核心互联，互联带宽需满足物理出口分区间的互访带宽需求。不同物理出口分区核心间互联时，建议在互联设备上划分独立vrf与各物理出口分区核心互联配置路由，保证流量互通的隔离，各物理出口分区核心与客户现有互联设备配置bgp进行路由发布（发布loopback、tunnel_bearing、obs_business_tenant、dew_service平面路由）。

• 仅双核心6网口组网，提供多物理出口分区能力，该组网下不同物理出口分区间不隔离，不支持高阶服务。

• 裸金属服务只支持部署在一个物理出口分区，管理节点需配置独立业务口并连接到裸金属服务器节点所在业务接入交换机。

• obs部署在其中一个物理出口分区，不支持多个物理出口分区都部署，仅支持部署一套obs集群。因此其他物理出口分区的计算节点访问obs时，需跨物理分区业务核心进行互通。多个物理出口分区都需访问obs时则存在跨物理出口分区访问obs的大流量，因此物理出口分区间的互通通道需保证带宽满足业务需求。

• dew部署在其中一个物理出口分区的业务区，其他物理出口分区需跨物理分区业务核心进行互通。因此若仅一个物理出口分区需dew服务，推荐dew服务部署在该物理出口分区；若多个物理出口分区需dew服务，则物理出口分区核心需提供高带宽能力。

• sfs可在每个物理出口分区部署，即物理出口分区1部署一套sfs，物理出口分区2部署另一套sfs。
  region内时延需满足小于2毫秒

• 托管运维长连线场景：

  • 1）运维墙和bmc汇聚仅在托管运维长连线场景配置，每个region配置原则相同。独立global区无需配置bmc汇聚，仅需一台bmc tor，运维墙与bmc tor互联。其他场景，支持运维墙与管理墙合并，此时无需bmc汇聚，与原有定期连线场景组网相同。
  • 2）托管运维长连线场景配置bmc汇聚时，二层组网bmc汇聚与管理核心互联，三层组网bmc汇聚与管理leaf互联。bmc平面网关在bmc汇聚，bmc接入交换机与bmc汇聚互联无需与管理tor互联，bmc汇聚与运维墙直连。独立global区在托管运维长连线场景无需配置bmc汇聚，仅一组bmc交换机，bmc平面网关在bmc tor，运维墙与bmc交换机直连，bmc交换机与管理tor直连。
  • 3）二层组网场景运维墙与管理核心交换机互联，三层组网场景运维墙与border leaf互联，独立global区场景运维墙与管理tor互联。
  • 4）长连线场景与定期连线场景兼容性能力一致，支持第三方交换机。
  • 5）global 运维墙到region区运维墙之间通道通过ipsec vpn互通。
  • 6）多物理出口分区组网场景，运维墙和bmc汇聚仅部署在同一个出口分区，部署在eip的出口区，如政务场景部署在互联网分区。
  • 7）大数据物理机集群不支持模式一，混合云+大数据物理机集群场景以及独立global区+大数据物理机集群场景长连线组网与定期连线组网相同。

双核心架构 - 多region组网

• 多region组网说明：
  • 1）两个region分别都是双核心组网。
  • 2）首region和其他region的管理核心交换机之间需要三层可达。因为manageone和console部署在global区，需要同时管理两个region，两个region的管理面需要打通。region区的管理网络(external_om、dmz_service，obs_om)需要与global区的external_om、dmz_service和obs_om平面互通。支持云连接服务（可选）时，region区的vrouter集群vtep ip（loopback地址）需要与global区的vrouter集群vtep ip（loopback地址）互通。
    globla public与region public，global dmz与region dmz默认不需要过防火墙配置安全策略。global public/dmz与region public/dmz互访，global与region存在跨安全区的访问，通过global的防火墙上实现跨域访问，只需要在global所在管理墙配置安全策略。
  • 3）如果双region的方案叠加管理面跨region容灾或csdr，则主备region需部署manageone主备容灾；csdr要求生产和容灾region的存储复制面需要打通，因此业务核心之间需要连线。
  • 4）两个业务核心之间是否需要其他业务流量互通(除了csdr场景下的存储复制互通)，比如eip，ipsec-vpn或者路由直通等互通，按照具体项目要求实现。
  • 5）csdr场景，存储复制网络的网关配置在业务核心的interconnection vrf，两个region的存储复制流量互通不需要过防火墙。两个region的interconnetion vrf的网络互通不需要过防火墙。存储节点存储复制口仅在csdr场景需要。
  • 6）首region和从region间的public vrf和public vrf、dmz vrf和dmz vrf、omaccess vrf和omaccess vrf之间互通的流量过防火墙统一到核心交换机的internet vrf，通过核心交换机首region和从region间的internet vrf之间互联的三层口互通；在每个region的管理墙上配置安全策略，实现集中到internet vrf的region间互通。region间public vrf和dmz vrf跨vrf互通的流量需要在global region的管理墙上配置安全策略，实现跨vrf的互通。
  • 7）多region组网支持高阶服务，csdr服务与高阶服务无关。
  • 注：多region组网下的管理平面互通需求：
    region区的管理网络（external_om、dmz_service、obs_om）需要与global区的external_om、dmz_service和obs_om平面互通。支持云连接服务（可选）时，region区的vrouter集群vtep ip（loopback地址）需要与global区的vrouter集群vtep ip（loopback地址）互通。

三层组网

三层组网设计和配置

• 设计规格：
  • 2k 4w ecs+2k bms(<=4000pm)，可达4000pm，具备超过4000pm扩容架构但版本能力不能超4000pm【2k 4w 指2千计算节点，4万虚拟机】
• 方案优点：
  • 三层组网，减少二层域范围，满足三层组网
  • 支持低成本起步，并灵活扩容
  • 管理平面和业务平面无物理隔离要求

三层组网配置

• 设备选型推荐：三层组网仅适配华为交换机和fm品牌交换机

• mcs全称machine container service，中文叫做系统容器，是一种以容器技术为基础的轻量级主机虚拟化技术。系统容器提供与虚拟机一致的行为，在hcs场景下mcs主要是数据库相关服务使用

三层组网 - 计算节点2网口

• 组网整体说明：

  • 1）三层组网规格可达4000pm，支持2k4w ecs + 2k bms，具备超过4000pm扩容架构，支持规模与管理leaf选型相关：6857-48s6cq-ei/6857e-48s6cq/ce6857f-48s6cq/ce6857e-48s6cq/ce6857-48s6cq-ei/6865-48s8cq-si/6865e-48s8cq/ce6865e-48s8cq/ce6865-48s8cq-ei支持2w虚拟机即2000pm以内，ce6881-48s6cq/ce6863e-48s8cq-ei/ce6863-48s6cq支持到4w虚拟机即可达4000pm。
  • 2）仅支持单核心架构，不支持双核心，不支持单region多物理出口分区，支持csdr，不支持region内的灾备（管理面高可用、csha）。
  • 3）2网口不支持高阶服务（原因在于基于系统容器的数据库服务不支持2网口组网），4网口、6网口支持高阶服务。
  • 4）需fm交换机、华为交换机，需购买网络产品线服务进行交付；管理墙支持第三方。
  • 5）划分管理区、业务区（网络集群节点/kvm/裸机）、公共服务区。
  • 6）核心区包含核心交换机和spine；region内仅一组核心（独立部署），核心可选；可多组spine（独立部署）。初始部署可无核心仅一组spine，spine与border leaf互联。管理区、业务区、公共服务区网关在leaf（external_relay_network和provision的网关在管理leaf）。
  • 7）三层组网时，托管运维长连线场景bmc网关在bmc接入交换机，bmc汇聚配置路由到bmc接入交换机；其他运维场景bmc网关在bmc接入交换机，管理leaf配置路由到bmc接入交换机。bmc为独立组网，无需每个区有各自独立的bmc交换机。
  • 8）仅支持m-lag，不支持堆叠组网（bmc除外）。
  • 9）部分交换机需配置vxlan licence：管理leaf为external_relay_network的网关，每个计算节点（kvm&mcs）业务leaf、计算节点（裸机）业务leaf与管理leaf建立vxlan隧道，因此管理leaf、计算节点（kvm&mcs）业务leaf、计算节点（裸机）业务leaf需配置vxlan licence；裸机pxe的provision网络需从管理leaf到业务区裸机业务leaf建立vxlan隧道，因此管理leaf和业务区计算节点（裸机）业务leaf需配置vxlan licence。集中式裸机场景在裸机接入tor需预配置裸机高速平面的vxlan隧道。
  • 10）两台border leaf，m-lag组网，仅支持一组border leaf，不与其他交换机共用。10g场景border leaf配置2个10g peer-link，2个10g逃生互联物理口；25g场景配置2个25g peer-link，2个25g逃生互联物理口。
  • 11）金融行业场景，管理墙和border leaf可选，可选方式仅如下两种配置：无管理墙但配置broder leaf，或者可同时无管理墙和border leaf（非密评场景，密评场景需配置border leaf旁挂密评设备）。无border leaf时，spine/核心与客户pe互联。在spine/核心单组内设备数量扩容时，需新增pe互联口以及使用软专线时的客户内网接入设备互联口。无管理墙时，需保证：
    • 客户保证访问云平台管理面的安全防护，即客户已建设安全等保防护可保证云外访问云平台管理面的安全性
    • 无需云内管理面的建设满足等保要求
    • 无需在云内建立托管运维长连线或定期连线的远程运维vpn接入
    • 无需云内提供管理面访问的nat64
    • 无需云内提供云外访问云内管理面的nat，即客户地址与云内管理地址不重叠，无需nat可互访
    • 后续无需改造为配置管理边界防火墙

• 核心区

  • spine：一组起配，每组spine两台起配，每台spine独立部署，中间不需要连线。支持多组spine，需配置核心交换机。
  • 核心交换机：可选，两台设备起步，region内仅一组核心交换机。每台核心交换机独立部署，中间不需要连线。核心交换机选型建议与spine同型号或高于spine。新建部署时，若未配置核心交换机，border leaf接入在第一组spine；若配置核心交换机，border leaf建议接入在核心交换机。
  • 核心交换机以及每组spine，最大规格按接入leaf（border leaf、外部接入tor、spine下接入的各个区的leaf）的40g上行口个数约束（比如leaf是6857-48s6cq-ei/6857e-48s6cq/ce6857f-48s6cq/ce6857e-48s6cq/ce6881/ce6857/ce6863e-48s8cq-ei/ce6863则核心交换机/spine最大4台，leaf是6865-48s8cq-si/6865e-48s8cq/ce6865e-48s8cq/ce6865则核心交换机/spine最大6台）。当核心交换机不接入border leaf和外部接入tor时，核心交换机个数无规格约束。

• 管理区

  • 管理节点，仅为一对leaf，网关在管理leaf，region内仅一个管理区。

• 业务区

  • 1）支持计算节点2网口、4网口、6网口方案，部署的节点包括计算节点、存储节点、裸金属服务器节点和bmgw节点（集中式裸金属）、分布式裸金属服务器节点、ebackup节点等。
  • 2）2网口场景，管理/业务/存储交换机合一，计算节点leaf交换机1对起步；4网口场景，计算节点管理/业务leaf、计算节点存储leaf单独配置，也可以共用leaf；6网口场景，管理、业务、存储各自配置独立leaf，也可以共用leaf。推荐共用leaf，因此计算节点接入一组leaf起步。
  • 3）除了external_relay_network、provision的网关在管理leaf，业务区使用的网络平面的网关在业务区leaf交换机。
  • 4）计算节点（kvm/分布式裸金属）leaf与计算节点（集中式裸金属）的管理业务leaf、存储leaf不共用；分布式裸机与kvm接入方式相同（分布式裸机仅支持本地盘和fcsan，不需配置存储leaf），可以共leaf。集中式裸机每个集群独占leaf，不同集中式裸机集群不共用leaf避免无法扩展单集群内裸机规格。
  • 5）集中式裸金属场景裸金属服务器采用fusionstroage存储时，裸机存储口的存储平面网关在各自接入的裸机存储leaf。裸机存储leaf与裸机管理业务leaf不复用。单个裸机集群（2:30配比：2个bmgw和30个bms）独占一组裸机管理业务leaf保证裸机集群可扩容到2:30；支持多个裸机集群共用一组裸机管理业务leaf，但此时无法满足单个裸机集群扩容。
  • 6）集中式裸机场景在裸机leaf需预配置裸机高速平面的vxlan隧道。
  • 7）存储节点管理口、存储口接入到存储节点leaf，共用一组leaf。
  • 8）网络节点：
    • 企业内部三层接入：基础型云专线（软专线）只支持采用border leaf接入方式（企业内部接入方案1），在border leaf配置静态路由下行回程到网络节点（暂不支持网络节点与border leaf动态路由）；上行到企业内部接入网的路由可配置为静态路由，也可在border leaf与企业内部接入交换机配置动态路由。增强型云专线（硬件l3gw）方案只支持采用外部接入tor方式（企业内部接入方案2），外部接入tor接入到核心。
    • 外部接入tor支持l2br和l3gw，需为华为ce系列交换机、fm交换机，支持l2br和l3gw共tor部署（企业内部接入方案2），但不与其他tor共用，外部接入tor设备类型请查阅兼容性网站。l2br接入方式：支持刀片服务器直接l2br接入到外部接入tor，但刀片服务器需配置交换板，直通板场景需配置客户tor接入到外部接入tor；不支持非刀片服务器直接l2br接入到外部接入tor，需配置客户tor接入到外部接入tor。
    • 网络服务区网关在网络节点leaf，到spine的收敛比需满足1:2配比。网络节点可共用业务区存储，也可独立部署存储资源池。
    • 网络节点leaf独占接入网络节点管理口、业务口，每组网络节点集群独占一组网络节点leaf；网络节点存储口可接入到存储节点leaf共用也可独占存储leaf。多个网络集群是多出口逻辑模型，高阶服务不支持多出口，因此不支持多个网络集群场景。
    • 网络节点leaf独立as号，业务区其他leaf同一个as号。
    • 网络节点不发放计算vm。
  • 9）业务区leaf共用原则：
    • 计算节点和分布式裸机共用leaf，其中的管理、业务、存储leaf可合并（lld子网规划掩码无需/26，避免地址占用过多）。
    • 集中式裸机的管理业务leaf、存储leaf不共用。
    • 存储节点的管理leaf、存储leaf可共用（lld子网规划掩码无需/26，避免地址占用过多）。
    • 计算节点的leaf、集中式裸机节点的leaf、存储节点的leaf、ebackup-leaf各自独占使用，不同类型之间不共用leaf。仅网络节点存储口连接的存储leaf可以与存储节点接入的存储节点leaf可共用，网络节点也可独占存储leaf，推荐共用。
  • 10）管理墙仅管理面南北防护，当管理墙为华为防火墙时可与edgefw硬件墙共用。
  • 11）dpa节点与ebackup节点可共用一组ebackup leaf，也可各自独占ebackup leaf，推荐共用。
  • 12）应用备份服务独占dpa节点，无需nas。dpa节点只支持10g，不支持25g。dpa分布式版为管理口、业务口、存储口；dpa单机版无存储口，仅管理口、业务口。一个region支持部署多个dpa集群，单个dpa集群最大6个节点，起配3个管理节点。每个集群的3个管理节点的管理平面需在同一个二层域，其他节点管理口支持三层；集群内所有节点的业务口、存储口支持三层。dpa集群的3个管理节点需在一组leaf，其他节点可以在不同leaf。
  • 13）ssl网关仅在密评场景部署，仅在global部署，其他场景无需部署。部署ssl网关时，单核心组网场景与核心交换机互连、双核心组网场景与管理核心互连、三层组网场景与border leaf互连。ssl网关2个10ge光口为管理口、2个10ge光口为业务口接入border leaf。

• 公共服务区

  • 1）部署obs、sfs、dew服务，网关在leaf。
  • 2）分布式sfs节点为一个管理口（ge口），sfs管理leaf为光口交换机时需配置光转电模块接入sfs管理口。sfs管理leaf独立部署单台部署，sfs管理leaf可与sfs业务leaf共用。sfs后端leaf需华为交换机，请查看sfs兼容性列表。sfs管理leaf、sfs业务leaf和sfs后端leaf仅sfs服务使用，不与其他服务共用。
  • 3）集中式sfs节点2个管理口（为ge口，即为bmc口）和8个业务口（支持不同节点业务口三层互通）。管理口连接bmc交换机，与san存储组网相同，bmc交换机需2台堆叠组网。二层组网场景，业务口连接计算节点业务tor；三层组网场景，业务口连接计算节点leaf（计算节点业务leaf）。
  • 4）obs分离部署场景在三层组网中obs接入leaf和obs存储leaf各自独占不合并，且不与其他tor共用。

三层组网 - 计算节点4网口

• 2网口不支持高阶服务（原因在于基于系统容器的数据库服务不支持2网口组网），4网口、6网口支持高阶服务。
• 4网口、6网口场景部署gaussdb for mysql和gaussdb for nosql数据库服务时配置数据库存储tor，各个数据库服务共用数据库存储tor，需25g 交换机，支持第三方交换机，不支持roce。推荐数据库存储tor独占，支持数据库存储tor与业务区存储tor共用。数据库存储tor与核心交换机互联，满足数据库服务备份到obs的业务流互通。接入25g根据收敛比核心要求配置100g，核心交换机上要配置100ge单板或配置40ge单板满足收敛比不小于1:5。在4网口、6网口x86和鲲鹏场景都是配置2块4口1822网卡，存储独占1块1822网卡，管理业务共用一块1822网卡，不支持跨网卡bond。
• obs tor仅obs独占，不与其他节点复用，支持第三方交换机，支持bond4组网。支持mrs存算分离时需25g组网，交换机需满足转发时延<2us且buffer>=32mb要求；其他场景支持10g组网，交换机需满足转发时延<4us且buffer>=20mb。obs node节点跨网卡bond，其中2个网口为管理+业务（管理面访问obs），2个网口为业务（计算节点和internet访问obs）。融合部署时，obs node节点所有服务器都是两种类型网口4根连线分为2个bond；分离部署时部署service的obs node节点为两种类型网口4根连线分为2个bond，其他类型obs node节点服务器仅需管理业务类型口2根连线1个管理bond无需业务类型网口。obs lvs节点连线方式不区分融合部署和分离部署。10g组网时，每组交换机上行口为2440g；25g组网时，每组交换机上行口为24100g。
• mrs存算分离计算节点不支持内核态ovs，因此x86场景cx4/cx5/1822网卡可4网口、6网口，其他网卡需为6网口组网；鲲鹏场景在1822网卡时支持4网口和6网口，在第三方网卡时需为6网口。mrs存算分离计算节点业务口接入的业务tor需满足1:3收敛比，10g场景每组leaf上行口为2440g，25g场景每组leaf上行口为24100g。
• 数据库服务采用集中式裸机部署时，仅支持25g。

三层组网 - 计算节点6网口

灾备组网和云联邦

灾备组网 - csha和管理面跨az高可用（单核心）

• 管理面跨az高可用设计说明
  • 1）管理面跨az高可用场景下，对应的是一套openstack，拉远部署在两个站点，每个站点需要各自的管理节点，管理平面二层拉远。
  • 2）核心交换机之间推荐采用直连，用于管理面二层互通、业务区一个vpc内的vm跨两个站点。
  • 3）管理接入交换机仅作为二层接入，核心交换机作为管理网的三层网关，配置vrrp。在核心交换机上配置了三层网关的网络平面均需要配置vrrp，包含external_om、dmz_service、management_storage_data、external_relay_network、internal_base、tunnel_bearing、internet等。
  • 4）type i场景，单核心组网支持计算节点的2网口、4网口和6网口部署。在多出口场景下，每个物理出口需要配置各自的网络节点(每套网络节点2节点起配)，每个出口的网络节点业务没有关系，是两套独立的网络集群，网络服务相关的网络平面每个出口都需要单独规划，且保证网络不冲突；在主备出口场景下，只部署一套网络集群，一套网络集群拉远部署在两个站点。
  • 5）第三方仲裁站点，建议通过专线直连到两个站点的核心交换机。第三方仲裁站点到生产站点、第三方仲裁站点到灾备站点之间，需要分别发布云平台仲裁服务节点的主机路由。云服务、manageone、fusionsphere openstack都需要访问第三方仲裁站点。
  • 6）企业内部接入中仅l3gw支持主备网关的csha能力，l2br不支持主备网关能力。
• csha设计说明
  • 1）核心交换机之间推荐采用直连，用于存储双活复制。
  • 2）两个站点的存储双活/远程复制网口连接到存储接入交换机，存储接入交换机上行到核心交换机，经过核心交换机二层通信。
  • 3）存储设备的仲裁网络平面网口，连接到管理接入交换机。生产存储、容灾存储的仲裁网络平面的网关，各自配置在生产站点、容灾站点的核心交换机。
  • 4）第三方仲裁站点，建议通过专线直连到两个站点的核心。存储设备需要访问第三方仲裁站点。
  • 5）csha依赖管理面跨az高可用，故csha场景同样需要遵循管理面跨az高可用设计说明。
• 管理面容灾场景下，可以部署高阶服务，但高阶服务不具备管理面容灾能力；管理面容灾跨az场景下支持部署部分高阶服务（具体见配置手册容灾场景说明）。
• 其他请参考单核心组网
• 支持部分高阶服务管理面高可用。
• 支持密评场景，但两地三中心场景不支持密评。

灾备组网 - csha和管理面跨az高可用（双核心）

• 管理面跨az高可用设计说明
  • 1）管理面高可用场景下，对应的是一套openstack，拉远部署在两个站点，每个站点需要部署各自的管理节点，管理平面二层拉远。
  • 2）管理核心交换机之间推荐采用直连，用于管理面二层互通。业务核心交换机之间推荐采用直连，用于业务区一个vpc内的vm跨两个站点。
  • 3）管理接入交换机仅作为二层接入，管理核心交换机作为管理网的三层网关，配置vrrp。在管理核心交换机上配置了三层网关的网络平面均需要配置vrrp
  • 4）type i场景，双核心组网使用6网口部署，6网口组网简单，分区清晰，两个站点的业务核心交换机都通过管理墙与管理核心交换机连接，部署比较简单。在多出口场景下，每个物理出口需要配置各自的网络节点(每套网络节点2节点起配)，每个出口的网络节点业务上没有关系，是两套独立的网络服务节点，网络服务相关的网络平面需要单独规划，不能冲突；在主备出口场景下，只部署一套网络集群，一套网络集群拉远部署在两个站点。
  • 5）第三方仲裁站点，建议通过专线直连到两个站点的管理核心交换机。第三方仲裁站点到生产站点、第三方仲裁站点到灾备站点之间，需要分别发布云平台仲裁服务节点的主机路由。云服务、manageone、fusionsphere openstack都需要访问第三方仲裁站点。
  • 6）企业内部接入中仅l3gw支持主备网关的csha能力，l2br不支持主备网关能力。
  • 7）如果部署了裸金属服务，裸金属服务只支持部署在一个出口下，且裸金属服务所在出口的管理节点需配置独立业务口，并连接到业务接入交换机。

csha+csdr和管理面两地三中心场景拓扑图（单核心）

• 两地三中心场景只能部署iaas服务，该场景严格受控，暂不支持托管运维长连线场景。
  • 1）生产站点与同城灾备站点之间为csha和管理面高可用，请参考csha和管理面跨az高可用组网说明。
  • 2）管理面跨region容灾，需要region区的管理网络与主备global区的external_om和dmz_service平面互通。region间通过配置静态路由实现管理网路互通，其中异地灾备站点到生产站点路由优先级高，异地灾备站点到同城灾备站点路由优先级低。
  • 3）csdr业务面容灾，生产region和容灾region的存储复制平面，存储复制平面三层互通即可。生产站点与同城灾备站点间、生产站点与异地灾备站点间需要分别配置存储复制平面三层互通。
  • 4）首region不能部署高阶服务，其他region可部署高阶服务但高阶服务不具备管理面容灾能力。

csha+csdr和管理面两地三中心场景拓扑图（双核心）

• 两地三中心场景只能部署iaas服务，该场景严格受控，暂不支持托管运维长连线场景。
  • 1）生产站点与同城灾备站点之间为csha和管理面高可用，请参考csha和管理面跨az高可用组网说明。
  • 2）管理面跨region容灾，需要region区的管理网络与主备global区的cloud_om和dmz_service平面互通。region间通过配置静态路由实现管理网路互通，其中异地灾备站点到生产站点路由优先级高，异地灾备站点到同城灾备站点路由优先级低。
  • 3）csdr业务面容灾，生产region和容灾region的存储复制平面，存储复制平面三层互通即可。生产站点与同城灾备站点间、生产站点与异地灾备站点间需要分别配置存储复制平面三层互通。
  • 4）首region不能部署高阶服务，其他region可部署高阶服务但高阶服务不具备管理面容灾能力。

云联邦组网说明

• 云联邦组网主要针对私有云、公有云云间网络，云联邦云间网络包括管理网络和业务网络两个平面。
  • 管理平面主要承载云间管理数据，包括认证鉴权、业务管理、运维管理等
  • 业务平面主要承载业务交互数据，例如灾备场景的数据同步、业务软件间的接口调用等
• 云联邦云间网络主要有专线和internet两种建设方式，选型的原则主要考虑4个方面：
  • 网络平面
    • 管理平面因为其对操作实时性、数据一致性、以及管理安全的要求，通常建议采用专线建设，如果对实时体验及安全要求不严格，也可以采用internet
    • 业务平面则根据业务数据的特征选择，比如灾备场景，同步数据量大，实时性直接决定rpo，因此建议采用专线，而松耦合的应用交互等则可以采用internet
• 网络安全
  • 根据云间网络的安全要求选择。安全要求高则建议采用专线，并可以配合vpn，否则可以采用internet并辅助vpn或者https等
• 网络质量
  • 根据云间传递数据的量、时效性对网络质量的要求，如带宽、时延、可靠性等进行选择。网络质量要求高的选择专线，否则可采用internet
• 网络成本
  • 专线相对于internet意味着更高成本，在预算许可的情况下，尽量选择专线方式以提供更好的业务保障和体验

云联邦云间网络选项建议

云联邦标准组网 - 仅internet连接

• 云联邦internet组网整体说明：
• 数据面 – 私有云侧，typei使用hcs 8.0新引入的软网元vpn系统作为vpn网关，typeii使用业务防火墙作为vpn网关；公有云侧使用业务vpc关联的vpn网关；在私有云vpn网关和公有云vpn网关之间配置双向的ipsec vpn
• 管理面 – 通过https直连华为云的公网服务端点即可
• 问题：目前尚无客户提出对通过internet直连华为云管理面提出安全顾虑，若客户对此提出安全顾虑，可考虑使用创建一个管理面vpc和vpn网关外加vpcep连接华为云管理面的私有地址，在向用户推荐此方案前需要验证

云联邦标准组网 - 仅专线连接

• 云联邦专线组网整体说明：
• 物理线路连接 – typei从外部接入tor或业务核心交换机引裸光纤到运营商或华为云的入网点， typeii从路由直通网络引裸光纤到运营商或华为云的入网点
• 入网点到华为云接入点之间的网络由运营商提供，运营商线路是否使用物理专线或mpls逻辑专线对云联邦组网方案不造成影响。专线接入目前仅支持配置三层转发，技术上可通过l2br配置跨云大二层，但尚未确认云联邦场景需求也未进行实际验证。
• 业务面 – 在公有云侧为管理面vpc创建虚拟网关，创建虚拟接口通过指定私有云侧远端网关配置静态路由或者使能bgp动态路由，并通过虚拟接口打通华为云接入点到vpc虚拟网关之间的连接，管理面vpc和业务面vpc通过vpc对等连接互通。私有云侧根据物理连线的位置在外部接入tor或业务核心交换机上通过指定公有云侧远端网关配置静态路由或使能bgp动态路由。注意：另外一种可选配置是在公有云侧配置两个虚拟接口分别连接管理面和业务面vpc与华为云接入点，但是在这种方案配置复杂、依赖多，需要运营商配置vlan透传，不建议使用。
• 管理面 – 云联邦管理面和业务面共用专线，需要在私有云侧管理墙配置snat允许云联邦管理流量通过管理核心到业务核心，让云管理平台相关节点（manageone-service01、manageone-service02、manageone-service03、manageone-service04）能够访问华为云api gateway，同时云联邦管理面和业务面在专线上可通过vlan进行隔离。公有云侧使用vpc终端节点(endpoint)功能连接华为云console和api，注意目前公有云侧vpcep仅支持api服务的连接，还不支持console的连接，需要与公有云部门协作推进，详情可参考国寿云联邦项目材料。公有云侧vpcep所在的vpc通过vpc对等连接与业务vpc实现互通。

华为云stack标准化配置、缩略语

看这篇文章
【hcie-cloud】【5】华为云stack规划设计之华为云stack标准化配置、缩略语【下】