数据中心网络基础

一、数据中心机房

数据中心机房需要考虑很多因素。举例一些重要的因素，机房布线、机房屏蔽、防雷接地、环境监控、安保系统、精密空调间、机柜、UPS、消防系统等。

1、电力

电力对数据中心来说就是粮食。主要关注数据中心的机柜供电，机柜供电有两种，一种是市电，一种是UPS（Uninterruptible Power Supply，不间断电源）。

  • 市电：一般指220V 50Hz的交流电。

  • UPS：UPS是常用的备用电源设备，一般通过蓄电池或者发电机等手段提供电力保障。当市电停电或者电路故障时，UPS仍然能够提供电力给机柜，以保证机柜中的设备不间断运行。

机柜中的插排叫做PDU（Power Distribution Unit，电力配电单元）。PDU可以将市电的电流转化成机柜使用的直流电源。PDU的优点主要体现在设计更合理、品质和标准更严格、安全无故障时间长、漏电及过载保护更优秀、不易损坏、热升温小。PDU还可以提供电源监控、电流和电压管理等功能。一般机柜中会包含两种不同颜色的PDU，用于区分市电和UPS，同时为满足设备高可用，一般每台设备都会配备至少两根电源线，一根接市电PDU，一根接UPS PDU，防止某一种供电方式失效导致设备宕机。PDU的接口也有很多类型，例如国标、IEC、美标、英标、欧标。PDU常用的接口类型就是IEC60320-C13、IEC60320-C19，设备电源线也需要对标，连接PDU的接口类型即IEC60320-C14、IEC60320-C20，连接设备端的接口类型即IEC60320-C13、IEC60320-C19（俗称套筒电源线），一般是10A或者16A。

当然除了常见的C13-C14、C19-C20，部分设备上会采用Saf-D-Grid接头，例如ASR 9000。

图为 Saf-D-Grid to C14

机柜中供电容量根据不同的机柜有所不同。一般来说42U机柜供电容量在7kw~12kw，47U机柜供电容量在8kw~15kw，具体的机柜供电容量需要结合实际情况进行测算。

2、机柜

数据中心中的网络设备、服务器等设备都是放置在机柜中。机柜的摆放也有讲究，通常36个机柜为一组，分两列面对面放置，每列18个机柜。机柜根据功能划分为两种：

  • 网络核心机柜：主要用于放置南北向核心、东西向交换机/DCI交换机、防火墙、入侵检测、入侵防御设备。网络核心机柜数量一般是在2/4/6个，位置一般是在核心跳线架附近1-3个机柜。

  • 服务器机柜：主要用于放置服务器、业务接入交换机、带外接入交换机。除网络核心机柜剩下的都是服务器机柜。

数据中心机柜42U和47U居多。服务器机柜一般高2m，宽0.6m，深0.8m；网络核心机柜一般高2m，宽0.8m，深0.6m，但是实际情况下都是按照服务器机柜的参数去采购机柜。U是机柜的标准高度单位，1U=4.445cm。

3、制冷

1）精密空调间

在数据中心中每个机房都配置精密空调间。机柜组与机柜组之间是热通道，机柜组内两列机柜之间是冷通道，精密空调间连接着冷通道。精密空调间所制造的冷气直接到达机柜组内的冷通道，风向从下往上吹，这样设计是利于服务器和网络设备散热。

2）设备风向

根据冷热通道来摆放服务器机柜的设备风向。服务器机柜的设备摆放一般分为两种：

  • 服务器摆放：一般没有特殊要求的话，前面板朝冷风通道，后面板（有网卡的一边）朝热风通道。

  • 网络设备摆放：为了便于布线，一般端口侧朝热风通道，电源侧朝冷风通道。那这样的话，一般选择吸风风扇和吸风电源。

    • 吸风风扇（蓝色贴条）：从冷通道（电源侧）吸入冷风，从热通道（端口侧）吹出热风。

    • 出风风扇（红色贴条）：从冷通道（端口侧）吸入冷风，从热通道（电源侧）吹出热风。

    • 吸风电源（蓝色贴条）：从冷通道（电源侧）吸入冷风，从热通道（端口侧）吹出热风。

    • 出风电源（红色贴条）：从冷通道（端口侧）吸入冷风，从热通道（电源侧）吹出热风。

前后空气流

风扇和电源型号一般最后一位是F（Front-to-Back），一般业务接入交换机采用这种空气流方式。

后前空气流

风扇和电源型号一般最后一位是B（Back-to-Front），一般带外接入交换机采用这种空气流方式。

4、消防

机房一旦失火，损失将是巨大的。总结机房失火的几种原因，包括UPS电池着火、负载过大过热、设备积灰引起设备短路。我们主要关注机柜灭火，机柜灭火肯定不能使用水、沙土这种方式，尽量将损失降到最低。

一般业内均采用七氟丙烷气体灭火。将液态药剂释放后通过汽化吸收火中的热能，导致火焰温度降低和自由基链式反应缓慢，以至燃烧反应无法维持。七氟丙烷药剂能够在开始释放灭火药剂后十秒钟之内喷放完毕。大量实验证实，七氟丙烷在室温下比较稳定，且喷射时间和灭火时间越短，产生的氢氟酸浓度越低，而这些浓度对电子等设备不会产生腐蚀作用。此外，七氟丙烷释放后不含有颗粒或油污残余物，在大气中完全汽化不留残渣，不导电。七氟丙烷的无毒性反应浓度为9%，有毒性反应浓度为10.5%。七氟丙烷灭火系统在灭火性能、保护对象安全性、人体安全性、环境影响方面都能达到对于洁净气体灭火系统的要求。七氟丙烷灭火系统已经成为气体灭火系统市场应用最多的一种系统。

5、配线架

数据中心为了规范走线设立了配线架。很多小型的数据中心，一个机房只摆放30个机柜的数据中心，基本不会考虑跳线架，前期可能还遵守些规范，后期走线异常混乱，更有甚至在一些标准型数据中心中也存在同样的问题。

数据中心机房会有两种配线架，分别是IDF（Intermediate Distribution Frame，分配线架）和MDF（Main Distribution Frame，主配线架），IDF位于服务器机柜，MDF位于某列机柜的中间位置，所有的IDF汇聚到MDF。IDF和MDF之间的跳线由数据中心统一外包给综合布线公司，由他们来完成这部分跳线。

IDF一般占1U，由A、B、C、D四个单元组成，每个单元又分为01和02小单元，每个小单元由M01~M06六个光纤接口组成，也就是接入跳线架正常有48个光纤接口。正常接入跳线架无需48个光纤接口，一般来说24个光纤接口足矣。

跳线架的标识能够让我们很快定位到哪个接口，有利于布线和排障。以接入跳线架举例信息点位203-A01/46U-A02 M01，就是203机房、A01机柜、46U跳线架、A02单元、M01光纤接口。标准化的跳线架利于工程的顺利实施，减少歧义。

二、服务器接入模型

数据中心布线设计往往是在网络和服务器决定之前定义好的，布线和设备、网络、服务器三个传统数据中心团队紧密相关。因此服务器接入架构的选择应该是在每个技术部门启动项目所面临的一个共同问题。

1、ToR&EoR

数据中心布线是根据服务器接入模型来设计的，ANSI/TIA-942标准规定了两种服务器接入模型：

  • ToR（Top-of-Rack）：接入交换机分别安装在服务器机柜顶部，一般占1U，上联链路采用冗余方式接入到汇聚/核心。

    • 优点：节省水平布线长度、支持每机柜迁移连接（1000Mbps->10Gbps）。

    • 缺点：管理节点增多、运维工作量增加、接入交换机端口利用率不高。

  • EoR（End-of-Row）：接入交换机全部安装在列头柜，EoR一般适用于低密度机柜。

    • 优点：适合低密度服务器机柜、采用端口度高的模块化交换机可以让水平布线连接到任何机架。

    • 缺点：线缆管理困难（排障和拆除）、线缆放置于活动地板下方妨碍制冷。

列头柜一般是指每列机柜的头部机柜，比如A01、B01、C01……

2、ToMR

随着虚拟化、云计算等新技术趋势日益流行以及用户业务需求量猛增，数据中心机房服务器密度越来越高。在业务至上的理念下，利用虚拟化和云计算技术的优势，将业务的架构调整为分布式架构能够使得业务获得扩展性和高可用性，那么随之而来的需求就是服务器数量需要成倍增加，海量的服务器需要充分利用数据中心机柜的空间，这种场景也叫高密场景。

高密场景下ToR显然更加适用。ToR能够更加方便地实现物理层面的扩展，但是ToR的接入交换机的端口利用率缺并不高。正常情况下，接入交换机一般是32/48电口或者光口以太网交换机，以48口以太网交换机居多。每个机柜的服务器数量受限于数据中心电力分布、机柜容量、制冷容量，例如某个机柜42U，一台机架式服务器高度占2U，一台接入交换机高度占1U，从机柜容量上看该机柜最多可以容纳20台服务器；正常机柜供电大致在7500W左右，一台服务器功耗300W，一台接入交换机功耗100W，从供电上看该机柜最多容纳24台服务器。按32口接入交换机计算端口利用率62.5%，按48口接入交换机计算端口利用率41.67%，这就造成了接入交换机的硬件资源被浪费。

为了改进端口利用率不高的情况，提出了Top-of-Many-Racks。业内一般采用To2R或者To3R：

  • To2R：业务网络以三个机柜为一个PoD，即三个机柜为一组服务器池，两边机柜顶部各放置一台业务接入交换机。

  • To3R：带外网络以三个机柜为一个PoD，即三个机柜为一组服务器池，第一个机柜顶部放置一台带外接入交换机。

3、MoR

MOR（Middle of Row）布线方式较EOR进行了改进，就是不再采用列头柜为接入交换机放置的机柜，将每列机柜的中间机柜作为所有接入交换机所放置的机柜。相较于EOR的布线，MOR布线方式减少了线缆的平均长度。MOR布线方式一般用于网络核心机柜所在机柜列。

4、FEX

Cisco FEX技术整合了ToR和EoR各自的优点。多个FEX由一台父交换机管理，FEX以ToR的方式安装在服务器机柜，减少线缆成本。

三、现场勘察&布线规范

1、现场勘察

选择好服务器接入模型后，就需要进入数据中心现场进行勘测，使用EXECL记录机柜数量并绘制机柜位置的位置图。现场勘察时需要注意几个参数：是否是标准机柜、高、宽、龙骨位置、核心机柜位置、核心跳线架位置等。

2、物理布线

1）线缆长度预估

线缆长度预估一般需要根据机柜的高、宽、深以及桥架和机柜之间的高度差进行预估算。接入交换机到同机柜的IDF的预估很简单，一般1m即可。线缆的长度预估主要是针对没有配线架或者配线架使用受限的情况，在进行线缆预估时，请尽量对线缆要有预留，不要预估的刚刚好的那种情况。

举个例子，某机柜42U高2m，宽0.6m，深0.8m，现在想要从A01机柜的21U设备的1口跳线到A09机柜的21U设备的48口，设备采用后前空气流摆放（端口侧面向冷通道，即机柜正面），机柜和桥架高度差0.5m，请预估下线缆长度：

  • 横向长度：9 * 0.6 = 5.4m

  • 内向长度：2 * 0.8 = 1.6m

  • 纵向长度：0.5 2 + 1 2 = 3m

  • 总长度预估：5.4 + 1.6 + 3 = 10m

2）线缆标签制定

落位图制定完成后，可以开始确认信息点位并预估线缆。确定信息点位一般是指核心设备和接入设备的连接，中间需要经过哪些配线架。例如核心交换机（位于A01）需要和某台接入交换机（位于B01）连接，核心交换机旁边A02有MDF，接入交换机B01顶端有IDF，我们需要确认IDF和MDF相互对应的接口编号，这个接口编号就是信息点位，后续线缆标签的制定需要用到。

《标签打印总表》中依次包含了本端设备、本端接口、本端跳线架、本端跳线架接口、本端耗材类型、本端耗材长度及数量、对端跳线架、对端跳线架接口、对端设备名、对端接口、对端耗材类型、对端耗材长度及数量、完整标签、最终打印标签。

《标签打印总表》中的内容包含了整个项目的所有跳线，属于机密，任何人能够通过《标签打印总表》来绘制网络拓扑图。

3）物理布线示例

物理布线示例主要内容就是如何设计《标签打印总表》。前面讲到观察和记录核心跳线架到每个接入跳线架的编号是非常重要的一步，其次就是需要了解《网络拓扑》的互联。《网络拓扑》是逻辑的连接，而《标签打印总表》则是物理的连接。例如核心是CE16808，接入是CE6881，CE6881的40GE1/0/49逻辑连接到CE16808的40GE5/0/1。

可以通过设备命名看到这两台设备不在一列机柜（16808在E列08机柜，6881在A列01机柜），但是在同一个机房。逻辑连接只需要一根线，但是物理连接需要两根线，具体物理介质连接走向为：CE16808 40GE5/0/1 -> MDF -> IDF -> CE6881 40GE1/0/49。现在就是要跳CE16808到核心跳线架的部分的跳线 + CE6881到接入跳线架的部分的跳线。两台设备端的接口好接，一个接40GE5/0/1，一个接40GE1/0/49，但是接入跳线架跳哪个口？核心跳线架跳哪个口？这就需要观察和记录相关编号，核心跳线架到接入跳线架是有编号的，例如核心跳线架101-E07/46U-C01到A列接入跳线架对应的编号就是101-A01/46U-A01，那么接口可以选择M01~M06中的任何一个，但是为了规范网络设备正常会选择从后往前用，即从M06开始用。那这样一来这根逻辑连接线就可以是CE16808 40GE5/0/1->101-E07/46U-C01 M06 ->101-A01/46U-A01 M06 -> CE6881 40GE1/0/49，最终打印标签应该如下图所示。

物理介质也就是光纤或者网线连接的是设备两端，那么一根物理连接线就需要两根标签，一根逻辑连接线就需要四根标签。标签打印时是需要正反两面都能看到，方便后续运维巡检时观察，于是一个标签应当是如下图所示。

4）物理布线规范

在实际跳线时规则：

  • 跳线架跳线规则：A、B走左侧机柜顶部毛刷上去；C、D走右侧机柜顶部毛刷上去。多余的线进入理线槽。

  • 设备端跳线规则：接入端口中间分开，左边端口走左侧理线槽；右边端口走右侧理线槽。

  • 为了防止干扰，影响通信，通信线缆需要与电源线缆分离。

  • 电源线缆应当锁死PDU上的电源卡扣，防止意外碰掉电源导致设备断电。