新一代智慧节能数据中心B站定制化项目实践

本期团队

B站系统部（SYS）团队，为B站所有服务提供基础设施支持，包括数据中心、网络、算力、系统软件以及混合云管理等业务。

1. 背景

随着5G、云计算、人工智能等新一代信息技术的快速发展，数据中心作为各行业信息系统运行的物理载体，已成为经济社会运行不可或缺的关键基础设施，在数字经济发展中扮演至关重要的角色。然而，伴随新建数据中心数量及规模的快速增长，数据中心行业的整体能耗势必持续攀升。

在我国二氧化碳排放力争于2030年前实现碳达峰、在2060年前实现碳中和以及能效双控等目标愿景下，数据中心的绿色、节能、低碳、高质量发展成为了重点。发改委、国家能源局、工信部等国家部委相继发布多项政策办法，推进“双碳”行动落地实施。

在面对国家双碳政策和外部经济环境压力下，基于B站快速发展的业务需求，如何更灵活有效地完成数据中心交付，同时从数据中心持续运营成本最优及碳足迹最少的需求角度考虑实现数据中心智慧节能，是我们一直在思考的问题和探索的方向。

2. ESG贡献

哔哩哔哩积极响应我国“3060双碳”目标，主动承担环境责任，通过绿色办公、绿色包装以及绿色数据中心应用等举措加速企业低碳转型，守护地球可持续的未来。我们依照TCFD（Task Force on Climate-related Financial Disclosures 气候相关财务信息披露工作组）的建议，评估各类风险的影响程度与应对举措，为我们未来在绿色低碳领域的技术应用、产品创新和商业模式转变提供指引。

• 积极把握新能源机遇，不断优化数据中心能源结构，提高新能源占比

• 通过发行ESG（Enviromental, Social and Governance 环境、社会及管制）可转债支持绿色数据中心建设

• 全面控制数据中心供应商的PUE（PUE = 数据中心总能耗/IT设备能耗，其中数据中心总能耗包括IT设备能耗和制冷、配电等系统的能耗，其值大于1，越接近1表明非IT设备耗能越少，即能效水平越好）水平，通过设置奖惩机制鼓励供应商发展清洁能源和节能技术

• 制定应急预案以应对突发天气事件对数据中心和办公运营地的影响

• 对慢性气候风险进行前瞻性风险识别及评估，并纳入园区及数据中心建设规划的考量因素

3. 探索实践-B站定制化数据中心

（R2-AZ2）项目

B站R2-AZ2数据中心项目，规划IT容量约35兆瓦，建设交付分期有序进行。目前已完成一期1000个高密度机柜、二期1000个高密度机柜的交付。三期预计将于2022年底完成剩余1500个机柜的交付。

3.1 预制化模块产品助力敏捷交付

传统数据中心建设方案面临建设周期长、施工不确定性高、能耗高、扩容难、智能化程度低等多重挑战，而采用预制化模块产品通过对模块进行工厂预制、预调测，现场无需大规模土建，简单吊装就位，即可快速完成数据中心的建设和部署，能让整个生产更加集约，赋能到数据中心高效敏捷的交付。

本次数据中心交付过程中，创新性地应用了冷站方舱、配电方舱、IT方舱、柴发方舱等产品级解决方案。

IT方舱，包含IT机柜撬块、顶上的天花板龙骨、四周的风墙以及吊顶里的风管，全部在工厂预制并吊装至现场拼接完成的。

IT方舱现场效果图

配电方舱，采用室内型配电模块、不间断电源模块，同时将风管、桥架、照明等组件在工厂集成、调试完成运输至现场，现场配电的安装工作主要为列头柜电缆的外接工作，仅需7天即可完成一个配电系统的安装工作。

配电方舱现场效果图

制冷方舱，将包含复杂的冷冻水管道及设备的冷源系统，分成顶/地/中间连接件三个部分。冷站顶部的环管安排在工厂预制，到现场拼接成管网；底部设计为冷源撬块和水泵撬块并分别安排在工厂集成，撬块运输至现场，最后通过竖向管道完成管路连接。

冷站方舱现场效果图

柴发方舱，将传统的柴发系统组件解耦，重新设计室内型的柴发方舱，独立设计成各功能子模块，同时在各模块中融合所有硬件和软件系统。

柴发方舱现场效果图

所有的预制化模块产品通过标准模块化设计、预制化生产、标准化装配及白盒化接维，促进了数据中心的交付效率、速度和质量，本项目的一、二期在确认交付需求后，从土建结构完成状态到验收通过交付业务，耗时3个月，从而满足业务的快速部署要求。

3.2 创新技术助力智慧节能

B站定制化数据中心（R2-AZ2）项目按照国标GB50174-2017 A级机房进行规划、设计、建造及调试，对于电气、空调、弱电控制等关键系统，考虑不允许出现单点故障，保障业务的安全生产需求。同时，在关键系统架构上做出进一步的探索实践。

3.2.1 高效制冷系统

数据中心的能耗主要由IT 系统总用电量和配套基础设施总用电量组成。据统计，IT系统总用电量约占总能耗的50%，空调系统总用电量约占总能耗32%，供配电系统总用电量约占总能耗15%，数据中心其他辅助系统用电量约占总能耗3%^[1]。空调系统依然是高效节能数据中心的重要分析因素和优化方向。

针对中大型数据中心，制冷系统没有适合全场景的全能型系统技术，需要设计人员根据环境条件、场地情况、负载情况综合对比考虑各种制冷技术及组合方案，交付投产后还需运维管理人员结合负载变动情况和设备状态做持续精细化运营管理。

考虑当地气候情况及B站业务负载特点，制冷主系统为冷冻水系统的基础上，部分区域制冷采用间接蒸发冷却系统、高效氟泵制冷系统及液冷系统等新型高效制冷系统，比传统数据中心更能充分地利用自然冷源，不仅可以满足各种规模的算力密度场景和现场建筑条件，还能进一步降低数据中心的年平均PUE到1.2以下。

液冷技术区别于目前常用的风冷技术，是利用液体介质与热源直接或间接接触进行换热，再由冷却液体将热量传递出去的冷却技术。由于液体介质具有换热系数高、流动性好及稳定性高的特点，在电子设备冷却上得到了越来越多的应用。

液冷技术按照是否与发热的器件产生直接接触，可分为接触和非接触式两种类型。接触式液冷中冷却液与发热器件可直接接触，具体实现方案主要包括浸没式和喷淋式液冷。非接触式液冷技术的典型方案为冷板式液冷。由于液冷技术未使用传统数据中心的冷机、蓄冷设施、末端空调，尤其针对浸没液冷服务器无需配置风扇，能最大程度节能降耗，设计年均PUE低达1.1左右。另外，液冷系统设备可采用预制化生产，将不同的功能模块组件装配成一体化产品，再配合预制化设计的管路，便于现场施工和管理，可以提高现场交付质量和施工速度。

本次项目规划76个单机柜功率为25KW的超高功率密度的冷板式液冷机柜，将分两期完成交付，液冷机房一期项目计划将于2022年7月交付其中的36个机柜。冷板式液冷服务器的进水温度不低于37℃，关键设备设置冗余配置，机房内主管路系统成环布置。液冷机房风系统采用高效氟泵制冷系统，更加节能且布置简单灵活，液冷服务器相比传统风冷服务器进风温度更高，制冷系统更能充分利用自然冷却，从而减少机械制冷的使用时间。

冷板式液冷的主要部署方式是在液冷机柜上配置分水器，给液冷计算节点提供进出水分支管路，分支管路进出水管分别与液冷计算节点的进出水口通过接头对接，与液冷计算节点的内冷板管路连通，实现液冷计算节点内液冷循环。液冷计算节点的液体在机柜级汇聚，机柜级有一进一出两个与外部管路连接的接头，该接头与外置或内置液冷温控单元CDU连接，实现液冷整机液冷循环，并带走液冷计算节点的热量。在冷板式液冷系统里的液冷节点中，CPU等大功耗部件采用液冷冷板散热，其他如硬盘、接口卡、硬盘等少量发热器件仍采用风冷散热。与采用风冷的散热形式相比，液冷与风冷的结合在有效降低了损耗的同时，还有利于在总体上实现效果、成本的最优，有利于系统更为灵活的应用。

冷板式液冷服务器

B站定制化冷板式液冷机房落地后将能很好地服务于B站高算力业务应用场景，同时也将为行业提供数据中心液冷技术全生命周期应用管理的实践经验，为液冷技术相关标准的形成和推进贡献更大的力量。

B站定制化数据中心（R2-AZ2）风液混合制冷包间

3.2.2 智能监控运维系统

项目实现基础设施及IT环境的全面监控，并开发智能运维系统平台，综合调度系统节能，实现数据中心能效最优。智能运维技术包括集群系统综合调度节能方法及装置、数据中心能耗监测及智能运维管理系统、数据中心环境参数测量分析及AI节能优化系统等，使得数据中心具备持续优化运行策略从而降低年运行PUE的潜力和能力。同时，数据中心监控数据实时接入B站自研运维平台，实现中台全面监控管理。

B站定制化数据中心（R2-AZ2）ECC控制中心

4. 总结展望

建设绿色节能和智能安全的数据中心已成为行业趋势，B站将持续推进数据中心的高质量发展，一方面通过技术赋能高效供电、高效制冷，持续迭代并创新，例如高压直流、市电直供、AHU（AHU=间接蒸发自然冷却系统）、氟泵、余热回收、液冷、AI控制、光伏储能等新型技术和高效设备；另一方面持续研发能够实现敏捷交付、随需应变的系统架构。 

未来随着国家对碳中和目标的进一步推进，B站将不断创新实践，持续探索绿色节能数据中心，推动数据中心产业朝着绿色、智能、可持续方向发展，积极为国家圆满完成双碳目标贡献更大的力量。

参考文献

[1] 高书辰, 万凯. 关于绿色节能模块化数据中心建立的探讨[J]. 中国能源, 2020, 42(11):4.