项目背景
某半导体企业网络新建了一个氮化镓厂区,需要对这个新厂区进行网络部署。
整个网络的一期建设分为两个大的主题:
1、业务网络
业务网络需要上网的工业设备主要包括:
半导体机台
半导体机台,半导体机台一般是通过机台内部的PLC网关进行上网,可以进行有线或无线上网。
半导体机台工作流程:
机台 ↔(SECS协议(主流方式也是基于TCP/IP))<工作指令直接下发等> EAP服务器
EAP服务器 <实时数据同步,向EAP发送指令,反馈结果>(TCP/IP/HTTPS)↔ MES服务器
EAP服务器相当于是连接MES和机台的中介
半导体机台工作流量分级:
红色流量:机台和EAP服务器的流量,通信中断时间<= 3s
黄色流量:生产业务系统(EAP和MES)之间的流量
绿色流量:管理运维流量
半导体机台网络接入:
当然最简单的方式是直接在网口上连根网线到交换机上即可。除此之外还有以下这些接入方式可供参考。
- ERPS环网接入:机台通过连接工业交换机,工业交换机和接入交换机之间部署ERPS环网协议
- M-LAG双归接入
- WIFI CPE接入
AMHS天车网络业务系统(无线上网)篇幅有限,后续再详细介绍。
2、安防网络
安防网络主要包括门禁,门禁控制器,监控和硬盘录像机。这里需要注意的是一个门禁控制器可以管理4路门禁,只需要一个网口即可。
门禁
门禁控制器
监控摄像头
录像机
网络拓扑和设备选型:
IDC代表数据中心核心机房,RW代表一级弱电间,IDF代表二级弱电间。
RW弱电间设备部署示意:
IDF二级弱电间设备部署示意
数据机房接入交换机:CE6855
整网核心交换机:CE12808E
生产网络核心交换机:S12710
安防网络核心交换机:S7706
生产安防网络汇聚交换机:S6720
生产安防网络接入交换机:S5720(安防网络部分交换机需要带POE功能)
IP地址规划:
序号 | 网段名称 | IP段 | VLAN段 |
1 | 生产网络 | ||
2 | 安防网络 | ||
3 | 生产网络管理网段 | ||
4 | 安防网络管理网段 | ||
5 | 服务器IP地址 | ||
6 | 设备互联地址 |
设备命名规划
区域_设备角色_设备型号_同类型资产编号
设备上架:
核心设备上架
使用剪刀沿着“CE12808E裁剪线”裁剪安装模板。
先确定交换机安装在机柜/机架中的安装位置。然后两人协作,根据安装位置对齐孔位,固定安装模板,用记号笔标记交换机挂耳安装孔和可伸缩滑道位置。标记完成后,移除安装模板。
在标记位置安装浮动螺母
调节可伸缩滑道长度,通过滑道前端的定位块和后端的定位挂钩将滑道水平放置在机柜的安装位置,然后用M6的螺钉紧固
安装设备到机架上
盒式交换机上架
1、挂耳安装
- 如果挂耳上有R/L标识,标有R的挂耳装在设备的右侧,标有L的挂耳装在设备的左侧。同时标有R的挂耳上带有一个接地孔,可连接接地线提供接地功能。
2、接地线
机架布线,设备安装:
具体内容可以参考以下产品文档。
布线相关知识:
光纤
黄色外护套标识OS1/OS2单模光纤,橙色为OM1/OM2多模光纤,水绿色为OM3/OM4多模光纤,而OM5多模光纤则采用绿色外护套。
一般情况下,设备之间的距离小于100M使用多模光纤,设备之间的距离大于100M用单模光纤。
光纤及接口(以单模光纤为例,多模光纤类似)
一般来说机房内设备互联的光纤都是LC双芯的光纤。大带宽的光纤(40GE或以上)会选择用MPO接口连接
MPO接口线缆:
当然也可以选择AOC线缆(将光模块和光纤绑定好)
但AOC光线缆的长度固定,配置灵活性上较差,一般适用于短距离传输的场景。
堆叠线缆
40GE堆叠线缆
网络部署
管理网络部署
所有的交换机均配置SNMPv2c的方式连接到公司的OpManage进行网络设备管理
网络中所有的交换机配置SSH登录,使用密钥的方式进行登录
一般在实际网络部署中会有一个基线协议设计的表格
内容包括两个方面:
- SNMP
- SNMP账号
- 认证算法
- 认证密钥
- 加密算法
加密密钥
- SNMP协议源接口
- SSH
- SSH账号
- SSH密码
带内管理
通过网络设备的数据传输通道(即承载业务数据的网络链路 )来对设备进行管理。比如,管理员通过连接到企业内部网络,使用网页浏览器或者命令行工具,利用设备的业务 IP 地址来登录交换机、路由器等设备进行配置和管理操作。此时,管理数据和业务数据在同一网络链路中传输 。
带外管理
不依赖网络设备的数据传输通道,通过独立的通道来对设备进行管理。它与业务数据传输的网络相互隔离,即使设备的业务网络出现故障(如网络中断、拥塞等情况),也能正常对设备进行管理操作。
总结:
简单来说,就是使用交换机的Meth接口专门搭建一个管理网络的方式叫做带外管理。使用交换机的业务接口,例如通过VLANIF接口来进行SSH登录的方式叫做带内管理。
带外管理的可靠性远高于带内管理,所以对于核心的网络设备,不可中断的生产网络等全部都是采用的带外管理的方式。而针对非核心的网络设备,例如办公网络(中断一小时不会产生巨大影响),仓库等会采用带内管理的方式。因为带内管理不需要额外搭建管理网络,成本更加低廉。
堆叠部署
网络中的核心交换机配置堆叠和集群,具体的堆叠和集群的配置参考以下。
服务器机房设备堆叠
服务器机房的交换机采用TOR交换机的方式,一个机柜部署一台交换机,两台交换机跨机柜进行堆叠。
服务器最终是使用双规接入的,就像上图所示。黑色和红色的线为业务线缆,棕色为堆叠线缆。
核心交换机堆叠
核心交换机采用专门的CSS集群线缆进行集群,集群的本质和堆叠类似。具体可以参考以下过程。
具体来说的需要注意CE12808E和S12710交换机集群方式的不同。CE12808E需要同时连接主控板和业务网板。S12710是连接主控板和交换网板。
汇聚交换机堆叠
略
关键链路配置链路聚合
略
接入交换机二层安全配置
接入交换机配置VLAN等过程在此处省略。此处主要说说接入交换机配置的二层安全相关的内容。
如果配置了生成树
1、连接终端的接口要配置为边缘端口
2、连接终端的接口要配置BPDU保护
3、风暴控制,当广播风暴超过阈值关闭端口
路由配置:
网络中的交换机均配置了OSPF。
数据中心业务
数据中心接入交换机和数据中心里的四层负载均衡设备建立OSPF邻居关系。
LED数据中心和集成数据中心的业务互为备份。通过负载均衡设备发布相同的VIP(相同的虚拟IP地址)
OSPF 路由联动 LB 发布 VIP 路由:在 LB1/LB2 上启用 OSPF,将 “业务 VIP 10.0.1.100/32” 和 “安防 VIP 10.0.2.100/32” 以 “外部路由(Type 2)” 的形式通告到OSPF中Area3和Area4中,并携带 tag 标识(tag10 对应业务 VIP,tag20 对应安防 VIP);
在业务网核心交换机(区域 1):接收 tag10 的 VIP 路由,将其 OSPF 优先级设为 100;忽略 tag20 的路由(通过 ACL 过滤)—— 确保业务网终端访问 10.0.1.100 时,路由指向 LB;
安防网核心交换机(区域 2):接收 tag20 的 VIP 路由,AD 值设为 100;忽略 tag10 的路由 —— 确保安防网终端访问 10.0.2.100 时,路由指向 LB;
路由收敛保障:LB 故障时(如 LB1 宕机),LB2 会自动接管 VIP,并重新向 OSPF 通告 VIP 路由,全网路由在 1 秒内收敛(配合 OSPF 快速 hello 时间:hello 1 秒,dead 4 秒),无需手动修改路由。
路由故障切换
业务核心到数据中心核心路由故障
安防核心到数据数据中心核心业务故障
数据中心接入到数据中心核心业务故障(只要LB1感知不到LB2,LB2就会自动重发布VIP路由)
项目验收
验收工具:
公网ping工具:http://ping.pe/
本地测试工具:pinginfo
测试内容需要包括:故障场景简图、模拟器故障操作命令,故障回显截图,模拟故障前、中、后的ping测试截图。
1、模拟堆叠分裂
2、单台设备重启
3、板卡重启
4、链路聚合接口重启
5、模拟电源故障
6、若有防火墙需执行主备倒换测试
出口网络测试
业务核心测试
路由故障测试