🔧 Duty Preparation

Network Duty 值班案例准备手册

基于 Duty Case Examples + 2023 实际案例 + 历史排查经验整理
🔥
7
高频场景
📋
6
领域分类
✅
4
真实案例
📞
6
供应商
📋
Duty 规则

⚡ 响应要求

  • Duty 期间笔记本电脑必须带回家
  • 避开休假时担任 Duty
  • 紧急联系电话存手机，手机 24 小时保持开机
  • 未接电话 15 分钟内回电
  • 保证 24 小时可上网状态
  • 睡觉时保持开机

🔑 权限 & 工具

  • PagerDuty：https://decathlon.pagerduty.com/sign_in
  • StatusPal：监控面板
  • Meraki Dashboard / H3C 防火墙 / FortiGate / Zscaler Portal 访问权限
📞
关键联系人

🏢 内部团队

团队职责电话
CS-ZAS-NETWORK互联、WLAN、Google、Zscaler、CoD186 2129 0046
CS-ZAS-INFRA分布式基础设施、HV01、NAS、收银、打印机185 2157 1159
CS-CLOUD-CNAzure/阿里云、Cloud LAN、DNS、WAF199 1673 5110
CP-ZAS-RETAIL门店沟通、信息收集、基础排查181 1702 6506

📡 供应商

供应商联系人邮箱电话
CTG 电信国际Caspercaspertong@chinatelecomglobal.com181 2419 8270
ICT Serviceictservice@chinatelecomglobal.com—
SingtelCelia WANGcelia.wang@singtel.com133 7199 8687
联通 UniCloudWANYongqiang CHENchenyq@lightwan.com—
Yi WEIweiy35@chinaunicom.cn—

📱 Duty 值班人电话

姓名电话
Frank HOU136 3667 6190
Lucas LE186 0172 1741
Jace ZENG182 2158 9921
Kevin XIANG139 1857 1729
🏭
仓库 (WH) / MPLS
2 cases
WH MPLS 仓库内网中断 1 小时 高
排查步骤
  1. 路由检查：确认 MPLS 路由是否正常宣告
  2. Ping 测试：ping 核心网关、对端 PE 路由器
  3. Traceroute：定位断在哪一跳
  4. 确认是单点还是全网中断
升级路径

问题不在我们侧 → 触发 CTG

邮箱：ictservice@chinatelecomglobal.com / caspertong@chinatelecomglobal.com

📧
立即发邮件给 CTG 开 case，抄送 caspertong，附 ping/traceroute 截图
WH IPSEC Google 访问中断 1 小时 高
排查步骤
  1. 确认是 Google 专线还是 Zscaler 通道问题
  2. 检查 IPSEC VPN 状态（FortiGate / MX）
  3. 路由检查 + Ping + Trace
  4. 检查是否有 ZIA tunnel 告警
升级路径

→ CTG（链路问题）或 Zscaler（隧道问题）

🏢
办公室 (Office) / SDWAN
3 cases
Office Meraki SDWAN AutoVPN 中断 1 小时 高
排查步骤
  1. Meraki Dashboard → Security & SD-WAN → Appliance status
  2. 检查 WAN1/WAN2 链路状态（是否双断）
  3. 检查 VPN tunnel 状态
  4. 检查 Meraki Event Log 有无异常
解决方案
  • 硬件故障 → 通知 CP → 供应商更换 MX
  • 链路故障 → 联系运营商
  • 单链路可用 → 切换 Primary Uplink
💡
Meraki Primary Uplink 切换：Security & SD-WAN → Configure → SD-WAN & traffic shaping → Primary uplink 从 WAN2 切到 WAN1（或反向）。切换前确认目标链路在线。
Office WLAN CorpWiFi 无法连接（RADIUS 不可达） 中
排查步骤
  1. 确认 RADIUS 服务器是否可达
  2. Meraki → Wireless → Access control → 检查 RADIUS 配置
  3. 测试 RADIUS 端口（1812/1813）连通性
临时方案

启用 DecathlonEmergency WiFi 作为临时替代，保障业务不中断

Retail Zscaler ZIA Tunnel 中断 高
排查步骤
  1. 检查 Zscaler Events Log
  2. 确认 ZIA Node 状态
  3. 尝试切换到另一个 ZIA Node
  4. 如持续不通，临时禁用 ZIA
影响

WebPOS 离线，门店无法访问外网

（2023 案例：50+ 门店同时受影响，Zscaler 维护导致）

📧
提交 ticket 给 Zscaler。如影响严重，临时 remove ZIA 保障业务
☁️
互联 / 云 (Azure / Aliyun)
4 cases
Azure WAN FW 单实例故障（业务不受影响） 中
关键 IP
  • Cluster: 10.70.13.172
  • FW01 MGT: 139.217.225.84
  • FW02 MGT: 52.131.216.223
升级路径

提 高优先级 case 给 Azure

Portal: https://portal.azure.cn → Support

Azure WAN FW 双实例故障（互联中断） 高
紧急操作
  1. 提 高优先级 case 给 Microsoft
  2. 同时打电话给 IAAS Duty
  3. Services Hub: https://serviceshub.microsoft.com
升级路径

Microsoft + IAAS 同时介入

Aliyun 阿里云 WAN FW 故障 高
关键 IP
  • Cluster: 10.66.252.158
  • FW01 MGT: 47.103.112.192
  • FW02 MGT: 47.103.99.181
升级路径

单实例故障 → 阿里云钉钉提工单

双实例故障 → 阿里云 + IAAS Duty

CUBE CN CUBE CN IPSEC 中断 中
关键 IP

PIP: 192.168.192.113 → 52.80.170.13

升级路径

→ CTG

参考：CUBE CN Fortigate deployment 文档

🔗
CoD (Connectivity on Demand)
3 cases
CoD CTG CTG MPLS 中断 高
关键 IP
  • SG3: 10.236.131.10
  • SG2: 10.236.131.11
  • PA2: 10.236.3.11
升级路径

→ CTG

邮箱：ictservice@chinatelecomglobal.com

CoD Singtel Singtel MPLS 中断 高
关键 IP
  • SG3: 10.236.131.2
  • SG2: 10.236.131.3
升级路径

→ Singtel（Celia WANG）

注：4809-64647 MPLS 现由 CTE 管理（同 CTG 微信群）

CoD CoD SG HUB 故障 高
应急措施

如影响业务严重 → 触发 FR Duty

升级路径

→ cs-network_interconnect

PagerDuty + CoD Wiki

🔥
H3C 防火墙（实际案例）
2 cases
H3C 东莞仓库全网断网 4 小时 高
根因

防火墙内存使用率过高，导致设备异常重启

解决

物理重启防火墙

💡
教训：定期检查 display memory，内存使用率 >85% 需提前处理。H3C 防火墙排查命令详见 H3C Firewall Troubleshoot 技能文档。
H3C Webex Webex VC Share 屏幕共享失败 中
根因

编码器输出空壳帧（RTP payload 仅 ~55B vs 正常 ~960B），结合厂商日志确认是网络层信令与媒体通道阻断

关键排查点
  • 检查 H3C 防火墙 https 应用超时（默认 600s）
  • 检查 DNS 解析（locus-t.wbx2.com）
  • 检查 STUN 端口（3478）
  • Cisco TAC 确认：修改 DNS 后必须重启 VC 设备
💡
关键命令：display session aging-time application 查看 https 超时；display alg dns 检查 DNS ALG 是否拦截
📊
2023 年真实 Duty 案例回顾
4 cases
WH H3C 东莞仓库全网断网 高
详情

时间：2023-01-xx | 停机：4 小时

影响：东莞仓库所有用户无法访问外网

根因：防火墙内存过高导致崩溃

处理

物理重启防火墙恢复

Aliyun 阿里云 WAN MPLS02 中断 低
详情

时间：2023-02-23 | 停机：2 小时

影响：无业务影响，仅影响 WAN FW 监控

根因：阿里云 MPLS 计划维护

处理

要求 CT 优化阿里云 WAN FW 集群路由

Zscaler Zscaler Tunnel 中断（17 门店） 高
详情

时间：2023-02-25 | 停机：10 分钟

影响：WebPOS 离线，门店无法访问外网

根因：ZIA Tunnel DPD 超时

处理

提交 ticket 给 Zscaler

Zscaler Zscaler 维护（50+ 门店中断） 高
详情

时间：2023-04-15 | 停机：3 分钟

影响：50+ 零售门店 WebPOS 离线

根因：Zscaler 计划维护

处理

临时移除 ZIA 保障业务

⚠️
教训：关注 Zscaler 维护通知，提前准备降级方案。大面积门店受影响时，优先保业务（临时 remove ZIA），再追查原因。
⚡
Duty 快速参考

🔄 标准排查流程

  1. 确认影响范围：单点 / 区域 / 全网
  2. 确认业务影响：WebPOS / 收银 / WiFi / VPN
  3. 快速排查：Ping → Traceroute → 设备状态检查
  4. 判断责任方：我方 / 运营商 / 供应商
  5. 升级：发邮件 + 打电话给对应供应商
  6. 记录：Downtime、Root Cause、Action Plan

🚨 紧急降级方案

  • RADIUS 挂了 → 启用 DecathlonEmergency WiFi
  • ZIA 不通 → 临时 Remove ZIA
  • MPLS 断了 → 确认 IPSEC/SDWAN 备链是否自动切换
  • Meraki MX 单链路 → 切换 Primary Uplink
  • H3C 防火墙内存高 → 物理重启
← 返回主页