从一间机房开始:夜灯下的一千次压测

程致远第一次走进机房时,里面只有两排机柜和一台吱呀作响的旧空调。那是pg直营站视讯业务的起点,团队五个人,轮班守着屏幕上的码率曲线。他记得最清楚的不是某次故障,而是连续三周凌晨的压测:把并发数一点点往上推,记录首帧加载时长在哪个点位开始抖动。

“那时候没有太多工具,靠的是手写表格和一遍遍回放。”程致远说。pg直营站早期视讯业务的容量规划,本质上是把“不确定”拆成可验证的小问题:单路4K采集占多少带宽、多视角切换时缓存预热要提前多久、端到端时延在跨运营商链路上会掉多少。这些问题没有标准答案,只能靠反复试。

  • 先定底线:首帧加载时长不超过1.2秒,端到端时延不超过800毫秒。
  • 再定节奏:每周一次小压测,每月一次全链路演练。
  • 最后定人:每个环节固定一名责任人,故障复盘不追责、只追因。

这套笨办法后来成了pg直营站视讯运维的底稿。程致远说,容量规划不是买多少机器,而是知道自己在什么条件下会垮。

三城联调:争执出来的调度规则

业务扩到三座城市后,问题从“单机房扛不扛得住”变成“三地怎么分活”。第一次跨城联调,两个城市的运维团队在调度策略上吵了起来:一方主张按用户地理就近分配,另一方坚持按机房负载动态迁移。会议从下午开到深夜,最后程致远拍板:先按就近,再叠加负载阈值,超过阈值自动切流。

规则定下来只是开始。pg直营站随后做了三轮灰度:第一轮只切百分之五的流量,观察多视角切换耗时是否稳定在400毫秒以内;第二轮把画质达标率纳入考核,要求不低于98%;第三轮才全量。程致远记得,第二轮灰度时出现过一次音画同步偏差抬头,排查后发现是某条链路的时钟同步没对齐,修好后偏差回落到80毫秒以内。

“跨城联动最怕的不是技术,是信息不对称。”他要求三地值班表共享、告警群合并、复盘文档同一份。pg直营站的调度台上,至今贴着一张手写纸条:先看首帧,再看卡顿,最后看画质。

把4K做成日常:一个人的坚持与一群人的习惯

程致远有个习惯,每次大促前自己去当一小时普通用户,从头到尾看一场视讯,记录哪里卡了、哪里切换慢了。他说这是“用眼睛做监控”。pg直营站视讯业务从4K采集走到AI导播,工具换了几轮,这个习惯没变。

他带过的一个年轻运维刚来时不理解:指标都达标了,为什么还要人肉看?程致远让他连看三场多视角切换,年轻人看到第二场就发现,某路机位在切换瞬间有半秒的构图偏移,指标看不出来,眼睛一看就明白。后来这个年轻人成了pg直营站多视角体验的负责人。

如今三城联动的值班表上,仍保留着“体验巡检”一栏。程致远说,容量规划解决的是“撑得住”,体验巡检解决的是“好不好”。pg直营站资讯中心记录这些人与事,不是为了讲情怀,而是因为这些具体的动作,最后都会变成可复用的方法。