liu

发布工程是软件工程领域中一个相对较新、且发展迅速的分支，核心关注软件的构建、交付、自动化发布和持续部署，可以简要概括为：软件的构建与交付[McN14a]。发布工程师通常需要对源代码管理、编译器、构建配置语言、自动化构建工具、包管理器和安装程序有扎实的理解，虽然他们未必在每个领域都达到专家水平。他们的…

站点可靠性工程师（SRE）的一项核心职责，是量化所维护系统的可靠性。可靠性测试是 SRE 提升系统稳定性、降低故障风险、优化 MTTR 与 MTBF 的重要手段。SRE 通常会把传统软件测试技术应用到大规模系统中，以完成这项工作。可靠性既可以从历史角度衡量，也可以从未来角度衡量：前者通过分析监控系统…

作为 SRE（站点可靠性工程师），我们维护的是大规模、复杂的分布式系统。我们不断为服务添加新功能，引入新系统。鉴于系统规模庞大、变化速度极快，故障和中断不可避免。当故障发生时，我们会修复根本问题，使服务恢复正常运行。然而，如果没有一套正式的事后复盘流程来从故障中吸取经验教训，同样的问题就可能反复出现…

有效的事故管理，是尽可能降低事故影响、缩短服务中断时间、尽快恢复正常业务运行的关键。如果没有事先演练过潜在事故的应对方案，那么真正遇到事故时，原本清晰的原则和流程很可能会在混乱中失效。 本文将先描述一起因临时、无序处置而逐步失控的事故；随后概述一套妥善的事故管理流程；最后回到同一场景，看看如果采用成…

在复杂的软件系统和互联网基础设施中，系统故障不可避免。真正重要的不是故障是否发生，而是团队能否在紧急情况下快速响应、有效协作，并通过事后复盘持续改进。本文将围绕应急响应、事件响应流程、系统故障处理、主动测试和故障复盘，介绍大型技术团队在真实故障场景中的实践经验。 东西总会坏，这就是现实。 无论事件影…

分布式系统监控是保障服务稳定性、可用性和故障响应效率的关键能力。某些海外大型互联网公司的 SRE 团队在构建可靠的监控与告警系统方面积累了一些基本原则和最佳实践。本章将介绍分布式系统监控的核心概念、告警设计原则、黑盒监控与白盒监控的区别，以及延迟、流量、错误和饱和度这四个黄金信号，并说明哪些问题应当…

在 SRE，也就是站点可靠性工程中，我们希望把时间投入长期的工程项目，而不是日常运维工作。由于“运维工作”这个说法容易引起误解，我们使用一个更精确的术语：琐务。 琐务管理是 SRE 实践中的核心议题。识别并减少琐务，不仅能提升工程效率，也能帮助团队更好地保障服务可靠性、扩展系统规模，并避免工程师长期…

服务级别目标（Service Level Objective，SLO）是 SRE 实践中的核心概念。它与服务级别指标（SLI）和服务级别协议（SLA）共同构成了衡量、管理和改进服务可靠性的基础。本文将介绍如何选择合适的 SLI，如何制定合理的 SLO，以及如何通过 SLA 管理用户预期和业务风险。 …

2012 年，在海外某大型流媒体平台，运营一项关键服务是一件异常艰难的事。部署过程缓慢而沉重，仿佛在湿沙中跋涉。所谓“金丝雀测试”也逐渐偏离了原本验证功能正确性的目的，变成了一种耐久性检验：“连续跑了一周都没出问题，那就继续推进吧。”问题排查更像是在不同团队之间来回传球：找到根因很难，更难的是避免问…

海外某流媒体公司的 API 构建在一个动态脚本平台之上。该平台每天需要处理数千次代码变更，允许客户端开发者通过执行服务端适配器代码来响应 HTTP 请求，从而为上千种设备类型定制 API 体验。开发者只需关注自己编写的适配器代码，无需操心服务器管理、容量规划和日常运维等基础设施问题。 从开发者体验来…