混沌工程
混沌工程（Chaos Engineering）是通过主动注入故障，验证系统容错能力的工程实践。混沌工程的目标是在故障发生前发现系统的脆弱性，提高系统的韧性。
混沌工程的原理
传统测试 vs 混沌工程
传统测试：验证系统在正常情况下的行为。测试环境是理想化的，故障是预设的。
混沌工程：验证系统在故障情况下的行为。生产环境是真实的，故障是随机的。
混沌工程的价值
发现隐藏的故障：系统可能在边界条件下故障，常规测试无法发现。
验证容错机制：验证熔断、降级、限流等容错机制是否有效。
提高系统韧性：通过持续注入故障，系统逐步适应故障，提高韧性。
建立故障文化：团队不再恐惧故障，而是主动面对故障。
混沌工程的实施
定义稳态
稳态是系统正常运行的指标，如 QPS、错误率、延迟。稳态应该可量化、可监控。
注入故障
注入故障是混沌工程的核心，故障类型：服务器故障（杀进程、停机）、网络故障（延迟、丢包、分区）、资源故障（CPU、内存、磁盘满）、依赖故障（数据库故障、第三方服务故障）。
观察系统
观察系统在故障下的行为，是否偏离稳态。观察指标：QPS、错误率、延迟、资源使用率。
改进系统
如果系统偏离稳态，分析原因，改进系统的容错能力。改进措施：增加容错机制、优化资源配置、修复 bug。
混沌工程的工具
Chaos Monkey
Chaos Monkey 是 Netflix 开发的混沌工程工具，随机终止实例，验证系统的自愈能力。
Chaos Monkey 的原理：定期随机选择实例并终止，观察系统是否自动恢复。
Chaos Monkey 的问题：故障类型单一（只有实例终止）、故障随机性（可能无法覆盖关键实例）。
Chaos Mesh
Chaos Mesh 是 PingCAP 开发的混沌工程平台，支持多种故障类型。
Chaos Mesh 的特性：故障类型丰富（Pod 故障、网络故障、IO 故障、内核故障）、与 Kubernetes 集成、Web 界面管理。
Chaos Mesh 的优势：云原生、功能完善、中文文档。
Chaos Blade
Chaos Blade 是阿里开源的混沌工程工具，支持多种故障类型。
Chaos Blade 的特性：故障类型丰富、支持多语言（Java、Go、C++）、与 Kubernetes 集成。
Chaos Blade 的优势：轻量级、简单易用。
Litmus
Litmus 是 CNCF 托管的混沌工程项目，与 Kubernetes 集成。
Litmus 的特性：与 Kubernetes 集成、支持 Chaos Experiments（混沌实验）、Chaos Hub（实验库）。
混沌工程的实验
实验设计
假设：系统在某故障下保持稳态。
范围：实验范围（如某个服务、某个实例）、爆炸半径（实验的影响范围）。
指标：稳态指标（如 QPS、错误率、延迟）。
实验执行
渐进式：从小的实验范围开始，逐步扩大实验范围。
最小爆炸半径：实验的影响范围最小，避免影响核心业务。
可逆：实验可以随时停止，系统可以快速恢复。
实验分析
分析实验结果，判断系统是否偏离稳态。如果偏离稳态，分析原因，改进系统。
混沌工程的最佳实践
从非关键业务开始：先在非关键业务上实验，验证混沌工程的流程和工具。
从小故障开始：先注入小故障（如延迟），再逐步扩大故障（如实例故障）。
自动化：自动化混沌实验，定期运行实验，持续验证系统韧性。
文化培养：建立故障文化，团队不再恐惧故障，而是主动面对故障。
与监控集成：混沌实验与监控告警集成，实时观察实验影响。
复盘改进：每次混沌实验后进行复盘，总结经验，改进系统。
混沌工程是提高系统韧性的有效手段，通过主动注入故障，在故障发生前发现系统的脆弱性，提高系统的可用性和可靠性。