检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
动注入故障识别并修复系统未知隐患的工程实践。 MAS-CAST混沌工程服务提供丰富的故障模式库，通过混沌实验编排攻击目标、攻击策略进行故障注入，支持添加背景流量和资源监控。 同时在故障注入能力的基础上，通过体系化的流程和规范来创建故障演练，从而验证和提升系统可靠性和技术团队应急响应能力。
RES07-03 监控到异常后发送消息通知 当对应用系统监控发现应用异常后，需要向相应的人员和系统发送实时通知消息和告警，以便及时处理。 风险等级 中 关键策略 采用实时快捷的消息通知方式，以便相关人员能及时得到消息。 消息发送人员需要涵盖运维人员，以便及时恢复。 运维人员需要有备份，避免单点风险。
RES10-04 健康检查与自动隔离 对应用组件进行健康检查，当发现故障后进行主动隔离，避免故障扩散。 风险等级 高 关键策略 对系统内组件需要定期进行健康检查，以判断其状态是否正常。 对于异常组件，需要能支持自动隔离，避免对整体业务造成影响。 相关云服务和工具 弹性负载均衡器
RES11-03 长稳测试 基于用户使用场景构建业务模型，使用自动化工具构建覆盖系统容量规格70%的业务量，持续7*24小时进行长时间负载测试以评估系统稳定性。 风险等级 高 关键策略 模拟各种业务场景进行测试。 持续自动测试。 测试结果发生偏差时自动告警，以便及时定位和处理。 父主题：
RES11-02 压力负载测试 通过施加超出系统容量的业务压力，验证云服务的过载保护、业务隔离和优雅降级等能力。为全面验证系统整体的容量规划和业务依赖，云服务应用通常采用全链路压测进行测试。 风险等级 高 关键策略 模拟大量接口消息进行压力测试。 模拟各种业务场景进行压力测试。 持续自动测试。
SEC05-05 证书安全管理 证书的常见用途包括传输数据的加密和系统间的身份认证场景。集中管理每个证书的用途、有效期等信息，并及时对证书替换。 风险等级 中 关键策略 集中管理证书： 建立中心化的证书管理系统，用于存储、跟踪和管理所有证书。 确保每个证书都有清晰的标识，包括用途、所有者、有效期等信息。
大数据场景资源优化 风险等级 中 关键策略 在大数据场景下，可以通过优化资源的使用和分配，提高系统的性能和效率。以下是一些常见的大数据场景资源优化方法： 分布式存储：使用分布式存储系统，如Hadoop HDFS、Apache Cassandra等，将数据分散存储在多个节点上，以提高数据的可靠性和可扩展性。
SEC09-04 安全态势感知 跟踪并监控对网络资源和关键数据的所有访问：通过系统的活动记录机制和用户活动跟踪功能可有效降低恶意活动对于数据的威胁程度。当系统出现错误或安全事件时，通过执行彻底地跟踪、告警和分析，可以较快地确定导致威胁的原因。 风险等级 中 关键策略 采集各类安全
目标 通过定期的容灾演练，可以验证灾备系统是否可用，且数据丢失时间以及恢复时间符合数据的RPO与RTO指标要求。 风险等级 高 关键策略 每年至少进行一次容灾演练；通过演练可提升操作人员的熟练程度。 演练期间需要对恢复过程计时，以确定应用系统的RPO与RTO目标能否满足。 演练期
概述 配置防差错是针对配置过程中因人输入了错误的配置数据 导致系统和业务受损或失效场景下,通过产品设计降低或避免配置错误产生的影响。 父主题： RES14 配置防差错
概述 应用系统无论如何精心设计，仍可能会出现无法恢复的故障，当此类故障发生后，需要进行应急恢复处理。 应急恢复处理预先完成设计，并定期演练。 父主题： RES12 应急恢复处理
Zone，简称AZ）能力，应用可以用较小成本来完成容灾架构部署。 应用系统可设计为使用分布在多个可用区中的资源池，并利用云服务实例本身具备或应用自身支持的跨AZ数据复制与切换能力， 在多个AZ之间复制数据、负载均衡和跨AZ故障切换，从而使应用系统具备应对可用区故障的能力。 父主题： RES03 跨AZ容灾
API及命令调用需要设计为可重试 在进行重试处理时，API及命令调用会重复发送，服务方会多次重复执行，需要保证重复执行多次的结果不变。 风险等级 高 关键策略 应用系统在设计时，应使操作具有幂等性，也就是允许一个操作连续执行两次或多次时，应该与单次调用产生的结果相同，从而保证重试安全；若不支持操作的幂等性
用或服务添加到系统中，那么容量预测模型就需要考虑这些新的容量需求。预测与工作负载目标的一致性，可确保充分预配资源，防止资源浪费或工作负载过载。 确定资源需求 根据需求和预测分析的结果，进行容量评估和规划。确定系统所需的计算资源、存储资源和网络带宽等资源，以满足系统的性能要求。 计
概述 可靠性测试是为了保证系统在规定的生命周期内，达到预期的可靠性目标；与通常的功能测试不同，可靠性测试需要在业务负荷叠加故障中进行，对测试环境和能力提出了更高要求。 可靠性测试和演练通过主动引入故障来充分验证软件质量的脆弱性，从而提前发现系统风险、提升测试质量、完善风险预案、加
概述 当应用系统部署在云中，虽然云具有一定的高可用和故障自动恢复能力，但对外仍会导致短时间的故障，需要应用系统能针对这种短时间故障进行适配处理，主要是采用重试机制。 云中故障需要重试的典型场景有： 实例主备切换时可能会导致连接中断，如DCS、RDS实例由于某些原因主备切换时，会导致连接中断，需要客户端重试。
PERF06-02 性能劣化自动定界定位 风险等级 中 关键策略 通过建立的分层性能模型，判断系统是否会出现性能劣化的情况。当出现劣化事件时，需要通过自动化手段快速定位定界发现根因。可以通过应用模型建设三维的拓扑，把架构-空间-时间数据关联起来。这里面的关键是架构模型的建立及分层
RES08-02 依赖松耦合 系统内组件之间直接访问时，会产生紧耦合关系一个组件的状态变化会对其他组件产生直接影响，从而会导致所有组件的可用性均下降。而采用松耦合架构时，各个组件之间的依赖关系非常弱，它们可以独立地进行修改和扩展，而不影响其他组件；系统更加灵活，易于维护和升级，并且稳定性和可靠性也更强。
业务自动恢复的功能，并能容忍虚拟机HA期间业务处理性能短暂下降或中断。 对已部署的应用系统，改造为支持高可用能力的实施步骤： 确定应用系统的关键组件；所谓关键组件是指一旦故障，会导致整个应用系统或其中的关键功能受损。 针对关键组件，检查其高可用能力，即在其故障的情况下，是否能自动故障转移，进行业务恢复。
对整体系统功能的影响减到最小。如所依赖的数据丢失时，应用程序仍能运行，但可以提供稍微陈旧的数据、替代数据，甚至没有数据，应用仍处于可预测和可恢复的状态。 避免启动依赖及循环依赖。若应用系统由于某些原因导致重启时，若依赖于其他依赖项启动或加载关键配置数据，可能会导致应用系统长时间停
