检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据应用可以是基于大数据分析的实时报表、可视化仪表盘、智能推荐系统、欺诈检测系统等。通过将大数据的分析结果与业务流程集成,可以实现数据驱动的业务决策和创新。 父主题: 大数据架构设计
法规遵从变化: 新的法规或合规性要求可能需要企业对IT系统进行调整,云平台通常能够更好地满足这些要求。 关键业务系统中断: 企业经历过关键业务系统的中断,收入和声誉受损,希望提高业务系统的可靠性,云平台可以提供更高的可靠性和容灾能力。
相关性原则:不需要把企业内部的完整组织架构映射到华为云上,只把那些负责管理IT系统的组织单元(如部门、分公司)和使用IT资源的用户映射到华为云上。
表1 云运维团队的角色和职责 角色 职责 技能要求 来源 云基础设施管理员 负责云平台上存储、虚拟机、操作系统等基础设施的日常运维管理。 监控和优化云资源的使用效率,确保资源分配合理。 处理虚拟机、存储和操作系统相关的故障,保障系统的高可用性。 定期进行系统补丁更新和安全加固。
数据层:包括数据库、对象存储、文件系统,数据库一般通过华为云的数据迁移工具DRS做迁移,对象存储一般通过华为云对象存储迁移工具OMS做迁移,文件系统一般通过Rsync等迁移工具来迁移。
作业双跑是指在新的大数据平台上同时运行原有系统和新系统的作业,以验证新系统的结果和原有系统的一致性。这可以通过比较作业输出、日志和指标等来判断两个系统的结果是否一致。 应用割接 最后,作业双跑一段时间没有问题后,就可以进行大数据应用割接,业务全部切换到新大数据平台。
云运营模式并不是企业云化转型的结果,并不是把业务系统都迁移到云上就自然拥有了一个能够有效支撑业务目标的云运营模式。制定一个良好的云运营模式是确保企业云化转型成功的前提。企业需要根据当前的IT运营模式和业务系统的特点设计最佳的云运营模式,以最大化云计算带来的业务价值。
集中日志和监控:通过集中管理日志和监控数据,可以实时了解系统运行状况,并及时发现和解决问题。选择适当的日志管理和监控工具,并定义关键指标(KPIs)和警报规则,以确保系统的可用性和性能。
云卓越中心简介 如上述所,企业云化转型是一项复杂和系统的工程,需要组建一个云卓越中心(CCoE)来领导、协调和推进整个云化转型项目。
华为云MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka等大数据组件。具体部署方法可参考MRS官网文档。
这种管理体系允许企业按照不同的粒度进行成本分析和管理,包括子公司、业务系统、产品线、部门、项目,甚至是微服务级别。这种细粒度的管理使得企业能够准确识别各个业务单元的成本消耗情况,从而做出更明智的决策。
提升系统的可用性和可靠性,支持业务连续性。 基于云平台的特点制定云运维流程和标准。 推广云运维工具的使用,实现自动化和智能化。 培训运维团队,提升云运维技能。 应用架构师 优化应用架构,提升系统性能、可扩展性和可靠性。 支持应用现代化,充分利用云服务的优势。
架构设计缺乏整体规划,系统扩展性差,难以维护,容易形成“拼凑式”的云环境,资源利用率低。技术选型不当则可能导致性能问题、成本超支和安全风险。此外,现有系统与云平台的整合也将面临挑战,难以充分利用云原生特性。最终,企业将难以发挥云平台的优势,甚至面临安全和性能瓶颈。
安全配置基线 安全配置是信息系统的最小安全保障,云安全配置是云环境最基本的安全保证,是开展安全防护和安全运营的基础。 如果云服务没有达到安全配置基线要求,云上业务及资产将面临巨大安全风险。为了帮助客户提高云环境的安全防护能力,华为云为客户提供了华为云安全配置基线指南。
设计存在单点故障 架构设计时未考虑高可用性,导致关键组件成为单点故障,一旦发生故障,整个系统将无法正常工作。 优化建议:实现冗余设计,采用负载均衡策略,确保应用的关键服务在多节点上运行,提升系统的可靠性和可用性。
技术和性能评估:评估试点迁移后的系统和应用程序的性能和稳定性,考虑应用程序的可伸缩性、响应时间、数据传输速度等因素,总结试点迁移对系统性能和用户体验的影响。 成本效益分析:分析上云迁移试点对企业成本的影响,包括成本节约、资源利用优化、维护和支持成本的变化等方面的评估。
地理冗余:将不同的AZ部署在不同的地理位置,可以防止地区范围的故障,例如自然灾害或电力中断对整个系统的影响。
从业务对外体验上,多数用户感知不到停服的影响,比如某购物平台,用户仍然可以浏览商品,但是不能下单,下单时可友好的提示:系统正在升级中,预计凌晨4点恢复,请您稍后重试下单等。
保障 在大数据迁移的保障阶段,需要执行以下任务来确保顺利过渡到新的云环境: 监控和警报设置:建立实时监控系统,监测集群、任务调度平台和应用程序的运行状态。设置警报,以便及时发现潜在的问题并采取措施。 优化集群性能:对大数据集群进行性能评估和调优。
概述 当企业上云规模逐渐变大,在云上有数十上百个应用系统和海量云资源,包括企业自有员工、外包员工及合作伙伴的员工在内的大量用户需要访问和操作这些云资源,量变导致质变,资源闲置、误操作、恶意操作、数据泄露和权限错配等风险将随着用云规模呈现指数级增长。