首页 / 客户案例

红彤软件助力某智能科技人工智能 API 平台容灾项目

项目名:人工智能 API 平台容灾项目

背景及需求*

      深圳市某智能科技有限公司是一家致力于开发视觉AI技术,为健康与美丽产业赋能的留学生创业企业,核心团队包括多名AI算法人才、医疗领域的资深从业者。
       某智能在本地托管数据中心构建了拥有一定算力的AI 集群,联合多家专业医疗机构和海量标注数据(超过1000万的临床皮肤案例数据),依托独有的算法和数据研发了一个用于皮肤健康状态检测的人工智能平台,并将研究成果产品化制造在全球销售了超过3万台皮肤检测硬件产品,包括测肤仪、AI魔镜、皮肤放大镜、头皮放大镜等,同时还提供了一个面向互联网企业用户(如美容机构、皮肤病医院、美妆手机应用等)的 API 平台,此 API平台已部署在 AWS 北京区域,目前已经拥有超过500万的用户群体在使用API 平台进行皮肤健康检测和相关应用。
      随着数据中心所存储的皮肤数据(主要为大量高清皮肤图片)越来越多,目前的数据存储量已经达到了100TB级别。为安全长期的保存 AI算法所需的数据,某智能购买了Veritas的NetBackup产品用于数据的备份,同时为进一步保证数据的高可用和长期归档存放的需求,某智能希望能够在AWS上使用 Amazon Simple Storage Service来进行AI平台海量文件的存储备份,通过Veritas的NetBackup产品将本地的文件备份到 Amazon Simple Storage Service 中。
      同时考虑到原部署在本地托管数据中心的 API 平台的互联网访问带宽及后端服务的稳定性,希望在 AWS 国内区域部署完整的 API 平台的备用容灾环境,并逐渐将原有的客户端访问切换到 AWS 上的 API 平台。

解决方案*

架构图

架构设计*

在本方案中,为了在项目需求中实现AI平台海量文件的存储备份以及 API 平台的容灾环境部署,我们主要采用了以下技术方法来实现架构设计和部署:

• 参考 AWS Identity and Access Management最佳实践来规划和完成 AWS Identity and Access Management中的用户创建、权限配置和安全设置;
• 在AWS国内(北京区域)创建Amazon Virtual Private Clouds进行网络隔离和其他服务部署;
• 在AWS中国(北京区域)创建Amazon Simple Storage Service存储桶,并根据数据特征规划多种不同的存储类型,包括Amazon S3 Standard、Amazon S3 Glacier、Amazon S3 Glacier Deep Archive 等;
• 由Veritas 原厂工程师 在本地数据中心完成Veritas NetBackup的配置,完成Amazon Simple Storage Service与本地数据中心 Veritas NetBackup之间的数据传输;
• 设置本地数据中心 Veritas NetBackup的传输策略,同步写入本地备份设备及 AWS 中国的Amazon Simple Storage Service存储桶;
• 在AWS中国(北京区域)创建Application Load Balancer、Amazon Elastic Compute Cloud 实例组、Amazon RDS、Amazon API Gateway、AWS lambda、Amazon DynamoDB 等服务,用于部署 API 平台的容灾平台。
• 在AWS中国(北京区域),通过 Amazon Cloudwatch进行各个服务的监控和告警设置。

项目收益*

      通过结合使用 Veritas NetBackup 和 Amazon Simple Storage Service,我们为客户构建了一个经济、可靠、安全的数据备份系统;同时我们通过使用 Application Load Balancer、Amazon Elastic Compute Cloud 实例组、Amazon RDS、Amazon API Gateway、AWS lambda、Amazon DynamoDB 等服务,为用户构建了一个弹性、高性能的 API 容灾平台。
• 成本:通过使用  Veritas NetBackup 将客户的文件传输到 Amazon Simple Storage Service,实现了用户文件的安全备份,同时通过使用丰富的 Amazon Simple Storage Service 存储类,以及结合使用 Veritas NetBackup 的去重压缩功能,在云中的文件存储成本只有本地数据中心的1/3;
• 安全性:所有的文件传输链路均使用 SSL 加密,并通过使用 IAM 角色来完成 Amazon Simple Storage Service 存储桶内文件的安全权限控制;同时我们开启了 Amazon Simple Storage Service 的相关审计功能,可以记录并分析所有的访问情况;
• 效率:通过使用我们提供的方案,经过大量的测试,不同来源的用户访问 API 接口的响应时间大幅下降,从原来的平均超过 500ms 下降到100ms以内,提升了五倍的 API 访问效率;用户决定后续陆续将本地数据中心的 API 访问迁移到 AWS 中国区域部署的 API 平台。

项目成效*

• Veritas 和 AWS 均为我公司的合作伙伴,通过此项目的测试和部署,我们对结合使用 AWS Partner Veritas 的 NetBackup 产品和 Amazon Simple Storage Service 服务积累了很多经验,并获取了有一定参考价值的数据存储成本对比数据,在未来涉及到数据备份、容灾的场景中均可以推荐给其他用户使用,从而可以为用户提供企业级的经济、可靠、安全的数据备份和容灾系统。

【返回上页】 【打印本页】