Amazon Web Services(AWS)是全球最全面、应用最广泛的云平台,从全球数据中心提供超过175项功能齐全的服务。数百万客户(包括增长最快速的初创公司、最大型企业和主要的政府机构)都在使用Amazon Web Services来降低成本、提高敏捷性并加速创新。
红彤软件简介
深圳市红彤软件有限公司创立于2008年,专业从事企业级软件代理、数据存储、备份及还原恢复等增值技术服务。包括公有云、私有云及混合云等综合解决方案,服务各行各业全栈云解决方案。同时我们也是Redhat Advanced Business Partner,为华南排名前两位的高级别合作伙伴。
做为Amazon Web Services高级合作伙伴,可以为客户提供云规划、迁移、实施等服务,为客户提供Amazon Web Services安全、可信、持续创新的产品与服务。
Amazon Web Services存储优势:
最低成本的云存储
Amazon Web Services 存档存储解决方案从每 TB 约 1 USD/月起步,此价格低于大多数客户的本地磁带基础设施。
满足合规性要求
Amazon Web Services 定期对数千项全球合规性要求进行第三方验证,以帮助您满足几乎所有行业的安全性与合规性标准。
业务敏捷性
需要时轻松访问相邻的 Amazon Web Services 服务,迅速将数据从存档移动到生产环境,可在数毫秒内检索和提取信息。以便客户应对新业务的模型需求。
数据保护和数据完整性
保存在 Amazon Web Services 存档存储解决方案上的数据高度可用,具有 99.999999999% 持久性,而且受到保护不会在数十年保留期内出现性能下降或损坏的情况。保存在 Amazon Web Services 存档存储解决方案上的数据可被配置为不可变,通过防止有害或意外删除或修改记录(即使已授予访问凭证)确保提供额外的数据保护层。
以按实际使用量付费的定价模式实现无限制扩展
满足由数据指数式增加而驱动的不可预测的容量需求,只需为实际使用量付费而不用进行大量前期资本投资。
我们的优势
经过多年与 Amazon Web Services 的合作和内部人才培养,我们拥有 多个不同级别的 Amazon Web Services 认证工程师,同时我们也面向客户提供存储安全、存储服务方面的多种培训;
我们有大量的客户案例,积累了丰富的Amazon Web Services存储产品的使用经验,广泛在 用户项目里使用过 多种不同的Amazon Web Services存储产品,包括Amazon Simple Storage Service (S3)、Amazon Elastic File System (EFS)、Amazon Elastic Block Store (EBS)、Amazon Web Services Backup等安全可靠且易于扩展的存储数据服务;
我们同时也是 Veritas 和 Veeam 的高级合作伙伴,基于Amazon Web Services 存储服务和合作伙伴的优势产品,我们可以为用户提供更丰富的扩展存储服务,支持不同的客户需求应用场景。
-
基础托管服务,最大化降低TCO,从而优化存储成本
-
提供安全合规化云建设保障
红彤软件助力某生物科技全球科研数据同步平台
项目名:全球科研数据同步平台
背景及需求*
某生物科技是中国领先的基因药物创新企业,以基因编辑技术为核心驱动。在体内和体外两大创新药物方向的科学研究中,会频繁的需要使用中国和海外基因领域的公开参考数据,包括Amazon的公开数据集中的基因行业相关数据集,如 gnomAD、PubSeq、CCLE、BLAST等,以及其他公开的标准行业数据,如GenBank 、RefSeq、TCGA,NCBI SRA,ICGC等。
基因行业的公开数据一般都数据量很大,通常从数十 GB 到数十 TB不等。由于成本考虑,广州
某生物科技有限公司未建设跨境专线网络,只能通过公共互联网进行文件的跨境访问和下载。但由于跨境互联网络的延迟、丢包率非常不稳定,海外的数据几乎处于不能正常访问和下载的状态,经常数天才能完成一部分数据的下载,严重的影响了用户的科研进度和效率。
某生物科技希望能够找到经济、高效、稳定、安全的跨境文件同步方案,建设一个长期持续使用的全球科研数据同步平台,用于能够高效从海外将科研需要使用的公开数据下载并同步到中国AWS账号内的S3存储桶中,以便后续的科研分析平台使用。
解决方案*
架构图
架构设计*
在本技术方案中,为了实现基于跨境互联网网络的大规模文件同步项目需求,我们主要采用了以下技术方法来实现架构设计和部署:
-
参考 AWS Identity and Access Management最佳实践来规划和完成 AWS Identity and Access Management中的用户创建、权限配置和安全设置;
-
在AWS中国(北京区域)和AWS海外(北弗吉尼亚区域)创建Amazon Virtual Private Cloud进行网络隔离和其他服务部署;
-
在AWS海外(北弗吉尼亚区域)创建 Amazon Elastic Compute Cloud 实例组,用于下载 AWS Public Datasets 中的数据及三方网站的数据,并传输到AWS海外(北弗吉尼亚区域)的Amazon Simple Storage Service 存储桶中。可根据客户需求,通过修改 Amazon Elastic Compute Cloud 实例组的数量快速启动多台Amazon Elastic Compute Cloud 实例用于多个数据源的数据下载。
-
通过使用可以访问Amazon Simple Storage Service 存储桶的Amazon Elastic Compute Cloud 角色,将其附加到Amazon Elastic Compute Cloud 以提供Amazon Simple Storage Service 访问权限,避免使用容易发生安全泄漏的Access Key/Secret Key;
-
在AWS海外(北弗吉尼亚区域),根据Amazon Simple Storage Service 存储桶上的存储桶前缀配置事件触发机制,将所有新对象事件发送到Amazon Simple Queue Service;
-
将读写AWS中国(北京区域)Amazon Simple Storage Service 所需的Access Key/Secret Key 安全存储在AWS System Manager 参数中,在AWS Lambda 中调用;
-
在AWS海外(北弗吉尼亚区域),配置Amazon Simple Queue Service 触发AWS Lambda,从Amazon Simple Storage Service 中读取文件并完成对象的跨境传输到AWS中国(北京区域)的Amazon Simple Storage Service 存储桶中;
-
AWS Lambda 中对大文件进行切片,通过并发多线程传输,可在传输异常中断时提供可恢复的断点续传功能;
-
在AWS海外(北弗吉尼亚区域),通过 Amazon Cloudwatch进行传输过程各项服务的监控,包括网络传输速度、AWS Lambda 调用情况、Amazon Simple Queue Service队列消息数量、Amazon Elastic Compute Cloud利用率等指标;
项目收益*
通过使用 AWS Lambda、Amazon Simple Queue Service,结合 Amazon Simple Storage Service & Amazon Simple Storage Service 事件驱动机制,我们为客户构建了一个经济、可靠、安全、准实时的无服务器方式的跨境数据同步系统。
-
效率:通过使用我们提供的方案,用户可以大大缩短海外科研文件的下载和传输时间,大幅提升了工作效率。在实际的测试和使用中,每天(24小时)至少可以完成3到5 TB的文件传输(从 AWS 北弗吉尼亚区域的Amazon Simple Storage Service存储桶传输到AWS 北京区域的Amazon Simple Storage Service存储桶);以前相同大小的文件需要用户 7 到 10 天才能完成跨境的传输,并且需要多次重试和大量人工干预。
-
成本:客户的文件传输需求是不定期、非持续的,在没有下载和传输任务的时间,可以通过将Amazon Elastic Compute Cloud instance groups的大小设置为0来大幅降低成本;同时用户可以定期删除AWS 北弗吉尼亚区域的Amazon Simple Storage Service存储桶中不再需要保留的文件来降低存储费用。
-
可靠性:AWS Lambda文件传输代码对每个文件分片均进行MD5完整性校验,确保了文件的完整性和一致性。
-
安全性:传输时使用 SSL 加密,使用 IAM 角色并通过 AWS System Manager 参数来存储凭证访问密钥。
项目收获*
-
通过此项目的部署和实际测试,我们对 AWS 的无服务器技术(包括 AWS Lambda、Amazon Simple Storage Service、Amazon Simple Storage Service 事件驱动机制、Amazon Simple Queue Service等)有了很深的理解和实践经验;
-
此项目中所实现的跨境文件传输方案,在很多行业(特别在生命科学行业)和很多领域的客户项目中均可以反复使用;同时通过使用AWS Cloud Development Kit进行部署非常的高效和便捷。
红彤软件助力某智能科技人工智能 API 平台容灾项目
项目名:人工智能 API 平台容灾项目
背景及需求*
深圳市某智能科技有限公司是一家致力于开发视觉AI技术,为健康与美丽产业赋能的留学生创业企业,核心团队包括多名AI算法人才、医疗领域的资深从业者。
某智能在本地托管数据中心构建了拥有一定算力的AI 集群,联合多家专业医疗机构和海量标注数据(超过1000万的临床皮肤案例数据),依托独有的算法和数据研发了一个用于皮肤健康状态检测的人工智能平台,并将研究成果产品化制造在全球销售了超过3万台皮肤检测硬件产品,包括测肤仪、AI魔镜、皮肤放大镜、头皮放大镜等,同时还提供了一个面向互联网企业用户(如美容机构、皮肤病医院、美妆手机应用等)的 API 平台,此 API平台已部署在 AWS 北京区域,目前已经拥有超过500万的用户群体在使用API 平台进行皮肤健康检测和相关应用。
随着数据中心所存储的皮肤数据(主要为大量高清皮肤图片)越来越多,目前的数据存储量已经达到了100TB级别。为安全长期的保存 AI算法所需的数据,某智能购买了Veritas的NetBackup产品用于数据的备份,同时为进一步保证数据的高可用和长期归档存放的需求,某智能希望能够在AWS上使用 Amazon Simple Storage Service来进行AI平台海量文件的存储备份,通过Veritas的NetBackup产品将本地的文件备份到 Amazon Simple Storage Service 中。
同时考虑到原部署在本地托管数据中心的 API 平台的互联网访问带宽及后端服务的稳定性,希望在 AWS 国内区域部署完整的 API 平台的备用容灾环境,并逐渐将原有的客户端访问切换到 AWS 上的 API 平台。
解决方案*
架构图
架构设计*
在本方案中,为了在项目需求中实现AI平台海量文件的存储备份以及 API 平台的容灾环境部署,我们主要采用了以下技术方法来实现架构设计和部署:
-
参考 AWS Identity and Access Management最佳实践来规划和完成 AWS Identity and Access Management中的用户创建、权限配置和安全设置;
-
在AWS国内(北京区域)创建Amazon Virtual Private Clouds进行网络隔离和其他服务部署;
-
在AWS中国(北京区域)创建Amazon Simple Storage Service存储桶,并根据数据特征规划多种不同的存储类型,包括Amazon S3 Standard、Amazon S3 Glacier、Amazon S3 Glacier Deep Archive 等;
-
由Veritas 原厂工程师 在本地数据中心完成Veritas NetBackup的配置,完成Amazon Simple Storage Service与本地数据中心 Veritas NetBackup之间的数据传输;
-
设置本地数据中心 Veritas NetBackup的传输策略,同步写入本地备份设备及 AWS 中国的Amazon Simple Storage Service存储桶;
-
在AWS中国(北京区域)创建Application Load Balancer、Amazon Elastic Compute Cloud 实例组、Amazon RDS、Amazon API Gateway、AWS lambda、Amazon DynamoDB 等服务,用于部署 API 平台的容灾平台。
-
在AWS中国(北京区域),通过 Amazon Cloudwatch进行各个服务的监控和告警设置。
项目收益*
通过结合使用 Veritas NetBackup 和 Amazon Simple Storage Service,我们为客户构建了一个经济、可靠、安全的数据备份系统;同时我们通过使用 Application Load Balancer、Amazon Elastic Compute Cloud 实例组、Amazon RDS、Amazon API Gateway、AWS lambda、Amazon DynamoDB 等服务,为用户构建了一个弹性、高性能的 API 容灾平台。
-
成本:通过使用 Veritas NetBackup 将客户的文件传输到 Amazon Simple Storage Service,实现了用户文件的安全备份,同时通过使用丰富的 Amazon Simple Storage Service 存储类,以及结合使用 Veritas NetBackup 的去重压缩功能,在云中的文件存储成本只有本地数据中心的1/3;
-
安全性:所有的文件传输链路均使用 SSL 加密,并通过使用 IAM 角色来完成 Amazon Simple Storage Service 存储桶内文件的安全权限控制;同时我们开启了 Amazon Simple Storage Service 的相关审计功能,可以记录并分析所有的访问情况;
-
效率:通过使用我们提供的方案,经过大量的测试,不同来源的用户访问 API 接口的响应时间大幅下降,从原来的平均超过 500ms 下降到100ms以内,提升了五倍的 API 访问效率;用户决定后续陆续将本地数据中心的 API 访问迁移到 AWS 中国区域部署的 API 平台。
项目成效*
Veritas 和 AWS 均为我公司的合作伙伴,通过此项目的测试和部署,我们对结合使用 AWS Partner Veritas 的 NetBackup 产品和 Amazon Simple Storage Service 服务积累了很多经验,并获取了有一定参考价值的数据存储成本对比数据,在未来涉及到数据备份、容灾的场景中均可以推荐给其他用户使用,从而可以为用户提供企业级的经济、可靠、安全的数据备份和容灾系统。
红彤软件助力某智能设备平台备份项目
项目名:智能设备平台备份项目
背景及需求*
某智能有限公司是一家集研发、生产、销售、服务于一体的高新科技上市公司,具备年产3000万台数字终端产品的能力,是优质的的数字家庭智能终端生产制造商之一,也是国内领先的数字家庭智能终端出口商之一。公司旗下有多款畅销全球的智能设备产品,包括 AI多功能魔镜、空调语音插座、智能控制终端、风光雨传感器、智家物联终端、智能温控器、智能机顶盒等。
某智能有限公司智能机顶盒在海外多个国家拥有大量用户,并不断的在新的国家上市销售,深受用户喜爱。为给电视用户提供收费、加密的定制化电视节目,迈科智能在国内自有数据中心 以及在 Amazon Web Services 美国区域部署了面向国内和海外电视用户的机顶盒节目点播和直播系统。在Amazon Web Services美国区域使用了Amazon Cloudfront、Application Load Balancer、Amazon Elastic Compute Cloud 服务器、Amazon RDS等服务。随着用户数量的增加和对系统稳定性要求的不断提升,如何同时支持本地数据中心的物理服务器、VMWare 虚拟服务器以及 Amazon Elastic Compute Cloud 服务器的数据备份和快速恢复,如何实现数据备份中文件级别的快速恢复,以及如何快速实现 Amazon Web Services 跨区域的数据恢复,成为了公司的迫切需要解决的技术需求。在对市面上诸多备份产品进行考察和筛选后,用户决定在本地数据中心及 Amazon Web Services 上均购买和部署 Veeam 的Veeam Backup & Replication软件。
解决方案*
架构设计*
在本方案中,为了实现智能设备平台备份项目中Veeam Backup & Replication软件的部署和配置,我们主要采用了以下技术方法来实现架构设计和部署:
-
参考 Amazon Web Services Identity and Access Management最佳实践来规划和完成 Amazon Web Services Identity and Access Management中的 Amazon Web Services Identity and Access Management (IAM) 用户创建、权限配置和安全设置;
-
在Amazon Web Services海外(北弗吉尼亚区域)已有的Amazon Virtual Private Clouds内,通过Amazon Web Services Marketplace部署Veeam Backup & Replication软件(backup appliance)到Amazon Elastic Compute Cloud服务器,并完成Veeam Backup & Replication软件的许可证注册;
-
Veeam Backup & Replication for Amazon Web Services 在备份或恢复过程中自动为每个Amazon Elastic Compute Cloud 实例启动一个工作程序实例,并在过程完成后立即将其删除。
-
根据用户规划,在需要使用Veeam Backup & Replication软件进行Amazon Elastic Compute Cloud、Amazon RDS恢复的区域,协助用户完成Amazon Virtual Private Clouds规划,在不同的可用区创建公有子网及私有子网,分别用于面向互联网访问的 Application Load Balancer负载均衡器,以及不可被互联网直接访问的 Amazon Elastic Compute Cloud Web服务器、Amazon Elastic Compute Cloud应用服务器及 Amazon RDS 数据库服务;
-
创建Amazon Simple Storage Service 存储桶,用于Veeam Backup & Replication的Repositories;
-
在Amazon Virtual Private Clouds内配置 Amazon S3 Endpoint(Gateway模式),提供私有子网内的Amazon Elastic Compute Cloud实例可不通过NAT Gateway访问Amazon S3存储桶;
-
通过Veeam Backup & Replication控制台完成备份/恢复所需的配置,包括Amazon Web Services IAM Role、Veeam Backup Workers、Veeam Backup Repositories(Amazon S3 store backups)、Veeam backup policy、Snapshots retention、Session logs retention等配置;
项目收益*
通过结合Amazon Web Services网络设计、安全设计的最佳实践以及 Veeam Backup & Replication软件,我们为客户构建了一个配置简便、使用方便的备份/恢复管理平台,同时我们通过配合使用 Amazon Web Services平台上的相关安全及网络服务,为Veeam Backup & Replication在Amazon Web Services平台上的部署提供了更高的安全性、可靠性。
-
通用性:Veeam Backup & Replication软件是企业级的备份/恢复软件,同时支持本地数据中心的物理服务器、虚拟化服务器和公有云的虚拟服务器数据的备份和恢复,它可以支持更细粒度的文件级别的备份,同时它还可以支持Amazon Web Services上跨区域的数据恢复。
-
便捷性:Veeam Backup & Replication软件还提供了友好的用户管理界面,可以便捷的进行Amazon Web Services资源的检索、备份策略的定制以及备份恢复过程的监控;同时它还提供了可自动运行的备份策略和告警机制,极大程度上减轻了备份管理员的日常运维工作和效率;
-
可靠性:Veeam Backup & Replication软件提供了面向Amazon Elastic Compute Cloud虚拟机快照、Amazon RDS数据库的实时备份,并提供了数据校验和恢复测试等功能,可以确保数据的完整性和一致性;
-
成本:Veeam Backup & Replication软件会根据备份内容自动计算存储成本并预先给予用户提示,让用户可以清晰地了解备份数据可能产生的费用;Veeam Backup & Replication软件可以通过设置Snapshots retention、Session logs retention策略定期自动清除过期的快照备份及日志文件,从而节省成本;另外Veeam Backup & Replication软件也支持将Amazon Simple Storage Service的Glacier 或 Deep Archive 存储类型作为长期归档备份文件的存储使用。
项目成效*
Veeam 和 Amazon Web Services 均为我公司的合作伙伴,通过此项目的测试和部署,我们对在Amazon Web Services上使用Veeam Backup & Replication软件对Amazon Elastic Compute Cloud、Amazon RDS进行备份和恢复积累了丰富的经验,同时通过结合使用Amazon Simple Storage Service、Amazon Web Services Key Management Service等服务,我们积累和总结了在Amazon Web Services上部署Veeam Backup & Replication软件的最佳实践,在未来其他用户的类似场景中均可以借鉴使用,从而可以为用户提供企业级的可靠、安全、低成本的备份系统;
同时借助Veeam Backup & Replication的快速跨区域恢复功能,加速了用户在不同Amazon Web Services区域部署机顶盒媒体平台的进程,带来了更多的商业机会。