原创《大理计量、调度数据接入阿里云平台和实现》：本论文为免费优秀的关于阿里论文范文资料，可用于相关论文写作参考。
[摘 要] 随着电网数据的海量增多,数据的集中式处理开发已是趋势.本文以大理计量、调度数据接入阿里云平台的实现为例,以数据采集、解析、上传、存储等过程为基础研究,实现云南电网有限责任公司生产、GIS、营销、调度、计量、气象、人资、财务、协同办公、综合等数据的统一数据模型的构建及配置,为设备状态评价、负荷预测等场景算法的研究及应用验证,大屏可视化的设计、开发及应用提供了有益的尝试.
[关键词] 数据同步；OSS；OSPS； DataHub；数据开发
doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2018. 01. 061
[中图分类号] TP391 [文献标识码] A [文章编号] 1673 - 0194（2018）01- 0149- 03
0 引 言
目前,大数据相关技术日趋成熟,各行各业趋之若鹜,党的十九大期间,步步高集团总裁陈志强也提出“推动互联网、大数据、人工智能和实体经济深度融合等”,大数据时代到来可见一斑,但自建大数据平台的成本和可行性也存在诸多问题,一套相对完善的大数据开发平台集中在几家大型企业,租用云平台反而成为很多企业的更优选择.
2016年12月云南电网有限责任公司信息中心引入阿里云计算,着眼电力大数据平台的建设,主要从数据采集融合、数据算法研究与应用、大屏可视化展现等方面开展研究建设,为了有效推进各方面工作开展,开始进行相关数据的接入.
1 可行性研究
1.1 经济可行性
阿里云平台作为一个商用平台,部分软件都有自己的收费标准,但平台集成了各种程序开发组件,使用者租用阿里云搭建企业云平台,一则可减少运维成本,二来免去服务器等硬件成本以及类似于Oracle一类商业软件的开支.
1.2 技术可行性
阿里云平台作为一个新兴的大数据平台,提供大数据计算服务、分析性数据库等服务,集成了各类丰富的大数据开发套件,提供了Ja、Python、PHP、C#等丰富的SDK,使得开发者可以选择开发语言进行相关的开发,在云平台上部署程序.
1.3 应用可行性
以趋势和事实而论,荷兰皇家飞利浦公司、Schneider、Strikingly等公司都选择了阿里云,并且获得成功,以企业自身而言,一个技术型公司都有企业的技术团队,可以根据文档进行相关技术开发.
综合经济、技术、应用方面的分析,阿里云大数据库平台搭建可行.
2 数据同步模型
2.1 概述
阿里云大数据平台由大数据计算服务（MaxCompute）、分析型数据库（Analytic DB）、流计算（StreamCompute）共同组成了底层强大的计算引擎,且提供了丰富的云端数据开发套件,包括数据集成、数据开发、调度系统、数据管理、运维视屏、数据质量、任务监控等在内.本文数据接入方案依赖于阿里云平台：
（1）数据文件存储采用OSS.
（2）数据通道采用DataHub通道.
（3）数据模型解析和处理依赖于Maxcompute和Streamcompute.
（4）数据存储采用OTS库等.
2.2 数据同步模型
同步模型从数据的采集到存储,采用架构式的解决方案,如图1所示.
OSS是阿里云对外提供的海量、安全和高可靠的云存储服务,用来存储实时数据文件；RDS是阿里云关系型数据库服务,用来存储数据文件附件和地址信息；DataHub服务是阿里云提供的流式数据（Streaming Data）服务通道,它提供流式数据的发布 （Publish）和订阅 （Subscribe）的功能,用来构建基于流式数据的分析和应用；OSPS运行在阿里云平台上的流式大数据分析平台,提供给用户在云上进行流式数据实时化分析工具；ODPS是一项大数据计算服务,它能提供快速、完全托管的PB级数据仓库解决方案；OTS是构建在阿里云飞天分布式系统之上的 NoSQL 数据库服务,提供海量结构化数据的存储和实时访问.
3 数据同步实现
3.1 数据采集、解析和推送
3.1.1 数据源
数据采集模块根据数据源的不同有不同的解决方案,本案例中的数据源有：
（1）实时类數据源.
（2）CIM模型/调度业务数据的数据源.
（3）SVG图片文件数据源.
3.1.2 采集、解析和推送方案
根据数据源的不同,对应的解析模块也有相应的变化.
（1）实时类数据解析.
解析程序：
解析程序以OSS对象服务的Ja-SDK打通文件通道,以Ja语言为基础进行相关解析.涉及主要概念说明如下：
Bucket（存储空间）；
Object（对象/文件）；
Endpoint（访问域名）；
AccessKey（访问密钥）等.
然后创建连接对象OSSClient 即可对OSS进行相关操作.
解析任务：
调度数据提供方或系统厂家通过调度系统或其他辅助系统,将基于调度系统数据库生成规定格式的数据文件上传到OSS指定Bucket上指定的目录下,将实时数据按采集周期（5min/次）生成最新数据文件并上传至私有云OSS,数据接入方在云服务上开发数据集成-数据同步任务,采用shell任务方式定时调度执行私有云OSS中文件下载及文件解析程序,将解析后的数据发送至DataHub数据通道.
（2）CIM模型/调度业务数据解析.
阿里论文参考资料：
结论：大理计量、调度数据接入阿里云平台和实现为适合不知如何写阿里方面的相关专业大学硕士和本科毕业论文以及关于阿里论文开题报告范文和相关职称论文写作参考文献资料下载。
