爱玩科技网
您的当前位置:首页一种基于SPARK的分布式空间数据存储计算方法

一种基于SPARK的分布式空间数据存储计算方法

来源:爱玩科技网
(19)中华人民共和国国家知识产权局

(12)发明专利申请

(21)申请号 CN201810530638.4 (22)申请日 2018.05.25 (71)申请人 武汉大学

地址 430072 湖北省武汉市武昌区珞珈山武汉大学

(10)申请公布号 CN108804602A

(43)申请公布日 2018.11.13

(72)发明人 乐鹏;上官博屹;吴昭炎

(74)专利代理机构 武汉科皓知识产权代理事务所(特殊普通合伙)

代理人 严彦

(51)Int.CI

权利要求说明书 说明书 幅图

(54)发明名称

一种基于SPARK的分布式空间数据存储计算方法

(57)摘要

本发明公开了一种基于SPARK的分布式空

间数据存储计算方法,在复用传统地理信息系统软件功能的基础上,运用云计算软件,为空间数据的存储与计算带来高性能和高可用,实现方式包括以顾及空间范围的变长GeoHash编码为空间索引,在HBase上实现兼容多种空间数据类型的分布式空间数据存储表结构;使用MapReduce方法将存储空间数据的文件转换为HBase对应的存储格式HFile,实现分布式空间数据的快速预处

理及入库;利用变长GeoHash编码对HBase中存储的空间数据进行空间范围粗检索;将从HBase中获取的空间数据映射为SPARK中的分布式空间弹性数据集对象;复用传统地理信息系统软件功能实现分布式空间弹性数据集的分布式空间数据处理接口,对空间范围粗查询到的空间数据集进行精筛选和分布式计算。

法律状态

法律状态公告日

2018-11-13 2018-11-13 2018-12-07

法律状态信息

公开 公开

实质审查的生效

法律状态

公开 公开

实质审查的生效

权利要求说明书

一种基于SPARK的分布式空间数据存储计算方法的权利要求说明书内容是....请下载后查看

说明书

一种基于SPARK的分布式空间数据存储计算方法的说明书内容是....请下载后查看

因篇幅问题不能全部显示,请点此查看更多更全内容