欢迎访问西安知识产权运营服务平台
摘要
本发明属于物联网技术领域，公开了一种物联网中海量异构传感数据的分布式存储系统和方法，包括：物联网传感数据上传接口模块、物联网传感数据解析模块、物联网传感数据校验模块、关系型数据库存储模块、NoSQL数据库存储模块、分布式高速缓存模块。本发明定义物联网传感数据上传请求格式规范；物联网传感数据校验模块校验传感数据是否合法，保证数据存储的合法性；分布式高速缓存模块帮助物联网传感数据校验模块快速校验，提高了存储系统的存储性能，保证了传感数据的实时性；NoSQL数据库存储模块采用分布式MongoDB数据库作为存储节点，保证了传感数据存储的纵向扩展性，而且采用分布式架构，保证了传感数据存储的横向扩展性。
The invention belongs to the technical field of Internet of Things and discloses a distributed storage system and method of massive isomerous sensor data in Internet of Things. The system comprises an Internet of Things sensor data upload interface module, an Internet of Things sensor data analysis module, an Internet of Things sensor data verification module, a relational database storage module, a NoSQL database storage module and a distributed caching module. Internet of Things sensor data upload request format specifications are defined; the Internet of Things sensor data verification module verifies whether sensor data is illegal or not, and the data storage legality is ensured; the distributed caching module helps the Internet of Things sensor data verification module achieve quick verification so as to improve the storage performance of a storage system, and the sensor data instantaneity is ensured; a distributed MongoDB database is adopted by the NoSQL database storage module as a storage node, the longitudinal expansibility of the sensor data is ensured, and the distributed framework is adopted, so that the lateral expansibility of the sensor data is ensured.
技术摘要
| 技术功效句 | 具有较高可靠性、实时性和可扩展性; 提高了存储系统的存储性能; 保证了传感数据存储的横向扩展性; 保证了传感数据存储的纵向扩展性; 保证了数据存储的合法性 |
| 技术功效短语 | 可靠性; 实时性; 可扩展性; 提高存储性能; 保证横向扩展性; 保证纵向扩展性; 保证存储合法性 |
| 技术功效1级 | 可靠性; 实时性; 可扩展性; 存储; 扩展性; 合法性 |
| 技术功效2级 | 可靠性提高; 实时性提高; 可扩展性; 存储提高; 扩展性保持; 合法性保持 |
| 技术功效3级 | 可靠性提高; 实时性提高; 可扩展性; 性能存储提高; 横向扩展性保持; 纵向扩展性保持; 存储合法性保持 |
| 技术功效TRIZ参数 | 27-可靠性;25-时间损失; |
分类号
| 主分类号 |
| IPC分类号 | |
| CPC分类号 | G06F16/2365; G06F16/27; G06F16/28; G06F16/284; |
| 国民经济行业分类 | |
| WOS学科分类号 | |
| 国民经济行业(主) | |
| 新兴产业分类 | |
| 新兴产业(主) |
专利历程
2017-03-07
申请日
2017-08-04
首次公开日
2021-01-12
授权公告日
2037-03-07
预估到期日
同族专利
| 同族专利公开号 | |
| 扩展同族公开号 | |
| DocDB公开号 |
其他著录项
| 代理机构 | 西安长和专利代理有限公司 61227 |
| 代理人 | 黄伟洪 |
| 申请语言 | 汉语 |
| 审查员 | 何洋 |
权利要求
1.一种物联网中海量异构传感数据的分布式存储系统，其特征在于，所述物联网中海量异构传感数据的分布式存储系统包括：物联网传感数据上传接口模块，定义统一物联网传感数据上传接口，并将物联网传感数据发送至物联网传感数据解析模块；规范采用HTTP请求中的POST请求方式；实现物联网数据传输层与物联网数据中心的松耦合；物联网传感数据解析模块，用于解析上传的物联网数据，提取存储所需的数据，清洗无用数据，并将解析后的数据发送至物联网传感数据校验模块；物联网传感数据校验模块，用于校验物联网传感数据解析模块解析的数据是否合法，并将合法数据存储至NoSQL数据库存储模块；关系型数据库存储模块，用于存储关系型数据，为物联网传感数据校验模块提供合法数据依据；NoSQL数据库模块，用于存储物联网传感器数据校验模块发送来的合法数据，具体采用分布式MongoDB数据库；分布式高速缓存模块，用于存储合法的物联网网关唯一标识数据和传感器节点唯一标识数据，为下次物联网传感数据校验模块提供高速合法数据校验支持，具体采用分布式Memcache系统；所述物联网传感数据上传接口模块由IP地址段、物联网网关唯一标识段、传感器节点唯一标识段、数据段组成；所述关系型数据库存储模块由分布式关系型数据库组成，包含多个关系型数据库节点，具体由1个关系型数据库主节点和N个关系型数据库从节点组成。
2.如权利要求1所述的物联网中海量异构传感数据的分布式存储系统，其特征在于，所述关系型数据库存储模块用于存储不同物联网应用场景中的关系型数据，具体为用户数据、管理数据、配置数据、物联网网关唯一标识数据和传感器节点唯一标识数据。
3.如权利要求1所述的物联网中海量异构传感数据的分布式存储系统，其特征在于，所述NoSQL数据库存储模块由分布式MongoDB数据库组成，采用MongoDB的ReplicaSet集群方式，具体由1个主MongoDB节点，1个仲裁节点，N个备MongoDB节点。
4.如权利要求1所述的物联网中海量异构传感数据的分布式存储系统，其特征在于，所述分布式高速缓存模块由分布式Memcache系统组成，包含多个Memcache节点，具体包含N个Memcache节点。
5.一种如权利要求1所述物联网中海量异构传感数据的分布式存储系统的物联网中海量异构传感数据的分布式存储方法，其特征在于，所述物联网中海量异构传感数据的分布式存储方法包括以下步骤：步骤一，用户先将物联网网关唯一标识数据和传感器节点唯一标识数据存入关系型数据库模块，通过一致性哈希算法将物联网网关唯一标识数据和传感器节点唯一标识数据存入不同memcache节点，物联网传感数据接口模块将数据发送至物联网传感器数据解析模块，解析模块将请求解析并提取数据段，并将数据段发送至物联网传感数据校验模块；步骤二，物联网传感数据校验模块从传感数据段中提取物联网网关与传感器节点唯一标识数据，从分布式高速缓存模块查询物联网网关与传感器节点唯一标识数据，若命中，则代表传感数据合法，进入步骤四，若查询分布式高速缓存模块未命中，则进入步骤三；步骤三，从关系型数据库存储模块查询网关和传感器节点唯一标识数据，若命中，则代表传感数据合法，将物联网网关与传感器节点唯一标识数据存入分布式高速缓存模块，然后进入步骤四，若未命中，则代表传感数据不合法，丢弃，进入结束；步骤四，将传感数据存入所述NoSQL数据库存储模块。
6.一种应用权利要求1～4任意一项所述物联网中海量异构传感数据的分布式存储系统的智能家居系统。
7.一种应用权利要求1～4任意一项所述物联网中海量异构传感数据的分布式存储系统的环境监测系统。
8.一种应用权利要求1～4任意一项所述物联网中海量异构传感数据的分布式存储系统的智慧农业控制系统。
