都知道 - 都知道 - 知识图谱网站

大数据 数据存储

大数据存储的特点

贵阳日报

数据观

大数据时代,数据呈爆炸式增长。从存储服务的发展趋势来看,一方面,对数据的存储量的需求越来越大;另一方面,对数据的有效管理提出了更高的要求。大数据对存储设备的容量、读写性能、可靠性、扩展性等都提出了更高的要求,需要充分考虑功能集成度、数据安全性、数据稳定性、系统可扩展性、性能及成本各方面因素。

大数据的存储及处理不仅在于规模之大,更加要求其传输及处理的响应速度快。相对于以往较小规模的数据处理,在数据中心处理大规模数据时,需要服务集群有很高的吞吐量才能够让巨量的数据在应用开发人员“可接受”的时间内完成任务。这不仅是对于各种应用层面的计算性能要求,更加是对大数据存储管理系统的读写吞吐量的要求。

大数据由于其来源的不同,具有数据多样性的特点。对于传统的数据库,其存储的数据都是结构化数据,格式规整,相反大数据来源于日志、历史数据、用户行为记录等,有的是结构化数据,而更多的是半结构化或者非结构化数据,这也正是传统数据库存储技术无法适应大数据存储的重要原因之一。所谓存储格式,也正是由于其数据来源不同,应用算法繁多,数据结构化程度不同,其格式也多种多样。因而大数据的存储或者处理系统必须对多种数据及软硬件平台有较好的兼容性来适应各种应用算法或者数据提取转换与加载。

欲了解《中国数谷2016数博会特别报道》和贵阳的更多资讯,可登录中国大数据产业观察网、贵阳网,也可关注“数据观”“贵阳日报官方微信”“贵阳头条”。

贵阳头条