分享好友 资讯首页 频道列表

大数据的关键技术有哪些?

2021-03-24 19:554380

大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。那么,大数据的关键技术有哪些呢?今天就跟随小编一起来了解下吧!

大数据

1、数据收集

大数据时代,数据的来源极其广泛,数据有不同的类型和格式,同时呈现爆发性增长的态势,这些特性对数据收集技术也提出了更高的要求。数据收集需要从不同的数据源实时的或及时的收集不同类型的数据并发送给存储系统或数据中间件系统进行后续处理。

2、数据预处理

数据的质量对数据的价值大小有直接影响,低质量数据将导致低质量的分析和挖掘结果。广义的数据质量涉及许多因素,如数据的准确性、完整性、一致性、时效性、可信性与可解释性等。

3、数据存储

分布式存储与访问是大数据存储的关键技术,它具有经济、高效、容错好等特点。分布式存储技术与数据存储介质的类型和数据的组织管理形式直接相关。

4、数据处理

分布式数据处理技术一方面与分布式存储形式直接相关,另一方面也与业务数据的温度类型(冷数据、热数据)相关。目前主要的数据处理计算模型包括MapReduce计算模型、DAG计算模型、BSP计算模型等。

反对 0
举报 0
收藏 0
打赏 0
评论 0
Supabase 获8000 万美元新融资,累计融资 1.96 亿美元
Supabase 提供了许多开发人员开始构建应用程序所需的相同核心功能,其主要组件是 Postgres 数据库。

0评论2024-09-26748

科创板大数据与云计算企业Q1:营收放光 股价齐跌
根据上交所披露的公告显示,科创板公司一季度共计实现营业收入981.55亿元,同比增长70.88%;实现归母净利润119.91亿元,同比增长216.40%。截至4月底,科创板一季报正式收官。

0评论2021-05-13768

大数据分析公司Palantir已开始接受比特币付款 并考虑投资加密货币
5月11日消息,据国外媒体报道,比特币价格在去年下半年持续上涨,今年以来持续在高位运行,使不少投资者选择投资比特币,也有多家公司参与投资,并接受比特币付款,电动汽车厂商特斯拉,在一季度就买入了15亿美元的比特币,并在该季出售部分变现,获利超过2亿美元,他们也在考虑接受消费者用比特币付款。

0评论2021-05-13787

以大数据助推新时代党建工作
2019年7月9日,习近平总书记在中央和国家机关党的建设工作会议上的讲话中指出:“要紧扣机关党建时代特点和党员思想行为特征开展工作,积极探索有利于破解难题的新途径新办法,积极探索信息化条件下开展工作的新载体新路数。”

0评论2021-05-13788