400-618-1990

搜索

版权所有©北京瑞风协同科技股份有限公司  
京ICP备16029927

资源中心

新闻中心

服务热线:

产品方案

瑞风测试

400-618-1990

8610-82119375

 

关于瑞风

新闻中心

大数据时代的数据库

【试验工程师·公益学习营】第五期第5讲

【试验工程师·公益学习营】总第25讲,于2020年6月26日如期举行,本期讲师任永杰,博士、教授级高工,拥有30年数据库技术经验,在数据库领域具有深厚造诣,长期从事数据库管理系统及相关应用系统研究、设计与开发,主持承担了包括“核高基”国家重大专项、863重大专项、北京市科技计划重大项目在内的一系列数据库相关研发与产业化项目,致力于推动国产数据库的产品技术进步及产业发展;现任北京优炫软件股份有限公司首席科学家;曾获国家科技进步二等奖、北京市科技进步一等奖、中国计算机学会科技进步一等奖;被认定为北京市有突出贡献的科学、技术、管理人才,新世纪百千万人才工程国家级人选。

本期课程重点围绕以下四个方面为大家进行讲解:数据库历史回顾与启示、数据库今天、数据库未来和国产数据库发展。

数据是描述事物的符号记录,是数据库中存储的基本对象。数据库是长期存储在计算机内的、有组织的、可共享的大量数据集合。数据库管理系统是基础软件之一,是数据管理基础平台。在计算机系统中,数据库管理系统处于IT技术栈的中枢位置,是IT系统存储与计算的核心。数据库是应用需求—理论与技术创新—原型研制—产品上市—巨大产业良性循环的成功案例。在其发展过程中,新技术、新产品层出无穷,全球市场规模超过300亿美元,国内市场超过100亿人民币。

 

 

数据库的发展从上世纪60年代数据库兴起,层次、网状数据库出现,到70年代关系数据库兴起,80年代关系数据库成为主流,90年代关系数据库市场大发展,数据库市场三足鼎立,2000年代互联网大潮背景下数据仓库、NoSQL兴起,再到2010年代NewSQL兴起、数据管理技术融合、数据库云化以及各种新型数据库。目前,数据库从上世纪80年代关系数据库百花齐放到90年代市场三足鼎立又到今天的各种数据库百花齐放。从数据模型(关系模型、非关系模型/关系模型扩展)和事务管理(支持ACID事务特性、不支持事务或只部分支持事务)两个维度来看今天的各种数据库,大致可以分为传统数据库(交易型关系数据库)、分析型关系数据库、NoSQL、NewSQL等,同时可以看到各种数据库的融合和跨界趋势。

大数据和传统数据及数据库相比不仅仅是数据量的变化,更是质的变化,是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合,大数据≠海量数据。大数据特征为4V,即规模性(Volume)、高速性(Velocity)、多样性(Variety)、价值性(Value)。从数据库的视角看大数据有许多不同、也有许多变化(从封闭世界到开放世界、从精确世界到量质融合、从数据管理到知识管理)。

数据库技术发展的驱动力为:应用创新、计算技术创新和硬件技术创新。应用创新是指:互联网应用;计算技术是指:云计算和智能计算;硬件技术是指:多CPU/多核/众核、GPU、大内存、非易失内存、高速存储和FPGA等等。互联网应用创新是近二十年数据库技术发展的关键驱动力,硬件和计算技术发展(创新、性价比)为提升数据库能力提供支撑。

 

 

就数据库未来发展的基本判断:传统数据库的生命力将持续相当长时期,其技术发展也将在相当长时期内保持活力,硬件技术的发展将推动数据库技术和能力的持续提升,数据库云化和智能化将成为趋势;内存数据库和分布式数据库可能成为未来传统数据库外部形态表现主体,一方面随着内存容量的持续提升、性价比提高以及非易失内存成熟,绝大多数普通交易型数据库涉及的数据可以全部放在内存,内存数据库将成为传统数据库外部形态表现主体之一;另一方面,超大规模互联网应用和云计算环境对数据库高可伸缩的需求将推动分布式数据库(Share-Nothing架构)发展并使其成为未来传统数据库主体之一。新型数据库/大数据领域在不同应用场景采用不同数据技术的同时,不同数据管理技术融合将成为一种趋势,这里既包括数据层面的融合,也包括操作层面的融合。

国产数据库产业化经过20年的发展。纵向比较,进步显著,在产品、产业、市场、人才和企业等方面都有长足进步,对于大多数,甚至绝大多数应用而言,国产数据库完全可用、够用;横向比较,跟国外主流产品差距也很明显,而且是全方位的。国产数据库发展,2010年前主要跟随国外,以科研与技术研发为主;2010年后,部分同步创新,以产品研发和市场拓展为主。

 

 

复杂产品领域支持数据库发展建议:

1、充分认识数据库的重要性、艰巨性、长期性,持续投入

• 数据库技术处在高速发展的新时期,新技术、新产品、新模式

• 不太可能毕其功于一役,有些关键点也不太可能换道或弯道超车

2、应用牵引、市场导向

• 数据库的成熟稳定和技术进步是用出来的

• 以复杂产品数据处理与应用需求为牵引,解决数据应用关键问题

• 市场导向,开放竞争

3、立足自主创新,兼顾两条主线

• 传统数据库

• 新型数据库/大数据

新闻中心