欢迎访问生活随笔!

生活随笔

您现在的位置是:首页 > 形式科学 > 统计学 > Hadoop

Hadoop

让SQL用户装上hadoop大数据的引擎

发布时间:2022-06-03Hadoop 统计学

 2015年4月16日,第六届中国数据库技术大会(DTCC)在北京震撼登场。大会以"大数据技术交流和价值发现"为主题,吸引了2500多人参加,100多名数据库技术专家来分享技术,堪称数据库领域国内***规模的专业会议。星环科技作为唯一受邀的大数据平台商参展,CTO孙元浩发表了题为“大数据基础技术发展的两大方向和***研发成果”的主题演讲。

孙元浩的演讲分析了Hadoop技术经过最近十年发展,已经开始深入各行业和各类应用,但从市场的反馈来看,Hadoop还没有被大面积普遍采用,他表示主要制约因素来自两个方面:1. SQL on Hadoop的技术进展制约了企业原有应用的迁移以及新应用的开发; 2. 企业在建设大数据平台或者Data Lake时,往往有多租户资源管控和弹性计算的需求,这些需求现有的YARN或者虚拟化技术没有满足。随后孙元浩介绍了星环科技在这两方面的***突破,可帮助企业快速完成应用迁移和部署。

同时在本次大会上,星环科技发布了全新的软件版本TDH 4.1。孙元浩向参会者介绍道:“***版本产品提供80%的PL/SQL语法支持,并增加了大量的SQL优化,可以满足用户对大数据处理的需求;另外新版本的TDH增加了分布式Cube功能,可以让用户在十亿级别的数据量上实现交互式分析。下一步,星环还将发布为大数据应用量身定做的TOS云操作系统。TOS基于Docker和Kubernetes,支持一键部署TDH,让TDH和其他Docker应用共享集群,其基于优先级的抢占式资源调度和细粒度资源分配,让大数据应用轻松拥抱云服务。