近日,以“自研·智能·新基建——云和数据促创新 生态融合新十年”为主题的第十届数据技术嘉年华(DTC)在北京举办,超500家企业、1500余名观众现场参会,超15000人观看线上直播

万里数据库联合创始人林韶宾受邀参会,并发表《以极致性能驱动数据库技术创新》主题演讲,分享了万里数据库“极致稳定、极致性能、极致易用”的产品理念,以及数据库性能优化经验和成功案例。

分布式架构奠定万里数据库的高性能基础

万里数据库在架构设计和技术研发上就非常注重产品性能。旗舰产品GreatDB Cluster是万里数据库自主研发的一款分布式关系型数据库,主要面向大数据量高并发场景下的结构化数据存储和事务处理,采用shared-nothing架构,降低了竞争资源的等待时间,从而大大提高性能。它具备并行计算、动态扩展、故障恢复、分布式事务等技术特性,能够基于数据分布式部署制定分布式执行计划,通过分布式并行实现高性能。

GreatDB Cluster采用计算存储分离的原生分布式架构,通过分布式并行计算、SQL负载均衡技术实现集群高性能吞吐。同时基于数据库集群优异的线性扩展能力,GreatDB Cluster 吞吐性能随集群节点规模呈准线性提升。

回归数据库的本质:稳定、高效

我们发展信息技术应用创新的目的是解决“卡脖子问题”,CPU是其中的核心,数据库、操作系统、编译器、硬件等都是需要解决的问题。我们的CPU等硬件设备相比之前有了很大的进步,兼容性较好,在功能上基本可以满足需求,但客观来说在性能、能耗、稳定性等方面还会有差距,这时候就需要通过软件来弥补。

针对目前面临的问题,我们的理念是不能只单纯地考虑数据库,而是要从软硬件基础架构出发做通盘的考虑。我们要回归数据的本质:稳定、高效,在产品设计上有所侧重,专注才能做得更专业。对万里数据库来说,我们的产品就是重事务、轻分析,先事务、后分析的发展思路。

在稳定性方面,我们从架构出发,采用shared-nothing 分布式架构,各节点冗余,解决目前硬件潜在的稳定性问题,在软件架构上实现数据的同步、高可靠等,解决数据单点的问题。

在高效性能方面,我们利用分布式技术,同时调度更多CPU,通过并行执行、精确扫描及CPU定向优化,弥补单个CPU带来的性能瓶颈。

数据库性能优化经验分享

万里数据库GreatDB源代码主要为C++,跨平台编译比较友好,通过联合硬件和CPU厂家,针对CPU指令集接口,优化原子操作性能、物理指令等,提升CPU与数据库适配的性能,实现CPU定向代码优化。

在ARM平台迁移中,我们往往会遇到不同的CPU和操作系统,因此我们会遇到非常多的版本,来适配不同的底层软硬件。因此我们通过自动化打包、自动化测试工具,将国产服务器和国产操作系统场景纳入到自动化构建系统内,为各个国产操作系统平台构建自动化编译打包脚本,产品发版时自动产出适配软件版本。

在性能调优方面,我们通过代码、系统、网络、内存等方面实现数据库性能的优化。

经过优化后,我们使用BenchmarkSQL压测工具验证,发现单机数据库性能可提升20%,6台服务器规模的分布式数据库性能可提升60%。

极致性能获得众多客户青睐

由于产品性能表现优异,万里数据库中标中国移动自主可控OLTP数据库联合创新项目,在分布式数据库评标中总得分排名第一,中标份额为60%。万里数据库正与中国移动共同推动自主可控数据库产品的创新开发和落地应用,并最终实现OLTP数据库的能力内化,助力中国移动降本增效。截至目前,万里数据库已成功部署在中国移动总部和北京、西藏、山东、广东、河南、四川等多个省市和自治区。

万里数据库已在国家电网公司各大系统中得到了应用,帮助国家电网实现关系数据库自主可控的目标。万里数据库累计支撑国家电网公司100多个业务系统建设,包括国网全业务数据中心、S6000、大数据平台等应用,覆盖国网总部、27家网省公司及节能服务公司、信产集团等直属单位,服务于国网营销、发展、人资、财务、信通等多个业务部门。

在金融行业,万里数据库已在光大银行的云缴费系统中得到成功应用。云缴费是光大银行TPS最高的系统,荣获2019年度人民银行科技发展奖一等奖。该行倾力于打造中国最大的开放式便民缴费平台,原来采用传统的IOE架构,成本较高,性能受限。由万里数据库提供支持,升级为分布式数据库集群后,既保证了云缴费数据的强一致和高可靠,也支持按需在线扩展,性能得到大幅提升,摆脱了对传统的集中式架构的依赖。

互动交流

在分享结束后,林韶宾还与参会嘉宾交流。林总表示:“我们做数据库产品的初心是为了更好地解决用户对于数据库高效、稳定的诉求,现在正好赶上了国家对于信息技术应用创新的大力支持,因此我们更应该抓住机会做好产品,为更多的用户提供自主可控的国产数据库,更好地支撑用户的业务和应用。”

在国际形式日趋复杂的背景下,信息技术应用创新正在高速发展,数据库作为信息化建设必不可少的一环,在满足自主可控的前提下,更稳定、更高效、更好用的数据库产品需求正在逐级放大。未来,万里数据库将不忘DB初心,牢记使命,紧抓核心技术自主创新,始终坚持以“极致性能、极致稳定、极致易用”作为产品设计的核心出发点,完善生态产业链,推动国产数据库信创产业建设和发展。

了解更多数据库知识,欢迎搜索并关注“万里数据库”微信公众号。