开发者社区> 平生栗子> 正文

性能跃升50%!解密自主研发的金融级分布式关系数据库OceanBase 2.0

简介: OceanBase的性能目标:极致压榨硬件性能。
+关注继续查看
福利推荐:阿里云、腾讯云、华为云等大品牌云产品全线2折优惠活动来袭,4核8G云服务器899元/3年,新老用户共享优惠,点击这里立即抢购>>>

小蚂蚁说:

相信大家对蚂蚁金服自主研发的金融级分布式关系数据库OceanBase的故事不再陌生了。在刚刚过去的2018年天猫双11中,成交额2135亿再次创造了新纪录,而支撑今年双11的支付宝核心链路就是OceanBase 2.0版本。

本文小蚂蚁将为大家详述OceanBase如何在去年同样机器数量的情况下,来支撑今年双11的流量洪峰,一起来学习一下吧~

本文作者为蚂蚁金服OceanBase团队资深技术专家颜然,他也是OceanBase初创成员之一,目前负责事务引擎以及性能优化方面的研发工作。(文末有彩蛋)

OceanBase:在普通硬件上提供极限性能的数据库服务

4b40aa5249225307556e8f7a05654f35c68e265e

OceanBase是完全自主研发的金融级分布式关系数据库从架构上可以通过扩展机器来解决集群服务能力的扩展需求。

OceanBase采用多副本复制的方案解决了可靠性和可用性的需求,而且构建在普通PC服务器上,不依赖于高端引擎。

我们的目标是在普通硬件上提供极限性能的数据库服务。那么,OceanBase的存储引擎有什么特点呢?

2a6f68fe1dc36dc186140595488e3ab5a073a43c

OceanBase的存储引擎类似于LSMTree,所有新增的修改都会先记录在Memtable中,这些数据的变更并不会实时写到磁盘上,而会在后台定期写到硬盘上。

不管是磁盘还是SSD,当有大量写入的时候,它的读取性能都会受到很大影响。从一开始OceanBase的架构就是为了适应这种硬件的特性,所以没有随机写的操作,对于SSD和磁盘都很友好,可以将硬盘的吞吐量优势发挥出来,把硬件资源最好的性能压榨出来。

OceanBase从0.x版本到1.x版本,再到现在的2.0版本,一直在推动的一件事就是把硬件的性能做到极致,希望在同样的硬件条件下能给业务带来更多性能的空间。OceanBase的目标一直是有极致性能并且性价比最好的数据库。

OceanBase的性能目标:极致压榨硬件性能

从用户使用角度来看,数据库有两个重要的指标,延迟(Latency)和吞吐量(Throughput)。这是两个非常不一样的指标。

e26a59791fc513032c9a08042e95b154827ecb0b

根据排队论模型,这两者之间的关系如上图所示:随着吞吐量增加,延迟近似指数倍增长

当整体系统的性能不是特别高的时候,可以保持延迟的稳定性。当系统性能压力很高的情况下,延迟会增加,我们要做的事情就是要在一个合理的延迟情况下,让吞吐量可以尽可能大。换句话说,其实就是把一个请求要做的事情尽可能的减少,然后让单位时间内能做的请求尽可能的多。性能优化的最终目标就是在延迟可以接受的场景下,尽可能提高系统的吞吐量。

性能优化工作

在刚刚过去的2018年天猫双11中,成交额2135亿再次创造了新纪录。那么在蚂蚁金服/支付宝这样的场景下,支付的压力会全部落在OceanBase 2.0版本上。在2.0版本里我们做了一个很重要的事情来进一步压榨硬件的性能——也就是在去年同样机器数量的情况下,来支撑今年的流量洪峰

在同样的硬件环境,同样的机器规模数这些条件下,通过升级的服务器版本以及服务器的部署方式,来提供今年双11在0:00:00洪峰到来时的抗压能力。 双11的支付压力是典型的OLTP模型,有大量的增删改查操作。OceanBase的存储模型决定了操作主要在内存中进行,所以在满负荷运转下CPU是主要瓶颈。

CPU的资源如何压榨到极致,其实主要包含两方面的工作:

一是优化语句执行消耗指令数(Instructions /SQL),即每个请求需要执行的指令数,指令越少越好;

二是优化系统执行指令的效率(Cycles /Instruction),可以用CPI(Cyclesper Instruction)表示。

系统性能由每一行代码决定

任何一段代码都可能导致bug,任何一行代码也都有性能优化的空间。针对不同的场景,我们需要深入到每行代码里去看可以做什么样的优化。

3bf06c2d80f64055571abb24363b4542bb08c3f1

OceanBase 2.0版本进行了深度的优化获得了很好的性能提升。上图所列的只是其中一部分优化工作。性能优化是一个事无巨细的工作,有点类似于测试工作,本质上每一行代码都会影响系统的性能。

优化CPU开销

Commit异步化

59b845580e395f2fce1aa0423ae2cef3e3905aa3

在OceanBase已有的模型里,网络模块有单独的线程池负责和客户端通信,接受用户请求和返回请求结果。接收到的请求会发在任务队列中由工作线程处理。

相比较于每一个用户的连接使用一个独立的线程服务的模型,OceanBase的模型可以大大减少上下文切换的次数。

对于SQL语句的执行,这已经是一个很好的模型了。但是对于事务的提交操作,需要将日志在本地持久化和发送到其他副本持久化,提交操作又会使得工作线程出现等待的情况。

Commit异步化是在事务提交日志后不再等待日志持久化,工作线程可以直接去队列中取下一个任务执行。等日志持久化完成后,通过回调的方式出发事务提交完成的操作和给用户发送请求的结果。

优化系统扩展性

扩展性问题

我们做了很多事情让系统少做无谓的事情,多做有用的事情,也就是增加CPU做有效工作的时间占比。

机器的CPU核数越来越多,从原来的几十个核和现在的一百多个核,在英特尔的PC Server上都是很常见的场景。系统在服务器上运行,多核CPU的扩展性是一个很重要的方面。这里以计数器场景举例,单个线程和多个线程一起操作同一个计数器,后者因为多个核之间竞争同一个内存单元,性能会下降几百倍。其实有时候人多不一定力量大,人多也有可能导致大家一起抢赛道。

在系统中也大量存在类似的竞争场景,内存分配器是一个常见场景。多个线程在操作同一个memtable时,会从连续的内存块中分配内存,分配内存的操作就好似计数器的竞争。所以,要把memtable的内存分配操作做成分区的形式,减少多个核之间的竞争。

4fece67b7a3cf2e4f93ebcda199bb7eb9d8cbce4

说到底性能优化其实就是在优化系统的各个细节,每个细节都要做到极致,最终性能才能压榨到最好的那个点,才能把硬件本身的性能发挥到最好。

性能无止境

9dfaab0a0513273be421b7c950321424acbbbea0

我们可以看到,蓝色块代表的是OceanBase 1.4版本,也就是我们现在使用的主力版本,绿色块代表了OceanBase 2.0版本。A场景是下单场景,也就是点提交订单时的操作,B场景是支付场景,就是登到支付宝里去最终付款的场景。

最后结果是:在下单场景下,OceanBase 2.0版本比1.4版本的性能提升了63%,在支付场景下,提升了58%。

OceanBase的未来

未来OceanBase会加强面向全栈的优化,同时会对工作负载进行优化,也会有面向新硬件方面的优化工作。

OceanBase会持续进行性能优化的工作,目的是持续为用户提供具有最高极限性能以及最好性价比的产品。这是OceanBase所一直秉承的理念。

文末彩蛋

想要全面了解OceanBase 2.0?那就猛戳这里:《OceanBase 2.0核心技术深入解读》

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
解决方案架构师郭援非:OceanBase助力金融ECIF“大机下移”分布式
随着“以客户为中心”逐渐成为金融业的战略重心,整合企业各系统分散客户信息的ECIF(Enterprise Customer Information Facility,企业级客户整合系统)应运而生。 ECIF 通过整合企业现有业务系统中的所有客户信息,实时保留客户的最新信息,为各应用系统以联机交易的方式提供实时的、完整的、共享的、一致的客户信息,建立起企业级的客户信息识别系统,在全企业范围内为客户信息的使用和管理提供服务,已成为金融业“以客户为中心”的战略性基础系统。
89 0
权威认可!蚂蚁分布式金融核心套件bPaaS成金融核心系统的最佳实践
让金融机构“复制蚂蚁的核心技术能力”成为现实。
786 0
斩获2020可信云服务最佳实践奖,蚂蚁分布式金融核心套件bPaaS如何通过专业认证?
bPaaS作为承载蚂蚁金融科技开放战略的一款拳头产品,展示的是蚂蚁长期坚决执行金融科技开放战略的意志和决心。
340 0
支付宝资深技术专家尹博学:新一代金融核心突破之全分布式单元化技术架构
本文整理自2020阿里云线上峰会蚂蚁集团资深技术专家尹博学的主题演讲,为大家分享蚂蚁关于金融级IT架构及分布式架构的思考和应用实践。
2027 0
金融级分布式关系数据库OceanBase 2.2版正式发布
OceanBase 2.2版是一个同时兼容MySQL以及Oracle两种模式的里程碑版本
844 0
深度|蚂蚁金服分布式金融核心套件:金融核心系统变革助推器
分布式金融核心套件是蚂蚁金服针对分布式核心系统全新推出的金融科技产品,该套件包含客户、产品、资产平台等多个应用组件,业界首创将融合核心业务能力组件与技术平台于一体,可有效解决金融机构应用研发效能、数据治理和运营、全域风控管理、技术架构升级等问题。
2414 0
OSDI '18重磅解密:蚂蚁金服实时金融级分布式图数据库GeaBase
小蚂蚁说: GeaBase是具备高性能、高可用、高扩展性及可移植性强的实时金融级分布式图数据库,广泛应用于蚂蚁金服风控、社交、推荐等技术场景。“过无人区” 、“Made in China” 、“反哺”是GeaBase的几个耀眼标签。
2175 0
OSDI '18重磅解密:蚂蚁金服实时金融级分布式图数据库GeaBase
蚂蚁金服在2015年成立了专门研发图数据库的技术团队,在仅仅3年多时间里,成功研发出具有高性能、高可用性、扩展能力强和极佳移植性的GeaBase。
2958 0
+关注
文章
问答
来源圈子
更多
蚂蚁以“为世界带来更多平等的机会”为使命,致力于通过科技创新能力,搭建一个开放、共享的信用体系和金融服务平台,为全球消费者和小微企业提供安全、便捷的普惠金融服务。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
云原生时代下的分布式云多集群管理-容灾,弹性,多集群负载分布
立即下载
让 MySQL 原生分布式触手可及
立即下载
事务、全局索引、透明分布式
立即下载


http://www.vxiaotou.com