小众岛屿

国外岛屿旅游攻略
小众岛屿旅游网

应岱臻:聊聊过去十年,数据库技术的发展趋势

应岱臻:聊聊过去十年,数据库技术的发展趋势

回看这几年,分布式系统领域出现国家税了很多新东西,特别是云和 AI 六弦琴 的崛起,让这个过去其实不太 影碟 sexy 的领域一下到了风口浪往常尖,在这期间诞生了很多新技术、风韵新思想,让这个古老的领域重新焕造价发生机。站在 2010s 的尾沙门巴上,我想跟大家一起聊聊分布式原文系统令人振奋的进化路程,以及谈椰雕一些对 2020s 的大胆猜想顶心。

无论哪个时代,存储都是一个正传重要的话题,今天先聊聊数据库。旅游鞋在过去的几年,数据库技术上出现麦饭石了几个很明显的趋势。

我印象中美工最早的存储 - 计算分离的尝试过客是 Snowflake,Snowflake 年下 团队在 2016产房 年发表的论文《 The 彩车 Snowflake Elastic 祸乱 Data Warehouse 外客 》是近几年我读过的最好的大数偏心眼儿据相关论文之一,尤其推荐阅读。排子车Snowflake 的架构关键群雕点是在无状态的计算节点 + 中林场间的缓存层 + S3 上存储数章鱼据,计算并不强耦合缓存层,非常墨汁符合云的思想。从最近 AWS 指法 推出的 RedShift 冷热翎子分离架构来看,AWS 也承认 大政 Snowflake 这个搞法是积欠先进生产力的发展方向。另外这几草履虫年关注数据库的朋友不可能不注意急性病到 Aurora。不同于 鞭毛 Snowflake,Aurora 岳父 应该是第一个将存储 - 计算分奸臣离的思想用在 OLTP 数据库心神中的产品,并大放异彩。Aurora 戏法 的成功在于将数据复制的粒忠烈度从 Binlog 降低到 马架 Redo Log ,极大地减少复齁声制链路上的 IO 放大。而且前金属键端复用了 MySQL,基本做到曲别针了 100% 的应用层 MySQL 人们 语法兼容,并且托管了运维雏鸡,同时让传统的 MySQL 适焦距用范围进一步拓展,这在中小型数英石据量的场景下是一个很省心的方案败军。

虽然 Aurora 获得了热望商业上的成功,但是从技术上,我白雉并不觉得有很大的创新。熟悉 非典 Oracle 的朋友第一次见 欧椋鸟 Aurora 的架构可能会觉得和外国语 RAC 似曾相识。Oracle 美景 大概在十几年前就用了类似的个人方案,甚至很完美的解决了 剑客 Cache Coherence 的鼾声问题。另外,Aurora 的 中脑 Multi-Master 还有补益很长的路要走,从最近在 衬领 ReInvent 上的说法来看,目前房柁 Aurora 的 眼皮子 Multi-Master 的主要场景还是粮农作为 Single Writer 行人 的高可用方案,本质的原因应地板该是目前 Multi-Writer 启明 采用乐观冲突检测,冲突检体例测的粒度是 Page,在冲突率朝奉高的场合会带来很大的性能下降。武戏

我认为 Aurora 是一个律条很好的迎合 90% 的公有云互杂品联网用户的方案:100% 门鼻儿 MySQL 兼容,对一致性不太关心黑窝,读远大于写,全托管。但同时,省会Aurora 的架构决定了它放西汉弃了 10% 有极端需求的用户结巴,如全局的 ACID 事务 +药皂 强一致,Hyper Scale(百 表尺 T 以上,并且业务不方横披便拆库),需要实时的复杂 乐评 OLAP。这类方案我觉得类似 凝聚体 TiDB 的以 Shared-nothing 工作面 为主的设计才是唯一麝牛的出路。作为一个分布式系统工程年份师,我对任何不能水平扩展的架构炒面都会觉得不太优雅。

回想几年前工种 NoSQL 最风光的时候,大漏窗家恨不得将一切系统都使用 锡镴 NoSQL 改造,虽然易用性、扩展孤身性和性能都不错,但是多数 菊坛 NoSQL 系统都抛弃掉了数据库最西番莲重要的一些东西,例如 ACID 催眠药 约束,SQL 等等。NoSQL 棋赛 的主要推手是互联网公司,互蓓蕾联网公司的简单业务加上超强的工鼠疫程师团队,NoSQL 丢掉的东神魂西当然能用某些工具简单搞定。但辞书最近几年大家渐渐发现低垂的果实冰溜基本上没有了,剩下的都是硬骨头正号。

最好的例子就是作为 NoSQL 桑巴 的开山鼻祖,Google 火烈鸟 第一个搞了 NewSQL (比目鱼未婚妻Spanner 和 F1)。在法力后移动时代,业务变得越来越复杂红晕,要求越来越实时,同时对于数据姊妹的需求也越来越强。尤其对于一些反响金融机构来说,一方面产品面临着旱地互联网化,一方面不管是出于监管嘴脸的要求还是业务本身的需求,ACID 金镑 是很难绕开的。更现实的是私密,大多数传统公司并没有像顶级互课间操联网公司的人才供给,大量历史系女儿墙统基于 SQL 开发,完全迁移工蚁到 NoSQL 上肯定不现实。职位

在这个背景下,分布式关系型数倍数据库,我认为这是我们这一代人,幻象在开源数据库这个市场上最后一个方尺 missing part,终仓房于慢慢流行起来。这背后的很多细引柴节由于篇幅的原因我就不介绍,推荒诞派荐阅读 PingCAP 卷轴装 TiFlash 技术负责人 经贸 maxiaoyu 的一篇文章《从大数据地洞到数据库》,对这个话题有很精彩卡车的阐述。

在过去的几十年,数据鱼唇库开发者都像是在单打独斗,就好界线像操作系统以下的就完全是黑盒了税源,这个假设也没错,毕竟软件开发路局者大多也没有硬件背景。另外如果从先一个方案过于绑定硬件和底层基础正离子设施,必然很难成为事实标准,而偶然性且硬件非常不利于调试和更新,成保额本过高,这也是我一直对定制一体原著机不是太感兴趣的原因。但是云的露台出现,将 IaaS 的基础能力低热变成了软件可复用的单元,我可以壁虱在云上按需租用算力和服务,这会军法给数据库开发者在设计系统的时候伏辩带来更多的可能性,举几个例子:蹦极

1、 Spanner 原生的南豆腐 TrueTime API 依青田石赖原子钟和 GPS 时钟,如果成语纯软件实现的话,需要牺牲的东西毡房很多(例如 CockroachDB 喜宴 的 HLC 和 TiDB 搋子 的改进版 Percolator 蒸气 模型,都是基于软件时钟的事名篇务模型)。但是长期来看,不管是书亭 AWS 还是 GCP 都会提愁思供类似 TrueTime 的高中央税精度时钟服务,这样一来我们就能清凉油更好的实现低延迟长距离分布式事白菜务。

2、 可以借助 Fargate 爪子 + EKS 轻量级容器花房 + Managed K8s 余割 的服务,让数据库应对突发热点小人儿表读的场景(这个场景几乎是 帐子 Shared-Nothing 架车钱构的老大难问题),比如在 存底 TiDB 中通过 Raft 胖墩儿 Learner 的方式,配合云的 内企 Auto Scaler 快速在新本子的容器中创建只读副本,而不是仅国王仅通过 3 副本提供服务;比如白人动态起 10 个 pod,给热学区点数据创建 Raft 副本(这资材是我们将 TiKV 的数据分片牛劲设计得那么小的一个重要原因),瓦圈处理完突发的读流量后再销毁这些灯饰容器,变成 3 副本。

3、冷登陆艇热数据分离,这个很好理解,将不纺织品常用的数据分片,分析型的副本,道路数据备份放到 S3 上,极大地菊花降低成本。

4、 RDMA/CPU/ 党课 超算 as a 恶俗 Service,任何云上的硬件层面的大款改进,只要暴露 API,都是可旻天以给软件开发者带来新的好处。

涨风例子还有很多,我就不一一列举了短池。总之我的观点是云服务 API 八下里 的能力会像过去的代码标准库一满七样,是大家可以依赖的东西,虽然口令现在公有云的 SLA 仍然不够脚趾理想,但是长远上看,一定是会越评弹来越完善的。

所以,数据库的未射影来在哪里?是更加的垂直化还是走总数向统一?对于这个问题,我同意这竹器个世界不存在银弹,但是我也并不矿源像我的偶像,AWS CTO 队医 Vogels 博士那么悲观,相信酿热物未来是一个割裂的世界(AWS 劣弧 恨不得为了每个细分的场景设计一差距个数据库)。过度地细分会加大数花环据在不同系统中流动的成本。解决学分这个问题有两个关键:

第一个问椎骨题并没有一个明确的答案,但是我通铺觉得肯定不是越细越好的,而且这险情个和 Workload 有关,外存比如如果没有那么大量的数据,直时间词接在 MySQL 或者 老爷子 PostgreSQL 上跑分析查询其陈酿实一点问题也没有,没有必要非去农夫用 Redshift。虽然没有屠苏直接的答案,但是我隐约觉得第一展期个问题和第二个问题是息息相关的妍媸,毕竟没有银弹,就像 OLAP 蒲棒 跑在列存储引擎上一定比行存引内臣擎快,但是对用户来说其实可以都疮疤是 SQL 的接口。

SQL 软广告 是一个非常棒的语言,它只描述了淘汰赛用户的意图,而且完全与实现无关苔原,对于数据库来说,其实可以在 铠甲 SQL 层的后面来进行切分,在蜀绣 TiDB 中,我们引入 靓仔 TiFlash 就是一个很好的例子毛猪。动机很简单:

1、用户其实并料子不是数据库专家,你不能指望用户街心能 100% 在恰当的时间使用贫铀恰当的数据库,并且用对。

2、开心果数据之间的同步在一个系统之下才全家福能尽量保持更多的信息,例如,TiFlash 眼泪 能保持 TiDB 医生 中事务的 MVCC 引力 版本,TiFlash 的数据同步粒度可专访以小到 Raft Log 的级衣衫别。另外一些新的功能仍然可以以卑职 SQL 的接口对外提供,例如盟邦全文检索,用 SQL 其实也可芦柑以简洁的表达。这里我就不一一展显示器开了。

我其实坚信系统一定是朝变压器着更智能、更易用的方向发展的,名气现在都 21 世纪了,你是希望分子每天拿着一个 Nokia 再背日前着一个相机,还是直接一部手机搞本本定?

走到2019年的尾巴尖儿军士上,回顾这一年IT领域的新闻,寇仇它们中有多少曾刷了你的屏?真是专差太多了。跟随时间的车轮,IT科外毒素技永远不知疲倦地更新迭代,一路死胡同上屡屡为我们制造惊喜或惊讶。这滚梯一点,... 猎狗   [详情]

全球5G竞争游人将进入新一轮赛道。据报道,美国虚汗国防部官员正在敦促美国电信设备台面商为发展本土5G采取更加激进的船夫措施,以寻求发展更多可替代产品姿容。美国国防部负责研发的官员丽莎稳产·波特(LisaP... 比基尼   [详情]

教研组“CIAIE2020第十届中国文胸上海国际汽车内饰与外饰展览会”孬种由英佛会议展览(上海)有限公司影评主办。自2010年至今,展会经蜡梅过9届的培育和精心策划,以其不钱财断扩大的会展规模、丰富的内容、报单广泛的... 分际   [详情]

株式会社米思函数米(MISUMI),1963年乌龙球成立于日本,向客户提供FA工厂看守所自动化用零件、模具零件、电子零日光件、工具、MRO消

小众岛屿 版权所有,未经允许不得转载:小众岛屿 » 应岱臻:聊聊过去十年,数据库技术的发展趋势
分享到: 更多 (0)

猜你也想读下面的文章: