vlambda博客
学习文章列表

TDSQL初探‍

不久之前，某大厂受鹰将和兔子贸易战影响，5G芯片发展受阻，不得不卖掉部分手机业务。即使很有￥，ORACLE也不卖原厂授权，只能外包ORACLE服务到第三方公司。

商业的发展和IT的可持续性，被各种卡脖子，磨难历历在目，而在关系型数据库方面，国内众多核心业务系统关系型数据库技术也是严重依赖于ORACLE。

2020年年末，仿佛突然间，国产数据库爆发了，突然看到了光芒。除原有的一众国产RDBMS，如达梦，发布一些新版本外，一众国产的分布式数据库扎堆推广、产单，如AnalyticDB、EsgynDB、GoldenDB、OCEANBASE、TDSQL、TiDB...(A -> Z)。

百闻不如一见，面对一众数据库，本着先从大厂择一开拓的想法，近几日，兴趣蔚然，测试了鹅厂的分布式数据库TDSQL，下面就个人对TDSQL浅薄的认知进行分享，不足之处，还望抛砖。‍

· 分布式数据库（Tencent Distributed SQL，TDSQL）是腾讯推出的一款兼容MySQL的自主可控的、高一致性、分布式的数据库产品。

·  2002腾讯内部部分业务使用mysql数据库，2012年TDSQL诞生在腾讯内部，2014年在微众银行核心系统投产，2015年提供腾讯云TDSQL服务，2019年传统银行核心系统使用，2020年TDSQL已经为超过600机构提供数据库服务。

·  它支持自动水平拆分，业务感受完整的逻辑表，而数据却均匀的拆分到多个物理分片中，可以有效解决超大并发、超高性能、超大容量的OLTP类场景；

·  TDSQL的每个分片默认采用主从高可用架构，提供弹性扩展、备份、恢复、容灾、监控、迁移、分析、优化等全套解决方案，适用于TB或PB级的海量数据库场景。

·  应用在电商、金融、O2O、社交应用、零售、SaaS、音视频等领域，腾讯90%的金融、计费、交易类业务核心系统承载在TDSQL中，TDSQL拥有核心系统的多年商用经验，可达到金融级别99.999%以上高可用性。‍

TDSQL是基于MySQL/Mariadb社区版本打造的一款金融级分布式数据库集群方案。采用优化的强同步技术，保障了运行速度的同时，确保数据库分布式集群间数据一致，保障数据安全。

TDSQL集成了TDSQL Agent、TDSQL SQLEngineSQLEngine、TDSQL Scheduler等多个模块，实现了读写分离、AutoSharding、自动主备强一致性切换、自动故障修复、实时监控、实时冷备、支持扩容等一系列功能。

图1 TDSQL系统总览

下面从TDSQL系统总览认知进行分享:

·  从资源池来看，可部署在物理机和虚拟机上，建议物理机部署，当然也有云上TDSQL；

·  存储节点：可以使用传统的单数据库(Noshard)方式运行，也可以采用分布式数据库集群；

·  计算节点(数据库节点):支持HATP，采用OLTP和OLAP两种引擎，OLAP功能还在研发中；

·  赤兔平台：对数据库进行日常基本运营，提供监控等。

·  扁鹊平台：包含在赤兔平台，包含日常的可用性分析、性能分析、锁的分析、SQL优化、系统健康诊断等。

·  同时提供了较多的服务功能模块(系统)，如常见的维护性功能：备份恢复、数据迁移、资源调度、容量调度、多租户管理等，还包含了数据库安全功能：审计、数据校验、SQL审核等，还使用了大数据技术对平台数据的分析治理功能。

赤兔管理平台包含了：集群总览、资源管理、DB汇总监控、网关汇总监控、接入层管理、调度与管理系统、数据同步、控制台操作日志、告警分析、集群管理、业务运营、接口管理。系统管理众多模块，用来进行集群的日常维护，各组件的运行状态查看、异常告警、权限管理、系统升级、授权等维护。

图2 TDSQL赤兔管理台界面

TDSQL的组件：

·  Zookeeper-zookeeper集群，提供高可用性和一致性集群；

·  Keeper(Manager/scheduler)-负责TDSQL调度模块，进行主备切换、扩缩容、资源管理；

·  OSS-TDSQL操作接口，提供http页面操作接口；

·  DB-数据库模块，包含mysql和agent；

·  Proxy-网关模块，账号鉴权、sql解析和转发；

·  Monitor-监控采集模块，从zk定期采集实例动态数据；

·  Chitu-运营平台，进行实例管理、告警管理权限控制等；

·  Clouddba-扁鹊系统，提供sql优化和诊断

·  HDFS-冷备存储模块，备份binlog/slowlog/errorlog；

·  LVS-负载均衡模块，提供vip,对业务透明到后端proxy；

·  Kafka-消息队列，多源同步和elaticsearch的基础组件；

·  Consumer-多源同步消费者，提供mysql、tdsql和oracle之间的同步方案；

·  Elaticsearch-数据检索及分析工具，用于分析网关日志，帮助定位问题；

·  Kibana-在elaticsearch使用spl语言分析结果展现。

不难看出，除了在提供OLTP功能外，结合了众多大数据技术，提供了海量数据存储，为后期扩展提供了基础平台，也可以在数据治理、分析、展现的功能。

数据库集群管理包括了:实例详情、数据库管理、DB监控、Proxy监控、实例监控、告警查询、日志管理、异常会话、备份&恢复、数据迁移、性能分析模块。

图3 TDSQL数据库管理界面

各个模块功能：

·  实例详情-数据库实例概要、分布、资源、版本、网关基础信息，同时包含数据库复制方式、容灾配置、备份配置、IO隔离等其它信息；

·  数据库管理-对数据库用户、在线DDL、在线SQL、在线SQL日志、数据库参数、网关参数等进行配置、优化；

·  DB监控-当前DB节点的硬件资源使用率、运行状况、告警策略等展示和部分信息修改；

·  Proxy监控-proxy连接数、SQL总数、响应时间，运行状态、告警策略、告警状态等监控和部分信息修改；

·  实例监控-数据库实例的详细指标历史曲线图，以及实例指标的当前状态；

·  告警查询-历史告警查询；

·  日志管理-慢查询、主备切换、DBA日志、控制台操作日志、网关日志等管理，其中网关日志可通过查询在kibana中展现；

·  异常会话-数据库运行的实时会话和异常会话；

·  备份&恢复-数据库的备份和恢复操作，可以备份到HDFS、本地文件系统和COS上，可采用物理备份和逻辑备份；

·  数据迁移-提供TDSQL到mysql、oracle等迁移和mysql回迁；

·  性能分析-提供一键式巡检报告、性能报告，进行SQL优化、实时诊断(冗余索引、锁等待、死锁等)、会话检查、表空间分布、故障诊断、历史SQL分析等。

通过数据库模块集群管理来看，相比传统的ORACLE，管理功能得到极大的提升，方便了日常的维护、管理，更好的发现性能及语句问题，实时处理后，系统能较稳定运行，同时数据迁移也更加方便，提供部分数据库双向迁移。

· anisble运维智能化，除使用anisble进行基本安装之外，加强anisble的日常管理、维护；

· tdsql待完善的方向：spark技术融入，加强OLAP功能，OLTP+OLAP结合，实现HATP数据库支撑；

·  融合闪存卡、infiniband、SSD超融合等技术的软硬结合数据库的一体机；

·  加强对ORACLE语法的支持；

·  后期多平台数据同步工具的实现,如加强从ORACLE迁移到TDSQL平台；

·  产业链及合作伙伴、销售渠道的构造，开拓更多的商业核心客户；‍

TDSQL已经为超过600机构提供数据库服务。据官方介绍，TDSQL客户包括张家港行、微众银行以及省部级政务机构等，行业覆盖计费、第三方支付、银行、保险、政务等领域。君不见数家国产数据库产品集中出现在四大行、运营商客户现场进行PK测试已成为常态，一旦金融行业经过短期的验证，在国际大环境下和现有传统架构饱和的情况下，国产替代计划、IT新基建、国产技术出海等浪潮将会迎来一波的推动，带来一个新产业链，无疑又会是一个巨大的金矿。

风已来，下一个飞上天的会是谁，会是已有良好的基因的TDSQL吗？‍