vlambda博客
学习文章列表

最简单的数据库同步方式(包括 Elastic、Redis、MongoDB)

在我们的研发工作中,会有很多的场景需要使用到数据库实时同步,比如:


实时数据中台:需要把分散的数据库数据实时地同步到一个中心数据库或者存储中心;

  1. 缓存同步:有时候我们为了减轻业务数据库的查询压力,会把数据库的部分数据实时同步到缓存里,以提供系统应用的查询,一方面加速了查询的速度,也减轻了数据库的压力;

  2. 全文检索 Elasticsearch 数据同步:Elastic 是一款开源的基于 Lucene 的搜索服务器,被广泛应用于全文检索的场景,同样的,需要把数据库结构化的数据,实时同步到 Elasticsearch 中,为系统提供全文检索的能力;

  3. 实时报表系统、数字大屏:这类型的系统,需要汇聚多个数据库的数据,然后集中通过前端展示,一方面需要支持多源异构数据,另一方面对数据同步的延迟也有比较高的需求,比如监控类的数字大屏,甚至要求数据延迟不能超过 1秒。

  4. 数据库迁移、数据库备份、数据上云:这类型业务非常普及,通常 DBA 会将数据库导出,然后再导入,但是碰到数据库类型不一致,比如 从 Oracle 导入 MongoDB,需要做的转换工作就比较多,另一方面如果数据量巨大,如果将文件上传,也是一个需要面临的大问题。


这里给大家介绍的一个产品叫 Tapdata Cloud, 是一项免安装的在线数据同步和迁移工作,对于数据迁移和实时同步场景,非常的好用,可以说效率提高 n 倍,有意想不到的惊喜:


  1. 支持数据源类型非常多。除了关系型数据库,还支持常用非关系型的数据库:如 Oracle、SQLServer、DB2、SyBase、MySQL、PostgreSQL、MongoDB、Elasticsearch、Redis等;

  2. 支持关系型与非关系型数据库双向同步:比如 Oracle 与 MongoDB 双向同步。

  3. 亚秒级数据延时,源数据库与目标数据库之间数据同步,延时不超过 1 秒, 大部分支持到亚秒级;

  4. 支持全量和增量数据同步:支持 全量、增量、全量+增量 三种方式。

  5. 图形化操作和监控。不需要编写代码,只需通过图形化界面配置好数据库链接和同步的任务即可。

  6. 支持任务管理,断点续传。


本地私有化部署版本:https://www.tapdata.net