1. 阿里云解决方案网首页
  2. ERP文章

MySQL与Elasticsearch实时同步:使用数据传输DTS基于MySQL Binlog同步

当业务需要对海量数据进行多维度、实时的搜索时,关系型数据库显然力不从心。一个非常典型的例子就是对产品或者商品进行多维度搜索。此时,业务经常需要借助搜索引擎Elasticsearch满足多样化的实时搜索诉求。搜索开始前,首先需要解决的问题是如何将待搜索数据从关系型数据库实时同步到Elaticsearch。

了解Elasticsearch 了解DTS

MySQL->Elasticsearch同步场景

业务数据实时搜索

DTS支持本地IDC自建MySQL/其他云厂商MySQL/阿里云ECS自建MySQL/RDS MySQL->Elasticsearch之间的数据实时同步。
通过DTS提供的数据实时同步功能,用户只要3步就可搭建起MySQL同Elasticsearch的实时同步实例,实现基于MySQL Binlog的毫秒级同步延迟。

MySQL与Elasticsearch实时同步:使用数据传输DTS基于MySQL Binlog同步

DTS其他同步场景

MySQL与Elasticsearch实时同步:使用数据传输DTS基于MySQL Binlog同步

数据灾备

阿里云其他地区、线下IDC或其他云厂商构建数据灾备中心,通过DTS实现中心同灾备的数据实时同步。当业务出现故障时,将流量秒级切换至灾备实例,规避故障导致的业务不可用。

MySQL与Elasticsearch实时同步:使用数据传输DTS基于MySQL Binlog同步

异地多活

为优化用户访问体验及可用性,可构建多业务中心。将流量切分到各个中心。通过DTS双向同步实现业务中心间的数据一致性同步,用户就近访问,解决访问时延及服务容灾问题。

MySQL与Elasticsearch实时同步:使用数据传输DTS基于MySQL Binlog同步

业务数据实时分析

可通过DTS,将在线数据库的数据实时同步到大数据产品(MaxCompute、Datahub、ADS),基于同步的实时数据进行实时数据查询分析展示及商业决策。

MySQL与Elasticsearch实时同步:使用数据传输DTS基于MySQL Binlog同步

数据实时汇总

可通过DTS,将多个数据源的数据实时汇总到一个目标数据库或大数据产品,业务在汇总实例上进行数据的实时分析、数据统计及报表制作展现等。

阿里云DTS与开源解决方案对比

开源工具成本高

MySQL与Elasticsearch实时同步:使用数据传输DTS基于MySQL Binlog同步业务复杂度高
  • 待同步表必须更新时间字段
  • 业务写入数据必须更新时间
MySQL与Elasticsearch实时同步:使用数据传输DTS基于MySQL Binlog同步性能影响大
  • 通过SQL读取数据
  • 对线上业务影响大
MySQL与Elasticsearch实时同步:使用数据传输DTS基于MySQL Binlog同步同步延迟高
  • 定期数据同步
  • 同步时延高达数小时
MySQL与Elasticsearch实时同步:使用数据传输DTS基于MySQL Binlog同步稳定性差
  • 无法解决RDS实例迁移及
  • 日志回收情况下的同步稳定性

DTS数据实时同步的优势

MySQL与Elasticsearch实时同步:使用数据传输DTS基于MySQL Binlog同步

超高同步性能,相较开源提升4倍
  • 日志同步性能高达6万记录/秒
  • 网络传输优化,距离1000+,同步性能高达3万记录/秒

MySQL与Elasticsearch实时同步:使用数据传输DTS基于MySQL Binlog同步

超低成本,底至400元/月
  • 中国大陆数据同步,底至400元/月
  • 按需付费,只需为同步时间付费
  • 基于DTS专线的跨国数据同步,低至1500元/月

MySQL与Elasticsearch实时同步:使用数据传输DTS基于MySQL Binlog同步

简单易用,3步完成同步配置
  • 3步完成数据同步实例的配置及启动
  • 数据双向同步,支持冲突策略定义及冲突自动修复
  • 支持DDL、DML的完整数据同步方案,业务表结构变更,不影响实例稳定性

MySQL与Elasticsearch实时同步:使用数据传输DTS基于MySQL Binlog同步

链路高可靠,数据高安全
  • 多机房部署,服务可用性高达99.95%
  • 支持访问加密,传输加密及存储加密的完整安全机制
  • 实现数据源连接地址变更、网络类型切换及日志回收情况的实例可用性

产品购买和使用

1元试用

购买优惠

如需长期使用,请与本站联系,新购续费均可。

原创文章,作者:admin,如若转载,请注明出处:https://www.aliyunsolution.com/179.html

发表评论

电子邮件地址不会被公开。 必填项已用*标注