产品概述

联想数据集成系统旨在帮助用户方便、快速的实现各种数据源之间的数据迁移。实现本地数据迁移、数据库之间迁移、第三方云平台的迁移等业务场景。 Datahub能够支持同异构数据源之间的数据迁移,同时提供了库表列三级映射、数据过滤多种ETL特性。

产品特性
  • 提供多种数据采集接口,包括:各种主流的关系型数据库如mysql、oracle等、第三方云平台、文本文件、HDFS文件等,并且在不断扩展中

  • 支持文件批量采集,数据库迁移同一个任务最大支持500张表同时导入

  • 丰富的图形化界面设计和监控数据采集过程执行状态

  • 具备全量和增量数据采集,允许灵活定义多种抽取策略,允许对抽取的字段进行动态选择

  • 统一的作业调度及监控功能,前台提供多种任务逻辑的组合处理及配置

  • 具备灵活的数据源管理能力,允许以统一方式进行配置并获取访问

  • 客户端自动同步本地资源,对本地文件数据实现轻松管理,告别频繁上传、文件管理不再愁

  • 提供图形化的界面来实现灵活的数据清洗规则配置,如去重、清洗、复杂条件过滤等,实现数据的标准化

  • 提供字段映射功能,可灵活配置迁移的源和目标之间的字段映射关系

  • 统一的作业告警,支持多种告警方式,并集中作业运行错误反馈,将问题日志抓取在平台统一查看

产品功能
  • 数据迁移

    安全稳定地实现多种数据源之间的数据互导

  • 客户端迁移

    下载客户端,部署到需要上传数据的服务器上,配置任务,对客户端所在的本地文件进行 实时同步

  • 数据库连接管理

    实现对数据库连接的统一管理及对已保存数据库连接的快捷使用

  • 字段映射

    迁移过程中灵活自定义源表与目标表之间的字段映射关系

  • 数据清洗

    迁移过程中提供灵活的数据质量保证。根据系统提供的规则来选择清洗机制,字符转换、 去重、去乱码、长度控制等,实现数据标准化

  • 任务管理

    提供灵活管理任务的功能。可查询迁移任务的详情及运行记录,也可对其进行复制及删除等操作

  • 日志管理

    实现对任务日志的实时采集及查看

  • 报警服务

    自定义任务报警规则,实时掌握数据迁移任务的运行状态,当迁移任务失败、超时等异常情况,可及时通过短信或邮件获知

应用场景
  • 企业迁移大量结构及非结构话数据到大数据平台

  • 企业内部数据库之间的互导

  • 数据之间的同步

  • 数据分发及数据备份

  • 企业数据需要从外部云及系统迁移到内部

忘记密码?