产品概述

联想任务调度系统是整个大数据平台的基础任务调度系统,负责对平台级别的任务进行调度及逻辑处理, 能够支持多种数据处理组件及任务编排方式,解决大数据任务和下层执行引擎的协调工作,让用户专注在自身业务的逻辑,系统自动优化和调度任务执行的方式。

产品特性
  • 自动调度

    支持多种任务调度方式, 包括各种常用时间粒度及依赖类型组合,无需复杂配置,用户可轻松完成各种调度方式,后台动态优化调度策略;

  • 丰富的任务组件

    支持20多种任务开发组件,支持对各种常用大数据任务及常规数据处理任务,支持用户自定义脚本运行;

  • 便捷的可视化开发

    全图形化组件开发界面,用户通过简单的可视化操作即可完成复杂的逻辑开发

  • 可视化的监控机制

    自动分析任务执行效率,提供多种监控手段保证任务运行

  • 高效可靠的运行机制

    支持服务的HA模式及动态负载均衡,支持任务参数按不同级别动态配置;

  • 智能化服务

    在硬件计算性能允许下,支持在边缘终端运行算法脚本,如支持Python的运行;

  • 网络传输控制

    支持数据多级缓存、断点续传,可控制传输策略与网络带宽,提供工况环境停机维护或意外断电下的数据安全保障机制;

  • 平台可扩展

    提供完善的组件扩展及API调用机制,提供自适应的平台开放能力

产品功能
  • 任务开发

    支持接入各种数据源及执行引擎,提供导数、sql、脚本、代码、外部任务引用等多种功能, 支持spark,hive,sqoop等多种大数据任务,支持R,python等代码上传,支持常见DB 的ETL任务,支持条件、依赖、合并等多种任务运行方式。支持秒、时、天、月及运行条 件组合调度执行。为用户提供丰富简单的开发模式。

  • 实例执行

    提供任务自动调度方式及监控界面,自动分析任务执行效率及智能任务重跑,支持图像化 任务依赖关系及状态追踪,支持自动任务告警,为用户提供可靠的任务执行方案。

  • 任务管理

    支持多种任务开发类型及任务导入模式,支持任务的版本管理及任务状态检测,为用户提 供简便的任务管理方式。

  • 参数配置

    支持系统、项目、用户级别的任务参数管理,支持配置资源及三方工具运行参数,为用户 提供平台各种参数强大丰富的管理功能。

应用场景
  • 企业的IT人员,希望任务执行自动化及优化调度策略

  • 业务人员希望了解任务开发的方式

  • 用户对数据逻辑清楚,希望尝试在大数据上运行任务

  • 企业里面的ETL开发

  • 大数据及传统数仓模式里的开发

忘记密码?