产品概述

SparkMPP是对原生Spark引擎进行了大量的改进、优化和扩展,能够完整支持SQL标准、支持存储过程;增强分布式事务处理能力,支持数据的增删改(CRUD)处理;全面高标准通过TPC-DS标准测试集的全部99个测试项。它具有高性能、稳定性好、功能丰富等特点,能够降低使用人员的专业要求门槛,更方便进行原有应用的迁移。包括:Spark 执行引擎优化、Spark MPP SQL 引擎、以及接口支持。

产品架构
产品特性
  • 完整支持SQL标准、支持存储过程

  • 增强分布式事务处理能力,支持数据的增删改(CRUD)处理

  • 全面高标准通过TPC-DS标准测试集的全部99个测试项,性能优良

  • 扩展支持Spark HA,增强系统稳定性

产品功能
  • Spark 执行引擎优化

    对Spark引擎进行了完善和优化,支持Spark HA,增强服务的稳定性和性能。

  • SQL Server语法解析

    包括 SQL Server解析器、SQL Server分析器、SQL Server优化器;完整支持SQL Server语法要求。

  • Oracle语法解析

    包括Oracle解析器、Oracle分析器、Oracle优化器;完整支持OracleSQL语法要求。

  • 事务管理

    包括事务并发控制、数据分布式增删改(CRUD)操作。

  • 存储过程语法解析

    包括支持变量存储、游标执行、逻辑执行、并行执行等功能。

  • 接口支持

    包括支持JDBC、ODBC、Shell等。

核心技术优势

1、完整支持SQL标准、支持存储过程

联想LeapSpark引擎进行了大量优化,全面支持SQL99/2003和存储过程方式(兼容Oracle、SQL Server等),支持游标、函数、变量等逻辑访问大数据基础数据库,全面高标准高性能通过TPC-DS标准测试集的全部99个测试项;保证传统企业数据处理流程的无缝迁移。

SQL语句执行逻辑示意图:

LeapSpark存储过程技术支持示意图:

语法支持:自适应多种数据库语法类型,如Oracle, Sqlserver , Mysql等,包括T-SQL及其扩展的特殊语法及相关函数的识别、解析及执行;

语句支持:支持丰富的语句语法if, while , goto , exception, transcation 等,多各类语句的语义解析及执行;

执行过程优化:去掉与结果无关语句、无依赖语句并行执行;

2、增强分布式事务处理能力,支持数据的增删改(CRUD)处理

• CRUD支持:Spark SQL支持传统数据库的insert , update , delete操作;

• 高性能保障:充分利用Spark的高性能特性,支持大规模数据集下的数据更新操作;

• 高性能优化:优化的数据读写结构,减少IO操作;

• 多版本数据控制;

ACID支持:分布式环境下的数据ACID支持

3、性能优异

在SQL执行计划优化方面,实现了多种优化策略,性能大幅提升;全面高标准通过TPC-DS标准测试集的全部99个测试项,

性能优异; 下图是LeapSpark与开源标准 Apache Spark的性能对比。

4、扩展支持Spark HA,增强系统稳定性

通过扩展支持Spark的高可靠行,增强了系统的稳定性和可靠性。

忘记密码?