数据清洗系统
时间:2017-07-06 09:26:51  来源:  作者:

赛博智通数据清洗系统,提供对实验测试数据的集成处理功能。通过数据清洗系统,用户可以从不同结构的数据源中抽取数据(Extract),对数据进行复杂的加工处理 (Transform),最后将数据加载到各种存储结构中(Load)。例如实现从多个异构的数据源(不同数据库、结构化文件等)抽取数据,并加工成统一的测试数据格式,最后加载到大数据平台中,供大数据分析、挖掘等应用使用。赛博智通数据清洗系统提供一个简单易用的开发、管理工具,提供覆盖从数据集成逻辑的设计、开发、调试、部署,到运行、管理、监控各个生命周期不同阶段的集成开发工具。通过数据清洗系统可以实现对数据集成流程的开发和部署;通过监控和日志功能,可以实现对数据集成的运行过程进行实时监视,对集成流程历史数据进行分析。

赛博智通数据清洗系统有以下特点:

1、无需编码

²  图形化的界面,拖拉式的方式;

² 无需代码可使用Hadoop、Spark和NoSQL数据库。

2、轻松转换ETL

任何实验测试数据清洗作业,都可以在Hadoop平台上自动转换成MR和Spark的代码在后台运行,并实时的返回运行的进度和过程。

3、快速简单的开发

²  图形化操作界面,无需编码,丰富的图形化转换功能;

²  内置的元数据模块,一次定义,反复使用;

²充分利用现有ETL技能,批量、模板程序开发的功能。

4、自动的扩展性

所有生成的MR、Spark代码都是自动在大数据平台上运行,所使用的都是大数据平台的资源,数据处理能力可以随着大数据平台的不断扩展而扩展。


© 2017北京赛博智通信息技术有限责任公司 版权所有 京ICP备15023058号-1