产品功能

北交联合云大数据管理平台围绕企业数据的采集、存储、处理等过程,提供以下功能:

  • 原始数据导入- 数据来源可以是文本数据和关系型数据库,文本数据可以直接装载到Hdfs 、Hive、Hbase ;关系型数据库可以通过 Sqoop直接抽取到Hdfs 、Hive、Hbase,并支持增量抽取。
  • 查询脚本设计- 对于数据分析人员可以通过查询界面输入查询语句,也可以将多个语句封装成固定的Query。
  • 批处理设计- 通过工作流引擎,可以设置批处理的执行时间范围、执行频率、执行参数等,从而实现自动化批处理。
  • 工作流设计- 工作流引擎可以支撑Hadoop生态系统下的各种组件以及操作系统的ssh、shell、mail,同时支持引入参数,实现灵活设计工作流。
  • 元数据管理- 实现对Hive、Hbase、HDFS对象的管理,主要包括新建、删除、查看属性信息、浏览对象数据
  • FTP远程数据传输- 集成了FTP功能,可以帮助用户实现远程异地数据传输。
  • 个人工作区- 可以将个人的Hive、Pig、Scala等脚本进行保存,以便后续使用。
  • 外围数据库查询- 支持WEB方式查询外围关系型数据库,目前支持(Mysql、Oracle、Sqlserver)。

应用场景

适用于基于Hadoop搭建大数据平台的企业用户,能够帮助数据团队高效实现数据抽取、处理、加载、管理,通过Web方式完成对象管理、数据查询、工作流定制、自动批处理、远程数据传输,帮助企业降低了Hadoop技术门槛,轻松驾驭大数据。

产品优势

  1. 数据兼容性- 完全支持结构化、半结构化数据抽取分析;支持非结构化数据存取。
  2. 可视化- 通过Web方式实现数据可视化、操作可视化,降低了企业使用Hadoop技术的难度。
  3. 灵活性- 支持在工作流里灵活搭配各种组件(Hadoop组件、操作系统组件)。
  4. 异地传输- 通过FTP实现数据异地传输。
  5. 追踪性- 强大的日志监控功能,帮助完成任务管理、日志追踪。