开源软件名称：

开源软件地址：

开源软件介绍：

Magnet

介绍

三分钟快速搭建流式处理应用！简单实用的分布式大数据处理框架，特点是零基础操作，支持批处理和流式处理。

软件架构

项目目前由core、xmlbuilder、jsonbuilder、spark1、spark2、flink1和client七个模块组成。

• core模块封装了各个部分的抽象组件。
• xmlbuilder和jsonbuilder模块是以xml或json解析为执行配置来源的读取模块。
• spark1、spark2和flink1模块为大数据引擎模块，目前支持spark1(基于v1.6.0)和spark2(基于v2.4.0)引擎。
• client模块是客户端调用模块。

Magnet提供统一的配置接口，只需要配置一次就可以在任何引擎上处理大数据，真正做到“ 一次编写，到处执行 ”的效果。项目具备优秀的可扩展性，设计良好的接口可以兼容任何大数据引擎。架构图中蓝色部分为框架的核心模块，非蓝色部分均为可扩展模块。你可以扩展配置文件的格式，可以是xml配置、json配置或自定义格式；你也可以扩展大数据处理引擎，Spark、Flink、Hive、Kafka或MapReduce；你也可以扩展各种标签组件；你还可以扩展每个标签组件的包装wrapper，用于处理每个标签组件的前置和后置操作。

使用说明

• Magnet介绍
• 快速入门
• 配置文件结构
• 使用IDEA打包项目
• 在yarn上运行Magnet
• parameter参数标签
• fragment碎片标签
• datasource数据源标签

• datasource数据源概述
• 读取复杂JSON数据

• workflow工作流标签

• SQL标签
• filter标签
• distinct标签
• output标签
• valueMappers标签
• splitFieldToRows标签
• stringCuts标签
• addFields标签
• addSequence标签
• rownum标签

• 开发指南

• 框架结构介绍
• 扩展新处理引擎
• 扩展新标签

参与贡献

贡献者列表

项目演示

示例测试文件链接: https://pan.baidu.com/s/1HSQLHD5mzDhlDe4FgQamuw 提取码: e9ip

批处理示例：

流处理示例：

加入我们

如果：

• 你对Magnet感兴趣
• 你有风骚的创意
• 你对大数据技术有兴趣
• 你想用Magnet解决工作中的问题，却发现Magnet解决不了
• 你想加入Magnet认识更多帅哥
• 未完待续...

你都可以加入我们Magnet社区，我们为你提供创造性的舞台接受你风骚的想法，或者解决实际工作中繁杂的任务。