[开源]一款超轻量级、企业级大数据计算产品,一键部署,开箱即用

科技一飞开源 2024-11-02 16:24:42

一飞开源,介绍创意、新奇、有趣、实用的开源应用、系统、软件、硬件及技术,一个探索、发现、分享、使用与互动交流的开源技术社区平台。致力于打造活力开源社区,共建开源新生态!

一、开源项目简介至轻云超轻量级Spark计算平台

至轻云是一款超轻量级、企业级大数据计算产品,围绕Spark生态打造的数据计算平台。一键部署,开箱即用。可快速实现Spark计算、大数据离线ETL、实时计算、作业定时调度等功能。

二、开源协议

使用Apache-2.0开源协议

三、界面展示

能写代码?不单单只有Sql

支持超多作业类型,包括SparkSql、SparkJar、数据同步、JdbcSql、Prql、Excel导入、Python脚本、Bash脚本、Curl脚本、接口调用等。

作业调度,横竖都能拖拽

支持全量的作业生命周期指令,包括运行、中止、中断、下线、发布、重跑、重跑下游、重跑当前、外部调用等。

实时计算,让数据更高效

支持实时计算和数据库实时同步功能,利用Kafka和Debezium高效处理数据流,确保数据的快速传输和更新。

多平台部署,从不娇生惯养

支持多种资源调度平台,如Kubernetes、Yarn、CDH、Apache Hadoop、Spark Standalone、Spark Cluster等。

数据大屏,展示大数据

强大的数据处理和可视化技术,将复杂数据转化为直观图表,支持实时监控和分析,助力企业决策,灵活适应行业内需求。

来源:至轻云 官网文档

四、功能概述选择至轻云

至轻云是一款超轻量级、企业级大数据计算平台。一键部署,开箱即用。可快速实现大数据ETL、实时计算、可视化调度、自定义接口、数据大屏、分享表单等场景。助力企业处理海量数据,获得更多商业价值。

产品特点▪ 私有化部署

一键docker部署,无须额外安装大数据组件,快速拥有大数据计算能力。

▪ spark原生

将Spark完全与项目融合,天生集成Spark特性,更好的发挥Spark能力。

▪ 丰富作业类型

支持SparkSql、sparkJar、Bash、Python、数据同步、实时计算等10多种作业类型。

▪ 可视化调度

支持作业的单个调度,作业流整体调度,corn表达式调度等功能。

▪ 多租户

支持多租户构建,租户间数据隔离功能。

▪ 优秀的生态

至轻云将与至爻系列产品,打造企业级开源全家桶解决方案。

五、技术选型编译环境

▪ java-1.8▪ nodejs-18.14.2

源码下载访问一飞开源:https://code.exmay.com/ 下载依赖下载cd spark-yun./gradlew install代码编译cd spark-yun./gradlew clean package打包路径spark-yun/spark-yun-dist/build/distributions/zhiqingyun.tar.gz解压部署tar -vzxf zhiqingyun.tar.gzbash zhiqingyun/bin/start.sh访问项目

▪ 访问地址: http://localhost:8080▪ 管理员账号:admin▪ 管理员密码:admin123

六、源码地址

访问一飞开源:https://code.exmay.com/

0 阅读:0