一飞开源,介绍创意、新奇、有趣、实用的开源应用、系统、软件、硬件及技术,一个探索、发现、分享、使用与互动交流的开源技术社区平台。致力于打造活力开源社区,共建开源新生态!
一、开源项目简介至轻云超轻量级Spark计算平台至轻云是一款超轻量级、企业级大数据计算产品,围绕Spark生态打造的数据计算平台。一键部署,开箱即用。可快速实现Spark计算、大数据离线ETL、实时计算、作业定时调度等功能。
二、开源协议使用Apache-2.0开源协议
三、界面展示能写代码?不单单只有Sql支持超多作业类型,包括SparkSql、SparkJar、数据同步、JdbcSql、Prql、Excel导入、Python脚本、Bash脚本、Curl脚本、接口调用等。
作业调度,横竖都能拖拽支持全量的作业生命周期指令,包括运行、中止、中断、下线、发布、重跑、重跑下游、重跑当前、外部调用等。
实时计算,让数据更高效支持实时计算和数据库实时同步功能,利用Kafka和Debezium高效处理数据流,确保数据的快速传输和更新。
多平台部署,从不娇生惯养支持多种资源调度平台,如Kubernetes、Yarn、CDH、Apache Hadoop、Spark Standalone、Spark Cluster等。
数据大屏,展示大数据强大的数据处理和可视化技术,将复杂数据转化为直观图表,支持实时监控和分析,助力企业决策,灵活适应行业内需求。
来源:至轻云 官网文档
四、功能概述选择至轻云至轻云是一款超轻量级、企业级大数据计算平台。一键部署,开箱即用。可快速实现大数据ETL、实时计算、可视化调度、自定义接口、数据大屏、分享表单等场景。助力企业处理海量数据,获得更多商业价值。
产品特点▪ 私有化部署一键docker部署,无须额外安装大数据组件,快速拥有大数据计算能力。
▪ spark原生将Spark完全与项目融合,天生集成Spark特性,更好的发挥Spark能力。
▪ 丰富作业类型支持SparkSql、sparkJar、Bash、Python、数据同步、实时计算等10多种作业类型。
▪ 可视化调度支持作业的单个调度,作业流整体调度,corn表达式调度等功能。
▪ 多租户支持多租户构建,租户间数据隔离功能。
▪ 优秀的生态至轻云将与至爻系列产品,打造企业级开源全家桶解决方案。
五、技术选型编译环境▪ java-1.8▪ nodejs-18.14.2
源码下载访问一飞开源:https://code.exmay.com/ 下载依赖下载cd spark-yun./gradlew install代码编译cd spark-yun./gradlew clean package打包路径spark-yun/spark-yun-dist/build/distributions/zhiqingyun.tar.gz解压部署tar -vzxf zhiqingyun.tar.gzbash zhiqingyun/bin/start.sh访问项目▪ 访问地址: http://localhost:8080▪ 管理员账号:admin▪ 管理员密码:admin123
六、源码地址访问一飞开源:https://code.exmay.com/