1、大数据组件很多，而在欧拉社区Bigdata sig中目前还只有几个大数据组件，现在要增加大数据平台经常使用的如Spark、hive等一些组件 ----对于一些组件欢迎大家按照需要或者爱好增加。 如何增加，有没有相关的指导和操作流程？或者是否可先指导如增加Spark组件？

2、现在针对大数据核心组件如Spark、Hbase、Hive等组件进行优化，如何把优化代码合入到欧拉大数据 sig对应的组件中，体现欧拉社区大数据组件的竞争力 ----这些优化我觉得可以先列一下具体是什么优化，如针对哪个软件的什么架构的优化，有什么效果

主体的优化：针对架构或算法库等都有优化，如Spark MLlib库的一些算法，Kmeans优化后性能相对优化前可提升3倍+，PCA提升50%+等； 如Spark SQL实现架构优化，SQL1-99平均性能提升15%+，最高SQL可提升40%+；目前对于Hadoop、Spark、Hive、Hbase等常用组件都有优化。针对这些优化准备推送到欧拉社区，提升ARM和欧拉社区的竞争力；欧拉社区是否接受对架构或库的一些修改，对于这些优化如何进行合入？

发件人: 正心 [mailto:sinever@126.com] 发送时间: 2021年11月7日 23:43 收件人: Yangjian (nt) yangjian.yx@huawei.com 抄送: tc tc@openeuler.org; dev dev@openeuler.org; sig-ai-bigdata sig-ai-bigdata@openeuler.org; Wuzeyi (Iverson) wuzeyi1@huawei.com 主题: Re:[Sig-ai-bigdata] 欧拉社区AI-BigData sig中增加新的大数据组件和合入新优化代码问题

非常欢迎加入社区。 社区是开放的，也需要大家更多的参与进来不断完善。 1、大数据组件很多，而在欧拉社区Bigdata sig中目前还只有几个大数据组件，现在要增加大数据平台经常使用的如Spark、hive等一些组件 对于一些组件欢迎大家按照需要或者爱好增加。 2、现在针对大数据核心组件如Spark、Hbase、Hive等组件进行优化，如何把优化代码合入到欧拉大数据 sig对应的组件中，体现欧拉社区大数据组件的竞争力 这些优化我觉得可以先列一下具体是什么优化，如针对哪个软件的什么架构的优化，有什么效果。

在 2021-11-05 14:09:23，"Yangjian (nt)" <yangjian.yx@huawei.commailto:yangjian.yx@huawei.com> 写道： Hi ALL：

针对欧拉社区Bigdata sig中大数据组件两个问题：

1、大数据组件很多，而在欧拉社区Bigdata sig中目前还只有几个大数据组件，现在要增加大数据平台经常使用的如Spark、hive等一些组件

2、现在针对大数据核心组件如Spark、Hbase、Hive等组件进行优化，如何把优化代码合入到欧拉大数据 sig对应的组件中，体现欧拉社区大数据组件的竞争力

目前还是初步才了解欧拉社区，对欧拉社区的运作机制和管理要求还不是非常清楚，为了欧拉社区大数据 sig的生态和发展，后续也想参与到欧拉社区贡献。