与会人:sinever,杨昭,张浩,吴泽艺,杨建,罗立源,陈俊标 感谢大家的参与!
会议纪要:
1、 版本化配套:大数据组件比较多,为更好管理组件之间版本配套和需要重点维护的组件,可采用类似CDH或HDP大数据平台和Bigtop版本配套方式运作,可联合:
1)、同Linaro联合通过bigtop直接在openEuler社区中构建发布版本或Bigtop发布适配openEuler系统版本后以发布包方式在社区呈现。
责任人:杨建
2)联合国内大数据厂商,在openEuler社区发布其对应的大数据平台版本
责任人:sinever、Zhang Hao、杨昭
2、 独立sig方式运作:将sig-ai-bigdata拆分为sig-bigdata和sig-ai,大数据以独立的sig方式进行运作,AI由sig-mindspore承载。
责任人:sinever
3、 社区板块呈现内容和展示方式:为更好展示大数据sig工作内容和技术项目等情况,在社区中采用独立页面已目录方式呈现相关内容,初步sig目录展现内容:
1) 各组件版本
2) 社区创新项目
项目整体进展
进行中的项目
计划中的项目
已完成的项目
3) 移植和优化:以适配openEuler和ARM服务器移植和性能优化
组件移植指导
组件优化指导
4) 社区动态
5) Sig月报
6) Sig例会
7) 问题反馈
以上内容根据情况进行修改,初步确定在wiki中进行呈现,在sig主页面采用链接方式进行呈现
责任人:吴泽艺、杨建
4、 例会运作:
1) 定期收集议题,频率建议一个月一次,有议题可以灵活触发。
2) 讨论内容(例行议题:大数据洞察、项目进展。有别的议题提前申报)
责任人:吴泽艺
6、创新项目:
1) Vector API:在java中支持Vector API方式直接使用向量指令,以Spark MLlib优化为样例呈现应用中如何使用。
2) 动态调度(hadoop/hive):优化各个组件在磁盘上任务调度策略,实现均衡调度以提升磁盘的吞吐量达到性能提升。
在社区sig中先合入以上两个创新项目,但大数据创新项目随时间推移,各个组件都有可能会有相应项目,为了便于管理,只维护一个大数据组件的增强插件源码库和readme附带使用说明,先以上面两个项目进行尝试创建代码库。
责任人:吴泽艺、杨建