
与会人:sinever,杨昭,张浩,吴泽艺,杨建,罗立源,陈俊标 感谢大家的参与! 会议纪要: 1、 版本化配套:大数据组件比较多,为更好管理组件之间版本配套和需要重点维护的组件,可采用类似CDH或HDP大数据平台和Bigtop版本配套方式运作,可联合: 1)、同Linaro联合通过bigtop直接在openEuler社区中构建发布版本或Bigtop发布适配openEuler系统版本后以发布包方式在社区呈现。 责任人:杨建 2)联合国内大数据厂商,在openEuler社区发布其对应的大数据平台版本 责任人:sinever、Zhang Hao、杨昭 2、 独立sig方式运作:将sig-ai-bigdata拆分为sig-bigdata和sig-ai,大数据以独立的sig方式进行运作,AI由sig-mindspore承载。 责任人:sinever 3、 社区板块呈现内容和展示方式:为更好展示大数据sig工作内容和技术项目等情况,在社区中采用独立页面已目录方式呈现相关内容,初步sig目录展现内容: 1) 各组件版本 2) 社区创新项目 项目整体进展 进行中的项目 计划中的项目 已完成的项目 3) 移植和优化:以适配openEuler和ARM服务器移植和性能优化 组件移植指导 组件优化指导 4) 社区动态 5) Sig月报 6) Sig例会 7) 问题反馈 以上内容根据情况进行修改,初步确定在wiki中进行呈现,在sig主页面采用链接方式进行呈现 责任人:吴泽艺、杨建 4、 例会运作: 1) 定期收集议题,频率建议一个月一次,有议题可以灵活触发。 2) 讨论内容(例行议题:大数据洞察、项目进展。有别的议题提前申报) 责任人:吴泽艺 6、创新项目: 1) Vector API:在java中支持Vector API方式直接使用向量指令,以Spark MLlib优化为样例呈现应用中如何使用。 2) 动态调度(hadoop/hive):优化各个组件在磁盘上任务调度策略,实现均衡调度以提升磁盘的吞吐量达到性能提升。 在社区sig中先合入以上两个创新项目,但大数据创新项目随时间推移,各个组件都有可能会有相应项目,为了便于管理,只维护一个大数据组件的增强插件源码库和readme附带使用说明,先以上面两个项目进行尝试创建代码库。 责任人:吴泽艺、杨建
participants (1)
-
Yangjian (nt)