与会人:sinever,Hubble_Zhu, traffic_millions, njlzk, Anonymous_Z, Liusheng, zhaobo, zhengzhenyu, Hexiujun, wangxiyuan, Wangli, zhangmiao
整体计划:
规划在openEuler 20.03LTS和openEuler20.09版本上线AI和大数据重点软件包,聚焦如下几个软件包发力
AI: tensorflow, pytorch
BigData: spark, mapreduce, yarn, hdfs, flink, hbase, hive
会上问题:
问题1: 验证各个软件包功能的策略?
结论: 仅测试基本功能。测试全部功能工作量大,一些扩展特性也不支持所有平台。
问题2:软件包的依赖包有问题如何处理?
举例:flink当前主线版本编译没问题,基本功能没问题。但在使用一些扩展功能的时候。发现依赖的netty有问题
当前解决方案:本地重新构建netty替换原有so。
结论:依据功能特点和修复难度来决策
如果是扩展功能,不解决
如果是基本功能,并且通过简单制作私有patch的方法可以解决,那就用私有patch解决
如果是基本功能,但是修复难度较大不好解决,那就先放一放。
下一步计划:
Hubble_Zhu:
1. 建议尽快验证大数据关键包在openEuler arm环境上的执行,编译
2. 负责MapReduce,hdfs,flink,hive,hbase上线
traffic_millions:
1. 建议尽快推动dlib代码上openEuler,尽快闭环
2. 建议自己使用一下dlib api
3. 负责spark上线
njlzk:
1. 负责pytorch上线
Anonymous_Z
1. 建议尽快验证jupyter基本功能在openEuler arm上运行,前期工作尽快闭环
2. 负责yarn上线
sinever:
1. 规划软件包版本的选型策略
2. 规划软件包的更新策略
3. 负责TensorFlow上线
Hubble Zhu
QQ: 403975152
TEL: 18565630552
E-mail: 403975152(a)qq.com
------------------ 原始邮件 ------------------
发件人: "朱恒博"<403975152(a)qq.com>gt;;
发送时间: 2020年5月28日(星期四) 上午9:43
收件人: "dev"<dev(a)openeuler.org>gt;;"tc"<tc(a)openeuler.org>gt;;"sig-ai-bigdata"<sig-ai-bigdata(a)openeuler.org>gt;;
主题: 【Meeting Notice】sig-ai-bigdata regular meeting Time: 2020-05-28 18:30-19:00
Topic
sig-ai-bigdata regular meeting
Time
2020-05-28 18:30-19:00((UTC+08:00)Beijing)
Join Conference
Join (External) >>
Meeting ID
424 821 546
Convener
Hubble_Zhu
Agenda
1. sig成员前期工作审视;
2. TC例会思想传达
3. 下一步工作计划和分工
Tips:
Dial the access number to join conference
注:仅支持部分国家和地区。( Only some countries and regions are supported.)
请点击会议链接按照提示下载Zoom客户端入会,并升级Zoom最新版本。
Please click the conference link and download the Zoom to join the conference, and upgrade to the latest version of Zoom.