@unioah


kafka/pulsar是非常重要的大数据组件,在产学研界使用非常广泛,前面没有加入到首批是因为人力有限,现在既然你对这些很熟,欢迎将kafka/pulsar进入到openeuler。
后面有困难,及时交流。


在 2020-06-10 10:07:51,"403975152" <403975152@qq.com> 写道:

与会人:sinever,Hubble_Zhu, traffic_millions, njlzk, Anonymous_Z, zhaobo, zhengzhenyu, Hexiujun, wangxiyuan, Wangli, myeuler, Peanut_Huang, unioah

进展:
AI软件包:https://gitee.com/openeuler/community/blob/master/sig/sig-ai-bigdata/ai-software-capability.md
大数据软件包:https://gitee.com/openeuler/community/blob/master/sig/sig-ai-bigdata/bigdata-software-capability.md

整体计划:
规划在openEuler 20.09版本上线AI和大数据相关的重点软件包,聚焦如下软件包:
AI:tensorflow, pytorch
BigData:spark,mapreduce,hdfs,yarn,flink,hbase,hive,kafka

问题1: 大数据和AI软件包普遍都依赖很多java包,这些包我们都要打成rpm吗?
结论: 关注下其他操作系统上对这部分java包都是怎么归档的。
      如果他们都是打包的,那我们也打成rpm包归档,考虑将java包打包自动化
      如果他们的java包都很少,使用maven仓库。那么我们也使用maven仓库,但是免不了有打java包的场景,后面可以考虑使用工具把java包打包自动化

问题2: LTS版本的软件包对arm的兼容性不好,但比较稳定
       主线版本对arm的兼容性较好,但不稳定
结论:和上游社区保持联系,看看上游社区的roadmap,尽量把下一个最新的支持arm的LTS版本拿来构建。建议不要重新回合patch。
  openEuler 20.09是社区版本,建议使用上游主线分支来验证
  openEuler 20.03是LTS版本,建议根据LTS版本节奏来决定是否把包放到openEuler 20.03LTS版本上

rpm构建打包参考资料:https://rpm-packaging-guide.github.io/

下一步计划:
mapreduce,hdfs,yarn ——Hubble_zhu
hbase,hive ——traffic_millions
flink ——Anonymous_Z
spark ——sinever,Peanut_Huang
tensorflow ——sinever,njlzk
pytorch ——sinever,njlzk
kafka ——unioah

关注其他操作系统对java依赖包的归档方式,确定我们的方式 ——sinever
关注上游社区下一次发release版本的时间计划 ——all
前期进展及时更新到sig组文档中 ——all



朱恒博
Hubble Zhu
QQ:      403975152
TEL:     18565630552
E-mail: 403975152@qq.com
 


------------------ 原始邮件 ------------------
发件人: "朱恒博"<403975152@qq.com>;
发送时间: 2020年6月8日(星期一) 上午9:53
收件人: "dev"<dev@openeuler.org>;"tc"<tc@openeuler.org>;"sig-ai-bigdata"<sig-ai-bigdata@openeuler.org>;
主题: 【Meeting Notice】sig-ai-bigdata regular meeting Time: 2020-06-08 20:00-20:30



Topic
sig-ai-bigdata regular meeting
Time
2020-06-08 20:00-20:30((UTC+08:00)Beijing)
 
Join Conference
Join (External) >>
Meeting ID
556 377 019
 
Convener
朱恒博
 
Agenda
1. sig成员前期工作进展审视
2. 下一步工作计划和分工
 
Tips:
Dial the access number to join conference
注:仅支持部分国家和地区。( Only some countries and regions are supported.)
请点击会议链接按照提示下载Zoom客户端入会,并升级Zoom最新版本。
Please click the conference link and download the Zoom to join the conference, and upgrade to the latest version of Zoom.