@unioah
kafka/pulsar是非常重要的大数据组件,在产学研界使用非常广泛,前面没有加入到首批是因为人力有限,现在既然你对这些很熟,欢迎将kafka/pulsar进入到openeuler。 后面有困难,及时交流。
在 2020-06-10 10:07:51,"403975152" 403975152@qq.com 写道:
与会人:sinever,Hubble_Zhu, traffic_millions, njlzk, Anonymous_Z, zhaobo, zhengzhenyu, Hexiujun, wangxiyuan, Wangli, myeuler, Peanut_Huang, unioah
进展: AI软件包:https://gitee.com/openeuler/community/blob/master/sig/sig-ai-bigdata/ai-soft... 大数据软件包:https://gitee.com/openeuler/community/blob/master/sig/sig-ai-bigdata/bigdata...
整体计划: 规划在openEuler 20.09版本上线AI和大数据相关的重点软件包,聚焦如下软件包: AI:tensorflow, pytorch BigData:spark,mapreduce,hdfs,yarn,flink,hbase,hive,kafka
问题1: 大数据和AI软件包普遍都依赖很多java包,这些包我们都要打成rpm吗? 结论: 关注下其他操作系统上对这部分java包都是怎么归档的。 如果他们都是打包的,那我们也打成rpm包归档,考虑将java包打包自动化 如果他们的java包都很少,使用maven仓库。那么我们也使用maven仓库,但是免不了有打java包的场景,后面可以考虑使用工具把java包打包自动化
问题2: LTS版本的软件包对arm的兼容性不好,但比较稳定 主线版本对arm的兼容性较好,但不稳定 结论:和上游社区保持联系,看看上游社区的roadmap,尽量把下一个最新的支持arm的LTS版本拿来构建。建议不要重新回合patch。 openEuler 20.09是社区版本,建议使用上游主线分支来验证 openEuler 20.03是LTS版本,建议根据LTS版本节奏来决定是否把包放到openEuler 20.03LTS版本上
rpm构建打包参考资料:https://rpm-packaging-guide.github.io/
下一步计划: mapreduce,hdfs,yarn ——Hubble_zhu hbase,hive ——traffic_millions flink ——Anonymous_Z spark ——sinever,Peanut_Huang tensorflow ——sinever,njlzk pytorch ——sinever,njlzk kafka ——unioah
关注其他操作系统对java依赖包的归档方式,确定我们的方式 ——sinever 关注上游社区下一次发release版本的时间计划 ——all 前期进展及时更新到sig组文档中 ——all
朱恒博 Hubble Zhu QQ: 403975152 TEL: 18565630552 E-mail: 403975152@qq.com
------------------ 原始邮件 ------------------ 发件人: "朱恒博"403975152@qq.com; 发送时间: 2020年6月8日(星期一) 上午9:53 收件人: "dev"dev@openeuler.org;"tc"tc@openeuler.org;"sig-ai-bigdata"sig-ai-bigdata@openeuler.org; 主题: 【Meeting Notice】sig-ai-bigdata regular meeting Time: 2020-06-08 20:00-20:30
| | Topic | | sig-ai-bigdata regular meeting | | Time | | 2020-06-08 20:00-20:30((UTC+08:00)Beijing) | | | | Join Conference | | Join (External) >> | | Meeting ID | | 556 377 019 | | | | Convener | | 朱恒博 | | | | Agenda | | 1. sig成员前期工作进展审视 2. 下一步工作计划和分工 | | | | Tips: | | Dial the access number to join conference | | 注:仅支持部分国家和地区。( Only some countries and regions are supported.) | | 请点击会议链接按照提示下载Zoom客户端入会,并升级Zoom最新版本。 | | Please click the conference link and download the Zoom to join the conference, and upgrade to the latest version of Zoom. | |