- Dev - mailweb.openeuler.org

【Meeting Notice】Compiler SIG weekly meeting Time: 2020-10-13 10:00-11:00
by Meeting Book 12 Oct '20

12 Oct '20

1 0

Re: dev-utils SIG例会纪要（2020/10/12 11:00-11:30）
by Hushiyuan 12 Oct '20

12 Oct '20

【与会人】： myeuler，love_hangzhou，chendong1995，smileknife 【会议时间】：2020-10-12 11:00~11:30 【会议纪要】自研项目进展： pkgporter项目进展： rubyporter，nodejsporter，pkgporter, nodejsporter已经完成开发，计划集成到21.03版本软件包集成： • Lmgdb问题已经解决，正在进行更多的测试 --- love_hangzhou • stress-ng已经合入到20.09版本 • sig已经完成10个整改，还有10个包Source0规范性待整改 ---liqingqing_1229 自研项目规划及进展： 1、重构systemd，年底前完成架构调研和重构设计 --- love_hangzhou/overweight a) System重构，简单讨论过一个方案，将1号进程从systemd中拆出来，避免系统导致全系统panic b) 项目起一个名字，在社区发起讨论，直接在openEuler社区开发 2、设计并实现选型工具，提升大规模开源包选型效率 ---smileknife a) 选型工具已经在Advisor sig开发中，具体进展下次例会详细介绍遗留问题： 1． rubyporter，nodejsporter，pkgporter, nodejsporter需要在src-openEuler下建仓：责任人：chendong1995 2． trucker工具和安装Sig组对齐Trucker镜像开发工具，先规划支持哪些镜像，并进入开发责任人：openeuler-basic 参考：暑期2020 有个参与者，开发了针对各种公有云的工具，可以整合进来 3．nodejsporter工具已经开发完成，外部使用者提的问题已经解决，需要合入到21.03版本 -责任人：孙晨东 4．智能计算：软件包源码自动从上游社区升级工具已经开发完成，需要和开发者对齐现状，在dev-utils中尝试使用：责任人：love_hangzhou 下次会议时间及会议组织者： ethan848 10月27号 11:00-11:30 各位社区开发者可回复此邮件申请议题和给出建议。

1 0

openEuler 20.09 kernel release
by Xie XiuQi 10 Oct '20

10 Oct '20

很高兴 openEuler 20.09 kernel 如期而至，该版本包含众多特性，欢迎通过 openEuler 版本来体验。 openEuler-20.09 kernel tree 位于: git@gitee.com:openeuler/kernel.git openEuler-20.09 openEuler kernel 项目位于: https://gitee.com/openeuler/kernel openEuler 20.09 kernel 依然基于社区的 Linux 4.19 LTS 内核，在 openEuler 1.0 LTS 基础上往前演进(跟踪到 4.19.140)，在这大概6个月的时间内，合入并使能了多个特性, 下面从架构支持，驱动支持，以及内核特性支持等几个方面来进行介绍。 1 架构支持 1.1 支持海光CPU-Hygon Dhyana 海光的Peng Wu向openEuler贡献了Hygon CPU的支持补丁集，通过这个补丁集，新增了 Hygon CPU 的ACPI, cpufreq，perf，KVM，NTB以及Hygon CPU的识别等支持，通过这个补丁集，openEuler完整支持海光x86 CPU。 1.2 支持昇腾芯片包括CPU和AI CPU共享虚拟地址的SVM（shared virtual memory）特性，以及芯片的硬件支持。 1.3 支持鲲鹏PC平台鲲鹏PC CPU基于鲲鹏920,8核。20.09 版本内核加入了对PC的休眠支持（架构特性），以及I2C控制器等支持。 1.4 支持 ARM v8.x 特性 - ARMv8.0 CRC32 instructions - ARMv8.0-SB Control of speculation - Armv8.2 Cache clean to Point of Deep Persistence - ARMv8.2-TTCNP, Translation table Common not private translations - ARMv8.4-TLBI, TLB maintenance and TLB range instructions - Armv8.5-RNG, Random number generator - Armv8.5-BTI, Branch target identification - Armv8.5-E0PD, Preventing EL0 access to halves of address map - ARMv8.6 Data gathering hint - ARMv8.6 Matrix multiply extension 1.5 支持 risc-v 支持 risc-v kvm. (openEuler 20.09 通过 kernel 5.5 来支持 risc-v) kernel tree 位于： git@gitee.com:openeuler/kernel.git kernel-5.5 2. 新介质以及新驱动支持 2.1 ARM64支持 persistence memory ARMv8.2引入新的指令支持 persistent memory，鲲鹏920处理器完整支持该特性，通过打开内核的 ACPI NFIT以及libnvdimm的配置文件，就能在鲲鹏上完美支持NVDIMM介质内存。 2.2 1822 网卡驱动增强 - 1822网卡支持x86架构 - 1822网卡支持128队列 2.3 3408/3416 RAID卡规避 3408iMR/3416iMRraid卡在ARM64平台上（ARM64生态问题）使用存在问题，开启SMMU后，会存在不兼容，通过SMMU 设备bypass特性，规避不兼容问题。 2.4 Huawei iBMA 驱动 iBMA 驱动是一组 BMC 与带内系统通信的驱动，系统宕机时，能辅助保存宕机时的运行状态信息，帮助定位故障原因。 2.5 hns3: update hns3 version to 1.9.38.8 2.6 TIPC: enable TIPC module by default 3. 存储/IO特性支持 3.1 bcache稳定性提升 bcache Maintainer Coly回合了大量bcache的bugfix以及特性，大幅提升bcache稳定性和可用性 4. 性能优化特性 4.1 sched Task Steal 回合社区的Task Steal特性，通过提升CPU利用率，替身MySQL数据库mix场景的性能10%+； 4.2 REFCOUNT_FULL以及CMPXCHG_LOOP()优化通过atomic_fetch_*操作来降低cmpxchg()带来的性能开销，从而提升refcount机制性能，带来文件读写等场景的性能提升，在ARM64服务器上尤其明显，空文件读写的benchmark 20+提升。 4.3 Linux's vmalloc Seeing "Large Performance Benefits" 优化 vmalloc 性能，内核针对vmalloc区的查找做了优化，从O(N)到~O(log(N) 。 See: https://www.phoronix.com/scan.php?page=news_item&px=Linux-5.2-vmalloc-Perfo… 4.4 MPAM特性增强支持通过ACPI获取系统MPAM资源； 4.5 percpu refcount for pagecache pagecache的生命周期管理是通过refcount来管理的，在多核并发压力下，读取文件cache 的atomic操作成为瓶颈，因此引入percpu refcount mechanism来提升性能，针对nginx http测试，性能有1倍+的提升 4.6 ARM64 clear_page()性能优化通过‘stnp’代替'dc zva'指令，提升clear_page()的性能，在鲲鹏920上，针对hugetlb 测试，有53%的性能提升。 4.7 调度，优化关键进程的抢占时延，提升响应速度对 SCHED_IDLE 策略的优化，之前选核的时候只选择 idle 的CPU，现在是如果那个CPU 上运行的是 SCHED_IDLE 的进程，也可以选择到，由于运行SCHED_IDLE进程的CPU并不是 idle，没有唤醒时延，能提升响应速度。 5. 安全特性 5.1 支持AppArmor AppArmor相比Selinux使用起来简单，但之前版本未开启AppArmor支持。20.09版本支持 AppArmor，但默认的安全策略依然是Selinux，需要在启动参数传入security=apparmor使能 5.2 IMA摘要列表增强相比内核社区原生 IMA 机制，IMA 摘要列表扩展从安全性、性能、易用性三个方面进行了改良，助力完整性保护机制在生产场景下落地，并具有三大优势：极致安全原生 IMA 机制要求在现网环境下预先生成并标记文件扩展属性，访问文件时将文件扩展属性作为参考值，信任链不完整。摘要列表扩展将文件参考摘要值保存在内核空间中，构建阶段通过摘要列表的形式携带在发布的 rpm 包中，安装 rpm 包的同时导入摘要列表并执行验签，确保了参考值来自于软件发行商，实现了完整的信任链。惊艳的性能表现 IMA 度量场景下，摘要列表扩展在确保安全性的前提下，减少了不必要的 PCR 扩展操作，开启度量时性能损失小于 5%，相比原生 IMA 度量性能提升高达 50%。IMA 评估场景下，摘要列表扩展将签名验证统一移动到启动阶段进行，避免每次访问文件时都执行验签，相比原生 IMA 评估场景提升运行阶段文件访问的性能约 20%。快速部署，平滑升级原生 IMA 机制在初次部署或每次更新软件包时，需要切换到 ﬁx 模式手动标记文件扩展属性后再重启进入 enforce 模式，才能正常访问安装的程序。摘要列表扩展可实现安装完成后开箱即用，且允许直接在enforce 模式下安装或升级 rpm 包，无需重启和手动标记即可使用，实现了用户感知最小化，适合现网环境下快速批量部署。 6. 功耗特性 6.1 支持 CPU idle TEO governor TEO 是新引入的CPU调频算法，更适合 tickless 系统，可以为CPU选择更合适的节能状态。 7 调测特性 7.1 support livepatch without ftrace 8. 虚拟化特性 8.1 支持双层调度双层调度就是让Hypervisor的调度器感知到VM的VCPU上跑什么应用。让VM的调度器感知到 Hypervisor 层物理CPU压力。两层调度感知，整机达到最好的业务性能。 8.2 支持 PMU nmi watchdog 8.3 支持 SmartPolling （guest idle poll) ARM 平台上 cpu idle 支持 smart polling，用来提升性能。 8.4 支持 vmtop, 用于虚拟机性能指标监测 8.5 支持ARM架构PV qspinlock功能，提升vcpu的自旋锁等锁性能 --- openEuler Kernel SIG

1 0

Re: 【会议纪要】【Meeting Notice】openEuler sig-confidential-computing例会 Time: 2020-10-09 10:00-11:00
by chenmaodong 09 Oct '20

09 Oct '20

sig-confidential-computing 10月月度例会会议纪要：【与会人】：yanxiaobin,zhaimengdong,zhanglinhao,chenmaodong,zhuyanpeng,liwei,zhangbinghua,zulijun,yanlu 【会议纪要】：会议议题： 1、华为chenmaodong介绍了当前sig-confidential-computing兴趣组的组成架构以及sig组目标，同时针对secGear的层次以及社区路标进行了简单介绍 2、银联zulijun简单介绍了当前银联与华为小海思合作芯片的情况，同时提出sig组支持国密算法的建议 3、华为zhanglinhao针对当前华为itrustee os介绍了国密算法的发展现状，当前itrustee对SM2、SM3、SM4都已支持，上层secGear和linux-sgx的国密算法支持需要进一步审视下一步计划： 1、继续跟进itrustee针对华为小海思芯片支持情况 2、下次月度例会上通报当前sig-confidential-computing相关项目的社区上线进展 3、下次月度例会银联同学分享一下当前银联在机密计算领域的项目情况，寻找可以在社区共同合作交流的idea 4、梳理一下sig组当前对国密标准的支持情况 From: Meeting Book [mailto:uMeeting@huawei.com] Sent: Thursday, October 8, 2020 12:26 PM To: dev(a)openeuler.org Subject: [Dev] 【Meeting Notice】openEuler sig-confidential-computing例会 Time: 2020-10-09 10:00-11:00 Topic openEuler sig-confidential-computing例会 Time 2020-10-09 10:00-11:00((UTC+08:00)Beijing) Join Conference Join (External) >><https://welink-meeting.zoom.us/j/660897423> Meeting ID 660 897 423 Convener 高贵锦 Tips: Dial the access number to join conference<http://app.huawei.com/eshare/voiceMeetings> 注：仅支持部分国家和地区。( Only some countries and regions are supported.) 如果加入会议提示“会议已结束或会议号不存在”，请在官网下载最新版本入会。立即下载<https://zoom.us/download> If a message is displayed, indicating that the meeting has ended or the meeting ID does not exist, download the latest meeting client and try again.Download<https://zoom.us/download>

1 0

会议纪要///【Meeting Notice】A-Tune & wisdom sig meeting Time: 2020-10-09 10:00-12:00
by hanxinke 09 Oct '20

09 Oct '20

本次sig会议议程： 1、A-Tune在线时动态调优强化学习算法调研，汇报人：liuke 2、能耗调优相关内容介绍，汇报人：caihongda 与会人：A-Tune团队成员、蔡宏达、华南理工大学、中科院非常感谢liuke与caihongda做的精彩演讲，感谢与华南理工大学、中科院进行线上交流！会议纪要： liuke： 1、CDB-Tune数据库调优相关算法介绍，并与其它算法做了比较 caihongda： 1、介绍了CMOS集成电路的功耗情况，以及基于处理器能耗状态调整技术，基于任务调度的能耗管理技术、基于热感知的能耗管理技术 2、介绍了计算卸载功耗管理技术，该技术的关键点是节能收益要大于数据传输与链接的损耗 3、介绍了显示与计算交互的技术，通过降低显示刷新率与显示分辨率达到降低能耗的目的问题交流以及下一步计划： 1、鲲鹏920可以通过公开的工具（powertop、devstat、iostat）从硬件上获取cpu唤醒次数、磁盘唤醒次数、磁盘读写量等跟功耗相关的数据 2、openeuler可以通过numastat查询每个numa上面的内存占用情况 3、对cpu进行精确建模并且获取在一段时间中的整机功耗相对来说较为困难，电源芯片的功耗数据较难获取 4、A-Tune当前只能识别单应用，对于多应用服务器可以尝试通过离线时动态调优功能进行最优参数选取 5、A-Tune暂时还未集成功耗模块，预计在明年会探讨集成 6、wisdom执行策略没有成功与失败的回显，建议该模块能够提升用户体验 7、A-Tune与wisdom的关系，wisdom主要做调度优化，是A-Tune的一个子项目下次sig会议议程：（预计时间：2020-10-23 10:00-12:00）欢迎大家将想要了解的内容或者讨论的议题发送到a-tune(a)openeuler.xn--org!-nz2k235h 敬请期待发件人: hanxinke 发送时间: 2020年9月29日 15:47 主题: A-Tune & wisdom sig meeting Time: 2020-10-09 10:00-12:00 本次sig会议议程： 1、A-Tune在线时动态调优强化学习算法调研，汇报人：liuke 2、能耗调优相关内容介绍，汇报人：caihongda 会议链接：Join (External) >><https://welink-meeting.zoom.us/j/665037493> 敬请期待

1 0

【Meeting Notice】openEuler sig-confidential-computing例会 Time: 2020-10-09 10:00-11:00
by Meeting Book 08 Oct '20

08 Oct '20

1 0

openEuler 20.03-LTS Update 20200930 例行版本拟发布通知
by Hufeng (Solar, Euler) 30 Sep '20

30 Sep '20

版本目标：CVE和Bugfix修复本次发布：24源码包，414个二进制附件为本次解决cve清单（最终稿以发布为准）对所有升级包进行安装，升级，卸载测试，功能测试对内核和虚拟化做性能测试，申请发布。发布意见请才以下issue反馈，Developer也可以反馈意见，谢谢。 https://gitee.com/openeuler/release-management/issues/I1XAVM?from=project-i… 本地涉及的源码包清单 brltty-6.1-1.oe1.src.rpm glibc-2.28-45.oe1.src.rpm httpd-2.4.43-3.oe1.src.rpm kernel-4.19.90-2009.3.0.0045.oe1.src.rpm libiscsi-1.19.0-1.oe1.src.rpm libldb-2.0.12-1.oe1.src.rpm libreswan-3.25-8.oe1.src.rpm libselinux-3.1-1.oe1.src.rpm libxml2-2.9.10-8.oe1.src.rpm net-snmp-5.9-1.oe1.src.rpm nettle-3.6-1.oe1.src.rpm open-iscsi-2.1.1-2.oe1.src.rpm openssh-8.2p1-6.oe1.src.rpm openssl-1.1.1f-2.oe1.src.rpm osc-0.169.1-2.oe1.src.rpm perl-5.28.3-2.oe1.src.rpm postgresql-10.5-18.oe1.src.rpm python2-2.7.18-2.oe1.src.rpm python3-3.7.9-2.oe1.src.rpm qemu-4.1.0-20.oe1.src.rpm redis-4.0.11-10.oe1.src.rpm samba-4.11.12-2.oe1.src.rpm unbound-1.11.0-1.oe1.src.rpm wireshark-2.6.2-11.oe1.src.rpm

1 0

【Meeting Notice】openEuler sig-confidential-computing例会 Time: 2020-10-09 10:00-11:00
by Meeting Book 30 Sep '20

30 Sep '20

1 0

【Notice】openEuler 20.09版本发布决策会议一致同意openEuler 20.09版本的发布
by Jiangyumin (Jimmy) 29 Sep '20

29 Sep '20

Hi all openEuler 20.09创新版本经过QA团队多轮的α测试与β测试，版本质量已经达到社区发布出口标准，通过release-management sig组的一致决策:同意openEuler 20.09版本发布。 Release manager 成员发布决策意见江裕民[@yuming_jiang<https://gitee.com/yuming_jiang>] GO 管延杰 [@guanyanjie<https://gitee.com/guanyanjie>] GO 刘博 [@boliurise<https://gitee.com/boliurise>] GO 朱延朋 [@zyp-rock<https://gitee.com/zyp-rock>] GO 姜振华 [@Ronnie_Jiang<https://gitee.com/Ronnie_Jiang>] GO 胡峰 [@solarhu<https://gitee.com/solarhu>] GO 陈亚强[@chenyaqiang<https://gitee.com/chenyaqiang>] GO OpenEuler 20.09版本携带关键特性见下： * StratoVirt：安全、轻量、高性能、低损耗的，组件灵活拆分，面向全场景的通用化虚拟机运行时 * 采用Rust语言，支持seccomp，支持多租户隔离，提供可信安全运行环境 * 具备<50ms的启动性能，<4M的内存底噪，极致性能和轻量，适用端、边、云等多样场景 * X86 VT，鲲鹏Kunpeng-V等多体系硬件加速虚拟引擎支持 * ms级设备扩缩能力，为轻量化负载提供灵活的资源伸缩能力 * 设备模型可扩展，支持PCI等复杂设备规范，兼容Qemu软件生态 * 多种计算、网络，存储加速方案支持，异构算力灵活协同 * iSula：轻量级容器解决方案，统一IoT，边缘和云计算容器解决方案 * 优化启动和容器生命周期操作性能 * 容器镜像构建工具isula-build，提供了安全、快速的容器镜像构建能力 * 支持虚拟机安全启动和可信启动，增强虚拟机安全性 * 虚拟化特性增强 * 通过双层调度和Hypervisor感知VM调度，优化VM锁抢占，提升多核超分场景性能 * 通过Guest-Idle-Haltpoll机制优化IPI中断性能，提升数据库业务性能 * 针对ARM平台虚拟化特性，支持CPU/内存热插、支持KVM CPU可配置为custom模式，提高资源配置灵活性 * 运维工具VMTOP，支持虚拟机陷入陷出等性能指标快速采集 * PMU NMI watchdog特性使能hardlockup检测 * 内核特性增强 * IMA商用增强: 在开源IMA方案基础上，增强安全性、提升性能、提高易用性，助力商用落地 * NUMA Aware Qspinlock支持：减少锁竞争跨 NUMA 的 Cache 同步和乒乓，提升系统性能 * Ktask并行化支持：内核任务并行化框架，支持内核任务并行化运行 * MPAM资源管控: ARM64架构Cache QoS 以及内存带宽控制技术 * 内存系统锁优化：vmalloc分配大锁优化、Pagecache锁优化 * 编程语言和编译器 * JDK8增强：APPCDS特性和crc32硬加速指令支持 * GCC优化：循环优化、自动矢量化、全局优化 * 硬件和芯片使能 * Raspberry Pi支持：Raspberry系列板卡支持 * 桌面支持 * UKUI：麒麟操作系统的默认桌面环境，其布局、风格和使用习惯接近传统Windows * 智能运维 * A-Tune：智能系统性能优化引擎，推理出业务特征，配置最佳的系统参数集合，使业务处于最优运行状态

1 0

A-Tune & wisdom sig meeting Time: 2020-10-09 10:00-12:00
by hanxinke 29 Sep '20

29 Sep '20

本次sig会议议程： 1、A-Tune在线时动态调优强化学习算法调研，汇报人：liuke 2、能耗调优相关内容介绍，汇报人：caihongda 会议链接：Join (External) >><https://welink-meeting.zoom.us/j/665037493> 敬请期待

1 0