Dev October 2020

dev@openeuler.org

31 participants
56 discussions

Start a nNew thread

【Meeting Notice】Compiler SIG weekly meeting Time: 2020-10-13 10:00-11:00
by Meeting Book 12 Oct '20

12 Oct '20

1 0

Re: dev-utils SIG例会纪要（2020/10/12 11:00-11:30）
by Hushiyuan 12 Oct '20

12 Oct '20

【与会人】： myeuler，love_hangzhou，chendong1995，smileknife 【会议时间】：2020-10-12 11:00~11:30 【会议纪要】自研项目进展： pkgporter项目进展： rubyporter，nodejsporter，pkgporter, nodejsporter已经完成开发，计划集成到21.03版本软件包集成： • Lmgdb问题已经解决，正在进行更多的测试 --- love_hangzhou • stress-ng已经合入到20.09版本 • sig已经完成10个整改，还有10个包Source0规范性待整改 ---liqingqing_1229 自研项目规划及进展： 1、重构systemd，年底前完成架构调研和重构设计 --- love_hangzhou/overweight a) System重构，简单讨论过一个方案，将1号进程从systemd中拆出来，避免系统导致全系统panic b) 项目起一个名字，在社区发起讨论，直接在openEuler社区开发 2、设计并实现选型工具，提升大规模开源包选型效率 ---smileknife a) 选型工具已经在Advisor sig开发中，具体进展下次例会详细介绍遗留问题： 1． rubyporter，nodejsporter，pkgporter, nodejsporter需要在src-openEuler下建仓：责任人：chendong1995 2． trucker工具和安装Sig组对齐Trucker镜像开发工具，先规划支持哪些镜像，并进入开发责任人：openeuler-basic 参考：暑期2020 有个参与者，开发了针对各种公有云的工具，可以整合进来 3．nodejsporter工具已经开发完成，外部使用者提的问题已经解决，需要合入到21.03版本 -责任人：孙晨东 4．智能计算：软件包源码自动从上游社区升级工具已经开发完成，需要和开发者对齐现状，在dev-utils中尝试使用：责任人：love_hangzhou 下次会议时间及会议组织者： ethan848 10月27号 11:00-11:30 各位社区开发者可回复此邮件申请议题和给出建议。

1 0

openEuler 20.09 kernel release
by Xie XiuQi 10 Oct '20

10 Oct '20

很高兴 openEuler 20.09 kernel 如期而至，该版本包含众多特性，欢迎通过 openEuler 版本来体验。 openEuler-20.09 kernel tree 位于: git@gitee.com:openeuler/kernel.git openEuler-20.09 openEuler kernel 项目位于: https://gitee.com/openeuler/kernel openEuler 20.09 kernel 依然基于社区的 Linux 4.19 LTS 内核，在 openEuler 1.0 LTS 基础上往前演进(跟踪到 4.19.140)，在这大概6个月的时间内，合入并使能了多个特性, 下面从架构支持，驱动支持，以及内核特性支持等几个方面来进行介绍。 1 架构支持 1.1 支持海光CPU-Hygon Dhyana 海光的Peng Wu向openEuler贡献了Hygon CPU的支持补丁集，通过这个补丁集，新增了 Hygon CPU 的ACPI, cpufreq，perf，KVM，NTB以及Hygon CPU的识别等支持，通过这个补丁集，openEuler完整支持海光x86 CPU。 1.2 支持昇腾芯片包括CPU和AI CPU共享虚拟地址的SVM（shared virtual memory）特性，以及芯片的硬件支持。 1.3 支持鲲鹏PC平台鲲鹏PC CPU基于鲲鹏920,8核。20.09 版本内核加入了对PC的休眠支持（架构特性），以及I2C控制器等支持。 1.4 支持 ARM v8.x 特性 - ARMv8.0 CRC32 instructions - ARMv8.0-SB Control of speculation - Armv8.2 Cache clean to Point of Deep Persistence - ARMv8.2-TTCNP, Translation table Common not private translations - ARMv8.4-TLBI, TLB maintenance and TLB range instructions - Armv8.5-RNG, Random number generator - Armv8.5-BTI, Branch target identification - Armv8.5-E0PD, Preventing EL0 access to halves of address map - ARMv8.6 Data gathering hint - ARMv8.6 Matrix multiply extension 1.5 支持 risc-v 支持 risc-v kvm. (openEuler 20.09 通过 kernel 5.5 来支持 risc-v) kernel tree 位于： git@gitee.com:openeuler/kernel.git kernel-5.5 2. 新介质以及新驱动支持 2.1 ARM64支持 persistence memory ARMv8.2引入新的指令支持 persistent memory，鲲鹏920处理器完整支持该特性，通过打开内核的 ACPI NFIT以及libnvdimm的配置文件，就能在鲲鹏上完美支持NVDIMM介质内存。 2.2 1822 网卡驱动增强 - 1822网卡支持x86架构 - 1822网卡支持128队列 2.3 3408/3416 RAID卡规避 3408iMR/3416iMRraid卡在ARM64平台上（ARM64生态问题）使用存在问题，开启SMMU后，会存在不兼容，通过SMMU 设备bypass特性，规避不兼容问题。 2.4 Huawei iBMA 驱动 iBMA 驱动是一组 BMC 与带内系统通信的驱动，系统宕机时，能辅助保存宕机时的运行状态信息，帮助定位故障原因。 2.5 hns3: update hns3 version to 1.9.38.8 2.6 TIPC: enable TIPC module by default 3. 存储/IO特性支持 3.1 bcache稳定性提升 bcache Maintainer Coly回合了大量bcache的bugfix以及特性，大幅提升bcache稳定性和可用性 4. 性能优化特性 4.1 sched Task Steal 回合社区的Task Steal特性，通过提升CPU利用率，替身MySQL数据库mix场景的性能10%+； 4.2 REFCOUNT_FULL以及CMPXCHG_LOOP()优化通过atomic_fetch_*操作来降低cmpxchg()带来的性能开销，从而提升refcount机制性能，带来文件读写等场景的性能提升，在ARM64服务器上尤其明显，空文件读写的benchmark 20+提升。 4.3 Linux's vmalloc Seeing "Large Performance Benefits" 优化 vmalloc 性能，内核针对vmalloc区的查找做了优化，从O(N)到~O(log(N) 。 See: https://www.phoronix.com/scan.php?page=news_item&px=Linux-5.2-vmalloc-Perfo… 4.4 MPAM特性增强支持通过ACPI获取系统MPAM资源； 4.5 percpu refcount for pagecache pagecache的生命周期管理是通过refcount来管理的，在多核并发压力下，读取文件cache 的atomic操作成为瓶颈，因此引入percpu refcount mechanism来提升性能，针对nginx http测试，性能有1倍+的提升 4.6 ARM64 clear_page()性能优化通过‘stnp’代替'dc zva'指令，提升clear_page()的性能，在鲲鹏920上，针对hugetlb 测试，有53%的性能提升。 4.7 调度，优化关键进程的抢占时延，提升响应速度对 SCHED_IDLE 策略的优化，之前选核的时候只选择 idle 的CPU，现在是如果那个CPU 上运行的是 SCHED_IDLE 的进程，也可以选择到，由于运行SCHED_IDLE进程的CPU并不是 idle，没有唤醒时延，能提升响应速度。 5. 安全特性 5.1 支持AppArmor AppArmor相比Selinux使用起来简单，但之前版本未开启AppArmor支持。20.09版本支持 AppArmor，但默认的安全策略依然是Selinux，需要在启动参数传入security=apparmor使能 5.2 IMA摘要列表增强相比内核社区原生 IMA 机制，IMA 摘要列表扩展从安全性、性能、易用性三个方面进行了改良，助力完整性保护机制在生产场景下落地，并具有三大优势：极致安全原生 IMA 机制要求在现网环境下预先生成并标记文件扩展属性，访问文件时将文件扩展属性作为参考值，信任链不完整。摘要列表扩展将文件参考摘要值保存在内核空间中，构建阶段通过摘要列表的形式携带在发布的 rpm 包中，安装 rpm 包的同时导入摘要列表并执行验签，确保了参考值来自于软件发行商，实现了完整的信任链。惊艳的性能表现 IMA 度量场景下，摘要列表扩展在确保安全性的前提下，减少了不必要的 PCR 扩展操作，开启度量时性能损失小于 5%，相比原生 IMA 度量性能提升高达 50%。IMA 评估场景下，摘要列表扩展将签名验证统一移动到启动阶段进行，避免每次访问文件时都执行验签，相比原生 IMA 评估场景提升运行阶段文件访问的性能约 20%。快速部署，平滑升级原生 IMA 机制在初次部署或每次更新软件包时，需要切换到 ﬁx 模式手动标记文件扩展属性后再重启进入 enforce 模式，才能正常访问安装的程序。摘要列表扩展可实现安装完成后开箱即用，且允许直接在enforce 模式下安装或升级 rpm 包，无需重启和手动标记即可使用，实现了用户感知最小化，适合现网环境下快速批量部署。 6. 功耗特性 6.1 支持 CPU idle TEO governor TEO 是新引入的CPU调频算法，更适合 tickless 系统，可以为CPU选择更合适的节能状态。 7 调测特性 7.1 support livepatch without ftrace 8. 虚拟化特性 8.1 支持双层调度双层调度就是让Hypervisor的调度器感知到VM的VCPU上跑什么应用。让VM的调度器感知到 Hypervisor 层物理CPU压力。两层调度感知，整机达到最好的业务性能。 8.2 支持 PMU nmi watchdog 8.3 支持 SmartPolling （guest idle poll) ARM 平台上 cpu idle 支持 smart polling，用来提升性能。 8.4 支持 vmtop, 用于虚拟机性能指标监测 8.5 支持ARM架构PV qspinlock功能，提升vcpu的自旋锁等锁性能 --- openEuler Kernel SIG

1 0

Re: 【会议纪要】【Meeting Notice】openEuler sig-confidential-computing例会 Time: 2020-10-09 10:00-11:00
by chenmaodong 09 Oct '20

09 Oct '20

sig-confidential-computing 10月月度例会会议纪要：【与会人】：yanxiaobin,zhaimengdong,zhanglinhao,chenmaodong,zhuyanpeng,liwei,zhangbinghua,zulijun,yanlu 【会议纪要】：会议议题： 1、华为chenmaodong介绍了当前sig-confidential-computing兴趣组的组成架构以及sig组目标，同时针对secGear的层次以及社区路标进行了简单介绍 2、银联zulijun简单介绍了当前银联与华为小海思合作芯片的情况，同时提出sig组支持国密算法的建议 3、华为zhanglinhao针对当前华为itrustee os介绍了国密算法的发展现状，当前itrustee对SM2、SM3、SM4都已支持，上层secGear和linux-sgx的国密算法支持需要进一步审视下一步计划： 1、继续跟进itrustee针对华为小海思芯片支持情况 2、下次月度例会上通报当前sig-confidential-computing相关项目的社区上线进展 3、下次月度例会银联同学分享一下当前银联在机密计算领域的项目情况，寻找可以在社区共同合作交流的idea 4、梳理一下sig组当前对国密标准的支持情况 From: Meeting Book [mailto:uMeeting@huawei.com] Sent: Thursday, October 8, 2020 12:26 PM To: dev(a)openeuler.org Subject: [Dev] 【Meeting Notice】openEuler sig-confidential-computing例会 Time: 2020-10-09 10:00-11:00 Topic openEuler sig-confidential-computing例会 Time 2020-10-09 10:00-11:00((UTC+08:00)Beijing) Join Conference Join (External) >><https://welink-meeting.zoom.us/j/660897423> Meeting ID 660 897 423 Convener 高贵锦 Tips: Dial the access number to join conference<http://app.huawei.com/eshare/voiceMeetings> 注：仅支持部分国家和地区。( Only some countries and regions are supported.) 如果加入会议提示“会议已结束或会议号不存在”，请在官网下载最新版本入会。立即下载<https://zoom.us/download> If a message is displayed, indicating that the meeting has ended or the meeting ID does not exist, download the latest meeting client and try again.Download<https://zoom.us/download>

1 0

会议纪要///【Meeting Notice】A-Tune & wisdom sig meeting Time: 2020-10-09 10:00-12:00
by hanxinke 09 Oct '20

09 Oct '20

本次sig会议议程： 1、A-Tune在线时动态调优强化学习算法调研，汇报人：liuke 2、能耗调优相关内容介绍，汇报人：caihongda 与会人：A-Tune团队成员、蔡宏达、华南理工大学、中科院非常感谢liuke与caihongda做的精彩演讲，感谢与华南理工大学、中科院进行线上交流！会议纪要： liuke： 1、CDB-Tune数据库调优相关算法介绍，并与其它算法做了比较 caihongda： 1、介绍了CMOS集成电路的功耗情况，以及基于处理器能耗状态调整技术，基于任务调度的能耗管理技术、基于热感知的能耗管理技术 2、介绍了计算卸载功耗管理技术，该技术的关键点是节能收益要大于数据传输与链接的损耗 3、介绍了显示与计算交互的技术，通过降低显示刷新率与显示分辨率达到降低能耗的目的问题交流以及下一步计划： 1、鲲鹏920可以通过公开的工具（powertop、devstat、iostat）从硬件上获取cpu唤醒次数、磁盘唤醒次数、磁盘读写量等跟功耗相关的数据 2、openeuler可以通过numastat查询每个numa上面的内存占用情况 3、对cpu进行精确建模并且获取在一段时间中的整机功耗相对来说较为困难，电源芯片的功耗数据较难获取 4、A-Tune当前只能识别单应用，对于多应用服务器可以尝试通过离线时动态调优功能进行最优参数选取 5、A-Tune暂时还未集成功耗模块，预计在明年会探讨集成 6、wisdom执行策略没有成功与失败的回显，建议该模块能够提升用户体验 7、A-Tune与wisdom的关系，wisdom主要做调度优化，是A-Tune的一个子项目下次sig会议议程：（预计时间：2020-10-23 10:00-12:00）欢迎大家将想要了解的内容或者讨论的议题发送到a-tune(a)openeuler.xn--org!-nz2k235h 敬请期待发件人: hanxinke 发送时间: 2020年9月29日 15:47 主题: A-Tune & wisdom sig meeting Time: 2020-10-09 10:00-12:00 本次sig会议议程： 1、A-Tune在线时动态调优强化学习算法调研，汇报人：liuke 2、能耗调优相关内容介绍，汇报人：caihongda 会议链接：Join (External) >><https://welink-meeting.zoom.us/j/665037493> 敬请期待

1 0

【Meeting Notice】openEuler sig-confidential-computing例会 Time: 2020-10-09 10:00-11:00
by Meeting Book 08 Oct '20

08 Oct '20

1 0

2024

2023

2022

2021

2020

2019

Dev October 2020