收到~已经收集到的议题:
1. mugen新增组合测试功能 – @张子杨
2. RISC-V架构下对23.03版本的补测进展同步与问题沟通 – @席静
From: 席静 [mailto:xijing@iscas.ac.cn] Sent: Tuesday, May 9, 2023 11:24 AM To: qa@openeuler.org Cc: 吴伟wuwei2016@iscas.ac.cn wuwei2016@iscas.ac.cn Subject: [Qa] QA SIG例会议题申报:RISC-V架构下对23.03版本的补测进展同步与问题沟通
Hi,范老师、张老师和QA SIG各位老师好,
今年RISC-V sig有计划考虑让RISC-V架构进入23.09版本,为了这一目标,我们最近参考QA文档《openEuler社区测试能力执行指南.mdhttps://gitee.com/openeuler/QA/blob/master/openEuler%E7%A4%BE%E5%8C%BA%E6%B5%8B%E8%AF%95%E8%83%BD%E5%8A%9B%E6%89%A7%E8%A1%8C%E6%8C%87%E5%8D%97/openEuler%E7%A4%BE%E5%8C%BA%E6%B5%8B%E8%AF%95%E8%83%BD%E5%8A%9B%E6%89%A7%E8%A1%8C%E6%8C%87%E5%8D%97.md 》进行了23.03版本的补测工作,目的是期望用QA sig的测试要求尽可能全面的摸底下riscv架构下各测试执行情况。
目前执行完成了mugen、LTP、基础性能测试、内核测试、长稳测试、编译器测试等(部分测试还在继续或者复测分析中),本次主要就已经执行完成的测试进行沟通和交流。 测试的结果目前集中汇总到了这里:可以查看 https://gitee.com/yunxiangluo/openeuler-riscv-2303-test/blob/master/BasicTes... 汇总信息
目前在测试过程中发现/遇到如下问题:
1. 部分测试缺少文档,或者文档不详,无法凭借文档完成对应测试
(1)DFX测试:缺乏文档描述 (2)10 编译器测试4个工具缺乏文档:代码仓库 & 使用说明
10.2 bstest
10.5 jotai
10.6 codedb
10.7 FPTEST (3)11 自编译测试 compile_mock 缺乏文档描述
2. 已经执行的测试,部分测试结果目前不知道如何判定是否通过,及通过判断标准(《openEuler测试基线.mdhttps://gitee.com/openeuler/QA/blob/master/openEuler%E6%B5%8B%E8%AF%95%E5%9F%BA%E7%BA%BF.md》文档中暂时没有给出【通过率】数值的定义,不知道是否有文档或者参考标准)。 主要针对:mugen 和 LTP测试
因此,对应有两个问题需要得到QA支持和帮助:
1. 测试结果分析和问题定位:
目前部分测试,已经完成了测试的执行和结果的采集,并初步对结果进行了整理和分析,但是还无法定位问题,判断问题严重性。在结果分析和问题定位方面也缺乏经验和对照数据对比,因此有如下述求:
(1)是否可以协助一起分析测试结果,给出测试是否通过的判断。对于不通过的内容,哪些问题是必须解决的 (2)是否可以提供一些x86和arm架构下的测试数据(测试日志),进行对比分析 (3)一些测试存在具体技术细节问题,是否有工具比较熟悉的老师可以请教或者咨询测试通过率合理性:
比如内核测试:trinity测试工具执行过程中报错,测试未完成;LTP一些错误的分析等;
2. 缺少文档和文档不全的,希望健全和完善文档到可执行程度。