
今年RISC-V sig有计划考虑让RISC-V架构进入23.09版本,为了这一目标,我们最近参考QA文档《openEuler社区测试能力执行指南.md 》进行了23.03版本的补测工作,目的是期望用QA sig的测试要求尽可能全面的摸底下riscv架构下各测试执行情况。
目前执行完成了mugen、LTP、基础性能测试、内核测试、长稳测试、编译器测试等(部分测试还在继续或者复测分析中),本次主要就已经执行完成的测试进行沟通和交流。
测试的结果目前集中汇总到了这里:可以查看 https://gitee.com/yunxiangluo/openeuler-riscv-2303-test/blob/master/BasicTest/res.md 汇总信息
目前在测试过程中发现/遇到如下问题:
1. 部分测试缺少文档,或者文档不详,无法凭借文档完成对应测试
(1)DFX测试:缺乏文档描述
(2)10 编译器测试4个工具缺乏文档:代码仓库 & 使用说明
10.2 bstest
10.5 jotai
10.6 codedb
10.7 FPTEST
(3)11 自编译测试 compile_mock 缺乏文档描述
2. 已经执行的测试,部分测试结果目前不知道如何判定是否通过,及通过判断标准(《openEuler测试基线.md》文档中暂时没有给出【通过率】数值的定义,不知道是否有文档或者参考标准)。
主要针对:mugen 和 LTP测试
因此,对应有两个问题需要得到QA支持和帮助:
1. 测试结果分析和问题定位:
目前部分测试,已经完成了测试的执行和结果的采集,并初步对结果进行了整理和分析,但是还无法定位问题,判断问题严重性。在结果分析和问题定位方面也缺乏经验和对照数据对比,因此有如下述求:
(1)是否可以协助一起分析测试结果,给出测试是否通过的判断。对于不通过的内容,哪些问题是必须解决的
(2)是否可以提供一些x86和arm架构下的测试数据(测试日志),进行对比分析
(3)一些测试存在具体技术细节问题,是否有工具比较熟悉的老师可以请教或者咨询测试通过率合理性:
比如内核测试:trinity测试工具执行过程中报错,测试未完成;LTP一些错误的分析等;

收到~已经收集到的议题:
1.
mugen新增组合测试功能
– @张子杨
2.
RISC-V架构下对23.03版本的补测进展同步与问题沟通
– @席静
From:
席静 [mailto:xijing@iscas.ac.cn]
Sent: Tuesday, May 9, 2023 11:24 AM
To: qa@openeuler.org
Cc: 吴伟wuwei2016@iscas.ac.cn <wuwei2016@iscas.ac.cn>
Subject: [Qa] QA SIG例会议题申报:RISC-V架构下对23.03版本的补测进展同步与问题沟通
Hi,范老师、张老师和QA SIG各位老师好,
今年RISC-V sig有计划考虑让RISC-V架构进入23.09版本,为了这一目标,我们最近参考QA文档《openEuler社区测试能力执行指南.md 》进行了23.03版本的补测工作,目的是期望用QA
sig的测试要求尽可能全面的摸底下riscv架构下各测试执行情况。
目前执行完成了mugen、LTP、基础性能测试、内核测试、长稳测试、编译器测试等(部分测试还在继续或者复测分析中),本次主要就已经执行完成的测试进行沟通和交流。
测试的结果目前集中汇总到了这里:可以查看 https://gitee.com/yunxiangluo/openeuler-riscv-2303-test/blob/master/BasicTest/res.md 汇总信息
目前在测试过程中发现/遇到如下问题:
1. 部分测试缺少文档,或者文档不详,无法凭借文档完成对应测试
(1)DFX测试:缺乏文档描述
(2)10 编译器测试4个工具缺乏文档:代码仓库 &
使用说明
10.2 bstest
10.5 jotai
10.6 codedb
10.7 FPTEST
(3)11
自编译测试 compile_mock 缺乏文档描述
2.
已经执行的测试,部分测试结果目前不知道如何判定是否通过,及通过判断标准(《openEuler测试基线.md》文档中暂时没有给出【通过率】数值的定义,不知道是否有文档或者参考标准)。
主要针对:mugen 和 LTP测试
因此,对应有两个问题需要得到QA支持和帮助:
1. 测试结果分析和问题定位:
目前部分测试,已经完成了测试的执行和结果的采集,并初步对结果进行了整理和分析,但是还无法定位问题,判断问题严重性。在结果分析和问题定位方面也缺乏经验和对照数据对比,因此有如下述求:
(1)是否可以协助一起分析测试结果,给出测试是否通过的判断。对于不通过的内容,哪些问题是必须解决的
(2)是否可以提供一些x86和arm架构下的测试数据(测试日志),进行对比分析
(3)一些测试存在具体技术细节问题,是否有工具比较熟悉的老师可以请教或者咨询测试通过率合理性:
比如内核测试:trinity测试工具执行过程中报错,测试未完成;LTP一些错误的分析等;
2. 缺少文档和文档不全的,希望健全和完善文档到可执行程度。
participants (2)
-
Fanjiachen(Jiachen,openEuler)
-
席静