- A-tune - mailweb.openeuler.org

会议纪要//答复: A-Tune sig meeting Time: 2021-01-08 10:00-12:00
by hanxinke 09 Jan '21

09 Jan '21

本次sig会议议程： 1、A-Tune 年度实践成果回顾以及未来演进路线探讨，汇报人：hanxinke 2、Wisdom 调度亲和性与映射技术介绍，汇报人：chenmingmin 与会人：A-Tune sig组成员感谢与各位的线上交流！会议纪要： hanxinke： 1、A-Tune 年度新特性与实践成果汇报，总结了A-Tune在过去一年中的开发成果 2、A-Tune 未来技术演进路线探讨，介绍了A-Tune后期的技术规划 3、对社区的现有issue进行了归纳总结 chenmingmin： 1、介绍了线程间亲和性、Numa内存亲和性、网络亲和性定义 2、讲解了4种探测方法以及对应的映射算法原理，并做了举例说明 3、介绍了Linux进程调度器性能的基准测试程序hackbench以及对调优效果进行了演示问题交流以及下一步计划： 1、A-Tune后期会对在线动态调优场景进行研究，在线动态调优是对在线业务场景进行参数的迭代调优 2、Wisdom后期还会增加更多的探测手段（例如ebpf等）以及将映射算法（针对线程间有大量通信的场景）落地wisdom中 3、亲和性与内存带宽的影响在不同的硬件环境中的重要性占比会有所不同，需要具体环境具体分析 4、Wisdom是一个用户态软件，当前未集成到内核中，需要用户执行使用下次sig会议议程：（预计时间：2020-1-22 10:00-12:00）欢迎大家将想要了解的内容或者讨论的议题发送到a-tune(a)openeuler.xn--org-l86ho90g<mailto:欢迎大家将想要了解的内容或者讨论的议题发送到a-tune@openeuler.org邮箱>！敬请期待发件人: hanxinke 发送时间: 2021年1月6日 17:05 收件人: 'a-tune' <a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>>; 'dev(a)openeuler.org' <dev(a)openeuler.org<mailto:dev@openeuler.org>>; 'houzhx(a)nwpu.edu.cn' <houzhx(a)nwpu.edu.cn<mailto:houzhx@nwpu.edu.cn>>; 'zhangmiao(a)iscas.ac.cn' <zhangmiao(a)iscas.ac.cn<mailto:zhangmiao@iscas.ac.cn>>; 'xujj(a)suda.edu.cn' <xujj(a)suda.edu.cn<mailto:xujj@suda.edu.cn>>; '20研李俊祺' <2506534280(a)qq.com<mailto:2506534280@qq.com>>; 'ada_zhao(a)njust.edu.cn' <ada_zhao(a)njust.edu.cn<mailto:ada_zhao@njust.edu.cn>>; 'jiangxianliang(a)nbu.edu.cn' <jiangxianliang(a)nbu.edu.cn<mailto:jiangxianliang@nbu.edu.cn>>; 'xiaochu.chen(a)suwell.cn' <xiaochu.chen(a)suwell.cn<mailto:xiaochu.chen@suwell.cn>>; '417665825(a)qq.com' <417665825(a)qq.com<mailto:417665825@qq.com>>; '1152071778(a)qq.com' <1152071778(a)qq.com<mailto:1152071778@qq.com>>; 'tanghaixu333(a)163.com' <tanghaixu333(a)163.com<mailto:tanghaixu333@163.com>>; '154601041(a)csu.edu.cn' <154601041(a)csu.edu.cn<mailto:154601041@csu.edu.cn>>; 'liaowei(a)kylinos.com.cn' <liaowei(a)kylinos.com.cn<mailto:liaowei@kylinos.com.cn>>; 'shiyong(a)kylinos.com.cn' <shiyong(a)kylinos.com.cn<mailto:shiyong@kylinos.com.cn>>; 'sunlijie(a)kylinos.com.cn' <sunlijie(a)kylinos.com.cn<mailto:sunlijie@kylinos.com.cn>>; 'daihongjian666(a)163.com' <daihongjian666(a)163.com<mailto:daihongjian666@163.com>>; 'huangchenlin76(a)gmail.com' <huangchenlin76(a)gmail.com<mailto:huangchenlin76@gmail.com>>; 'whoconli' <conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>> 抄送: Fanwentao (Henry) <fanwentao(a)huawei.com<mailto:fanwentao@huawei.com>> 主题: A-Tune sig meeting Time: 2021-01-08 10:00-12:00 您好！ openEuler A-Tune SIG 邀请您参加 2021-01-08 10:00 召开的ZOOM会议会议主题：A-Tune sig meeting 会议内容：本次sig会议议程： 1、A-Tune 年度实践回顾以及未来演进路线探讨，汇报人：hanxinke 2、Wisdom 调度亲和性与映射技术介绍，汇报人：chenmingmin 会议链接：https://zoom.us/j/96267522920?pwd=NHUxbkM4OVZlY05LM2JONW9TL1VDQT09 更多资讯尽在：https://openeuler.org/zh/ Hello! openEuler A-Tune SIG invites you to attend the ZOOM conference will be held at 2021-01-08 10:00, The subject of the conference is A-Tune sig meeting, There are two topics for the conference. 1、A-Tune Annual Practice Review and Future Evolution Direction Discussion 2、Introduction to Wisdom Scheduling Affinity and Mapping Technologies You can join the meeting at https://zoom.us/j/96267522920?pwd=NHUxbkM4OVZlY05LM2JONW9TL1VDQT09. More information<https://openeuler.org/zh/>

1 0

转发: 西工大与A-Tune交流会 Time: 2021-01-06 15:00-17:00
by Meeting_Book 06 Jan '21

06 Jan '21

与会人员：西北工业大学，A-Tune sig组成员会议纪要： 1、详细介绍了A-Tune底层数据采集和系统配置模块的实现原理 2、梳理了每一个采集模块和配置模块的具体功能以及实现命令 3、讲解了着手移植A-Tune到其他OS环境的方法以及注意事项 4、介绍了后期在采集工具扩展与调节对象扩展方面的演进路线遗留问题：下期介绍下A-Tune在HPC场景下的具体实践 -----原始约会----- 发件人: Meeting_Book 发送时间: 2021年1月5日 17:36 收件人: Meeting_Book; hanxinke 主题: 西工大与A-Tune交流会 Time: 2021-01-06 15:00-17:00 时间: 2021年1月6日星期三 15:00-17:00(UTC+08:00) 北京，重庆，香港特别行政区，乌鲁木齐。地点: 重要性: 高 Topic [WeLink Meeting] 西工大与A-Tune交流会 Time 2021-01-06 15:00-17:00 ((UTC+08:00)Beijing) Join Conference Join (Host) >><http://imeeting.huawei.com/meeting/startzoom?id=8c8b803c759dc0a00176d1e737e…> Join (Internal) >><http://imeeting.huawei.com/meeting/joinzoom?id=747821220&app=welink> Join (External) >><https://welink-meeting.zoom.us/j/747821220> Meeting ID 747 821 220 Convener 韩欣科 (h00369819) External (2) houzhx(a)nwpu.edu.cn<mailto:houzhx@nwpu.edu.cn>, hanxinke(a)126.com<mailto:hanxinke@126.com>

1 0

A-Tune sig meeting Time: 2021-01-08 10:00-12:00
by hanxinke 06 Jan '21

06 Jan '21

您好！ openEuler A-Tune SIG 邀请您参加 2021-01-08 10:00 召开的ZOOM会议会议主题：A-Tune sig meeting 会议内容：本次sig会议议程： 1、A-Tune 年度实践回顾以及未来演进路线探讨，汇报人：hanxinke 2、Wisdom 调度亲和性与映射技术介绍，汇报人：chenmingmin 会议链接：https://zoom.us/j/96267522920?pwd=NHUxbkM4OVZlY05LM2JONW9TL1VDQT09 更多资讯尽在：https://openeuler.org/zh/ Hello! openEuler A-Tune SIG invites you to attend the ZOOM conference will be held at 2021-01-08 10:00, The subject of the conference is A-Tune sig meeting, There are two topics for the conference. 1、A-Tune Annual Practice Review and Future Evolution Direction Discussion 2、Introduction to Wisdom Scheduling Affinity and Mapping Technologies You can join the meeting at https://zoom.us/j/96267522920?pwd=NHUxbkM4OVZlY05LM2JONW9TL1VDQT09. More information<https://openeuler.org/zh/>

1 0

为什么你一定要参加 openEuler Summit 的 TC、Maintainer、SIG 组工作会议
by public openEuler 16 Dec '20

16 Dec '20

嗨，各位 openEuler 社区的开发者：很高兴能够向你们汇报 openEuler Summit 的会议进度。对于各位来说，本周最重要的事情是 TC、Maintainer和SIG 组开放工作会议的议程已经上线了。 *为什么你一定要参与 TC、Maintainer、SIG组开放工作会议？* 1. 你可以清楚的了解 openEuler 社区的运作模式 2. 你可以和 TC、Maintainer、SIG 的成员共同探讨openEuler 社区的下一个版本的计划和技术路线 3. 可以跟社区里的技术大佬进行面对面交流。 4. 更好的规划自己在社区中的成长路线 *会议时间和房间号：* TC 开放工作会议 Maintainer 开放工作会议 SIG 组开放工作会议时间 12/24 13:00-14:30 12/24 15:00-17:00 12/25 13:00-15:30 房间号悦府6和悦府7 悦府6和悦府7 大宴会厅B *TC **开放工作会议议程：* 1. 讨论 openEuler 支持 App Stream 机制 2. 申请成立智能运维 SIG 3. 讨论从 Gitee issue 整体切换到bugzilla 4. 讨论2021年 TC 合作的开展方式 5. …… *Maintainer **开放工作会议议程* 1. 开场 & 颁发 Maintainer 纪念徽章 2. openEuler 社区运作分析 3. 我在 openEuler 社区担任 Maintainer 的那些事儿 4. 自由问答 5. 总结 *参与本次 SIG 组开放工作会议的 SIG 组：* 1. sig-DDE 2. sig-UKUI 3. sig-Ha 4. sig-arrch32 5. A-Tune 6. iSulad & Container 7. sig-ai-bitdata 8. sig-security-facility 9. sig-confidential-computing 10. Compiler 11. Doc 12. Infrastructure 13. security-committee 14. sig-Compatibility-Infra 15. sig-QA 16. sig-release-management 17. Kernel 18. Virt *openEuler Summit **专属伴手礼：* [image: image.png] *openEuler **卫衣* [image: image.png] *openEuler Maintainer **纪念徽章* *欢迎通过openEuler 社区开发者专属的报名渠道报名：* https://etherpad.openeuler.org/p/openEuler-Summit-2020 openEuler Summit 官网： https://openeuler.org/zh/interaction/summit-list/

1 0

openEuler Summit 报名渠道开启，我们为社区内的开发者准备了很多专属环节
by public openEuler 07 Dec '20

07 Dec '20

各位社区内的开发者： openEuler Summit 所有议程 <https://openeuler.org/zh/interaction/summit-list/> 本周已经全部上线。本次峰会设置了 Linux 操作系统、云与云原生、虚拟化、基础软件、开源基础设施、安全与可信六大专场。一些通过 Call for Speaker 提交的议题已经入选。欢迎大家快来围观有没有你感兴趣的议题。 [image: image.png] 针对社区的开发者，我们准备了很多专属环节： 1. 大会为社区开发者准备了专属报名通道，在现场有专属的签到通道和定制的伴手礼。 2. 大会为Maintainer 准备了一份十分具有荣誉感和纪念意义的徽章。大会现场还准备了惊喜环节：大会主题演讲时会通过报名时你填写的 Gitee ID 和Gitee 后台的数据演示一个非常炫酷的Live Demo。我们诚挚地邀请社区开发者到现场参会。社区开发者专属报名通道：https://etherpad.openeuler.org/p/openEuler-Summit-2020 P.S：通过该链接报名的人员可以参加 Day1和 Day2 两天会议。 openEuler 也将迎来自己的一周岁生日，社区准备了一个“我为 openEuler 代言”的百人视频合集，诚挚地邀请所有热爱openEuler 的人来拍摄一段视频，来纪念openEuler这朝气蓬勃的第一年。 “我为 openEuler 代言”的视频拍摄需求：自拍形式，对着镜头回答以下问题： 1. 我想要的操作系统是****的， 2. 我在**时候参与/认识/加入/知道的openEuler（社区） 3. 我在openEuler贡献了**** 4. 我是***，我为openEuler代言使用场景：您拍摄的视频素材将用于 openEuler Summit 2020 前期的会议宣传和开场视频中。拍摄指导： 1. 背景任您喜欢 2. 人物面对镜头，位于画面中央，取半身构图，横向拍摄16:9 的画面比例 3. 最好选择白炽灯，白色光源 4. 尽量由另一个人辅助，用手机后置摄像头拍摄，不要用前置，拍摄前擦拭摄像头 5. 读口播时，声音越大越好 6. 尽量保证每一句话都是完整通顺的，中间重来的部分可以忽略 7. 视频输出，用电脑将手机视频导出，打压缩包传输即可（不要用微信上传，会压缩画质） 8. 拍摄完毕后请将视频上传到百度网盘，将分享链接期限设置为永久，然后发给 public(a)openeuler.io 9. 视频收集截止日期：2020年12月11日23:59分

1 0

会议纪要///答复: A-Tune & wisdom sig meeting Time: 2020-12-04 10:00-12:00
by hanxinke 05 Dec '20

05 Dec '20

本次sig会议议程： 1、强化学习算法调研与分享，汇报人：songmingcong 2、新增调优示例方法介绍，汇报人：hanxinke 与会人：A-Tune sig组成员感谢与各位的线上交流！会议纪要： songmingcong： 1、强化学习算法基础知识讲解，例如对agent、policy、reward的一些概念讲解 2、介绍了三种RL agent类型：基于价值的agent、基于策略的agent、基于两者结合的actor-critic agent 3、着重介绍了DQN、DDPG算法的原理 4、介绍了强化学习在实际场景中的使用示例：CDBTune数据库调优、FIRM微服务资源管理框架 hanxinke： 1、介绍了离线调优过程中如何新建一个调优示例以及代码存放路径：A-Tune/examples/tuning 2、介绍了基于离线调优过程中server yaml配置文件的编写规范以及文件存放路径：A-Tune/tuning/yamls 3、从代码层面讲解了离线调优的整个原理和过程，并对重要参数选择的实现做了介绍问题交流以及下一步计划： 1、强化学习中对状态state以及执行动作action的选择非常重要，如何选择是当前利用强化学习算法调优过程中遇到的一个难题 2、内核升级不会影响到A-Tune整体框架的运行，但若内核代码修改了某些os配置信息，例如删除了某个配置，此时A-Tune的参数配置模块可能要进行适配 3、A-Tune当前在虚拟机、物理机上面都能运行，容器环境暂未支持，已经安排计划准备支持 4、A-Tune在centos、redhat上面的支持经过初步验证，一些python子包可以使用pip命令下载，感兴趣的社区开发者也可以参与到其他操作系统的适配工作中 5、华南理工大学介绍了新的参数选择方法，sig组对该算法的实现做了探讨下次sig会议议程：（预计时间：2020-12-18 10:00-12:00）欢迎大家将想要了解的内容或者讨论的议题发送到a-tune(a)openeuler.xn--org-l86ho90g<mailto:欢迎大家将想要了解的内容或者讨论的议题发送到a-tune@openeuler.org邮箱>！敬请期待发件人: hanxinke 发送时间: 2020年12月2日 16:25 收件人: 'a-tune' <a-tune(a)openeuler.org>; 'dev(a)openeuler.org' <dev(a)openeuler.org>; 'houzhx(a)nwpu.edu.cn' <houzhx(a)nwpu.edu.cn>; 'zhangmiao(a)iscas.ac.cn' <zhangmiao(a)iscas.ac.cn>; 'xujj(a)suda.edu.cn' <xujj(a)suda.edu.cn>; '20研李俊祺' <2506534280(a)qq.com>; 'ada_zhao(a)njust.edu.cn' <ada_zhao(a)njust.edu.cn>; 'jiangxianliang(a)nbu.edu.cn' <jiangxianliang(a)nbu.edu.cn>; 'xiaochu.chen(a)suwell.cn' <xiaochu.chen(a)suwell.cn>; '417665825(a)qq.com' <417665825(a)qq.com>; '1152071778(a)qq.com' <1152071778(a)qq.com>; 'tanghaixu333(a)163.com' <tanghaixu333(a)163.com>; '154601041(a)csu.edu.cn' <154601041(a)csu.edu.cn>; 'liaowei(a)kylinos.com.cn' <liaowei(a)kylinos.com.cn>; 'shiyong(a)kylinos.com.cn' <shiyong(a)kylinos.com.cn>; 'sunlijie(a)kylinos.com.cn' <sunlijie(a)kylinos.com.cn>; 'daihongjian666(a)163.com' <daihongjian666(a)163.com>; 'huangchenlin76(a)gmail.com' <huangchenlin76(a)gmail.com> 主题: A-Tune & wisdom sig meeting Time: 2020-12-04 10:00-12:00 您好！ openEuler A-Tune SIG 邀请您参加 2020-12-04 10:00 召开的ZOOM会议会议主题：A-Tune & wisdom sig meeting 会议内容：本次sig会议议程： 1、强化学习算法调研与分享，汇报人：songmingcong 2、新增调优示例方法介绍，汇报人：hanxinke 会议链接：https://zoom.us/j/92930493562?pwd=dEE4bnRBRDZKbVhwVDk2Zm5PdFVBQT09 欢迎大家提交议题~ Hello! openEuler A-Tune SIG invites you to attend the ZOOM conference will be held at 2020-12-04 10:00, The subject of the conference is A-Tune & wisdom sig meeting, There are two topics for the conference. 1. Reinforcement learning algorithm survey and sharing 2. Describe how to add optimization examples. You can join the meeting at https://zoom.us/j/92930493562?pwd=dEE4bnRBRDZKbVhwVDk2Zm5PdFVBQT09. Welcome to submit your topics. Thanks.

1 0

答复: 回复：答复: 关于A-tune的tuning功能源码一些疑问
by hanxinke 02 Dec '20

02 Dec '20

您好，在server.yaml文件中是否增加默认值，例如： [cid:image013.png@01D6C8D0.3EB9B900] 发件人: whoconli [mailto:conli_who@foxmail.com] 发送时间: 2020年12月2日 16:48 收件人: hanxinke <hanxinke(a)huawei.com> 抄送: linww <linww(a)scut.edu.cn>; 20研李俊祺 <2506534280(a)qq.com>; 18级李毓睿 <liyurui1995(a)163.com> 主题: 回复：答复: 关于A-tune的tuning功能源码一些疑问您好！我依照您的建议尝试获取调整参数的默认值，但是发现对应'ref' 字段的值都是空值 ‘ ’，这里使用的例子是key_parameters_select里面的案例。而我在engine/optimizer里面打印对应默认参数值 [cid:image001.png@01D6C8CB.CE52FDB0] 结果是 ’ref‘为空： [cid:image002.png@01D6C8CB.CE52FDB0] 在 optimizer/optimizer中lhs算法以及调参算法调用地方打印默认值，同样也是为空 [cid:image003.png@01D6C8CB.CE52FDB0] [cid:image004.png@01D6C8CB.CE52FDB0] 两个地方对应的结果： lhs算法打印结果 [cid:image005.png@01D6C8CB.CE52FDB0] tuning算法打印结果 [cid:image006.png@01D6C8CB.CE52FDB0] 注：这里只有两个值是因为我设置了lhs算法选出重要的参数只有两个因此想要向您请教这个问题该如何解决？我查了一下这个信息是从YamlObj这个结构体上来的，但是没有发现给这个结构体赋值的地方（查找执行GetScript的地方好像都没有存储默认数据） [cid:image007.png@01D6C8CB.CE52FDB0] [cid:image008.png@01D6C8CB.CE52FDB0] [cid:image009.png@01D6C8CB.CE52FDB0] ________________________________ Best regards, conli,who 胡康立 ------------------ 原始邮件 ------------------ 发件人: "hanxinke" <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; 发送时间: 2020年12月2日(星期三) 上午10:31 收件人: "whoconli"<conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>;"dev(a)openeuler.org<mailto:dev@openeuler.org>"<dev(a)openeuler.org<mailto:dev@openeuler.org>>; 抄送: "linww"<linww(a)scut.edu.cn<mailto:linww@scut.edu.cn>>;"20研李俊祺"<2506534280(a)qq.com<mailto:2506534280@qq.com>>;"18级李毓睿"<liyurui1995(a)163.com<mailto:liyurui1995@163.com>>; 主题: 答复: 关于A-tune的tuning功能源码一些疑问问题一：在atune-adm tuning命令server端是否只执行benchmark脚本，其他控制的程序（go流程控制）以及算法调优部分（python）都是在client上执行？您好， Atune-adm tuning命令运行的机器是作为client端，client端会执行benchmark脚本，因为很多benchmark会占用系统资源，放在sever端会影响业务的性能，其他go流程（rpc服务端）以及算法调优部分都运行在server端，同时算法调优部分是atune-engine服务，也支持独立机器部署。问题二：go控制代码如何获取需要调整的参数的默认值，并将这些参数的默认值发送到python调优代码中，以便我们进行参数遍历选择。您好，go这边有个Knob的数据类型，内部有个Ref字段可以存储调整参数的默认值，这些默认值会发送到python调优代码中，在python端通过[p_nob[‘ref’] for _, p_nob in enumerate(self.knobs)]的形式就可以获取你所有参数的默认值，这里将环境恢复默认值可以调用go这边的RestoreConfigTuned实现发件人: whoconli [mailto:conli_who@foxmail.com] 发送时间: 2020年12月1日 9:43 收件人: hanxinke <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>> 抄送: linww <linww(a)scut.edu.cn<mailto:linww@scut.edu.cn>>; 20研李俊祺 <2506534280(a)qq.com<mailto:2506534280@qq.com>>; 18级李毓睿 <liyurui1995(a)163.com<mailto:liyurui1995@163.com>> 主题: 关于A-tune的tuning功能源码一些疑问 A-tune开发人员您们好，在整合我们的算法到A-tune当中碰到了一些问题想要向您们请教，具体问题请见word文档，谢谢！ ________________________________ Best regards, conli,who 胡康立 ------------------ 原始邮件 ------------------ 发件人: "hanxinke" <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; 发送时间: 2020年11月30日(星期一) 中午11:00 收件人: "20研李俊祺"<2506534280(a)qq.com<mailto:2506534280@qq.com>>;"a-tune"<a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>>; 抄送: "whoconli"<conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>;"linweiwei"<147868463(a)qq.com<mailto:147868463@qq.com>>;"Fanwentao (Henry)"<fanwentao(a)huawei.com<mailto:fanwentao@huawei.com>>;"Xiezhipeng(EulerOS)"<xiezhipeng1(a)huawei.com<mailto:xiezhipeng1@huawei.com>>; 主题: 答复: 回复：答复: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本非常感谢俊祺，可以将遍历选参脚本作为一种新的调优算法合并到A-Tune中。发件人: 20研李俊祺 [mailto:2506534280@qq.com] 发送时间: 2020年11月30日 9:10 收件人: hanxinke <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; a-tune <a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>> 抄送: 胡康立 <conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>; linweiwei <147868463(a)qq.com<mailto:147868463@qq.com>> 主题: 回复：答复: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本 A-Tune的负责人你们好，按照你们的要求，我们测试了一下“遍历选参(traverse)”和“lhs”算法的选参效果，结果如下： [cid:image010.png@01D6C8CB.CE52FDB0] origin是遍历选参脚本选出的参数（最优），‘lhs’算法的结果或多或少会漏掉部分重要参数。如果你们能够接受，我们就开始合并代码的相关工作。 ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院 ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 ----------------------------------------------------------------------------------------------- ------------------ 原始邮件 ------------------ 发件人: "hanxinke" <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; 发送时间: 2020年11月20日(星期五) 下午3:39 收件人: "20研李俊祺"<2506534280(a)qq.com<mailto:2506534280@qq.com>>;"a-tune"<a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>>; 抄送: "linweiwei"<147868463(a)qq.com<mailto:147868463@qq.com>>;"胡康立"<conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>; 主题: 答复: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本俊祺，您好，感谢您能参与到A-Tune的算法研究与开发中！我发表下看法： 1、Abtest确实如您说的有局限性，它的适用场景是已知参数量比较少，同时这几个参数都有正向作用的场景，它并不适用与重要参数选择。 2、您的这个算法偏向于重要参数选择，适用的场景应该是参数量比较多，同时有很多参数对你的性能有影响的场景，它在参数量很多，但是很多参数对性能没有影响的场景会花费很多时间 3、我们这边在参数选择这块实现了lhs算法，它能够在参数量比较多的场景中花费更少的时间选择出重要的参数，您看能否在您的这个场景中尝试下这个lhs算法，并跟您的这个算法做下比较发件人: 20研李俊祺 [mailto:2506534280@qq.com] 发送时间: 2020年11月20日 11:42 收件人: a-tune <a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>> 抄送: linweiwei <147868463(a)qq.com<mailto:147868463@qq.com>>; 胡康立 <conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>> 主题: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本附：脚本的Input和Output，及相关截图： Input：“yaml参数文件”、“负载执行命令”、“能效判别阈值x”、“至少应被选中的y%的参数”、 “运行记录文件的输出路径”、“被选中参数的yaml文件输出路径”；运行记录文件： [cid:image011.jpg@01D6C8CB.CE52FDB0] 运行过程的log： [cid:image012.jpg@01D6C8CB.CE52FDB0] 另外，该脚本会根据用户输入的阈值输出yaml文件。 ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院 ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 ----------------------------------------------------------------------------------------------- ------------------ 原始邮件 ------------------ 发件人: "20研李俊祺" <2506534280(a)qq.com<mailto:2506534280@qq.com>>; 发送时间: 2020年11月20日(星期五) 中午11:34 收件人: "a-tune"<a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>>; 抄送: "linweiwei"<147868463(a)qq.com<mailto:147868463@qq.com>>;"胡康立"<conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>; 主题: 关于今天SIG上提出的遍历选参脚本 A-Tune的各位开发人员你们好，关于刚才SIG会议上提到的abtest调参算法同样是遍历思想来完成的问题，我有以下看法： 1、固定其他参数，不断修改参数值以获取当前参数的最优值，然后固定该最优值，再调整后面的参数，这个在少量参数需要调整的时候应该是可以快速做到这一点的。但是，当参数数量达到100+以上的时候，abtest算法可能就要运行很长一段时间了。而我们的选参脚本是针对多个参数（几乎涵盖tunning_param_all.yaml文件里面的所有参数）进行选参（不是调参），负载执行次数相对来说会比较少。我们的选参脚本可以解决的就是，避免abtest算法需要穷举所有参数的所有范围来运行导致优化时间过长的问题。先选出合理的参数，再交给atune的tuning算法来优化，可以省下不少的时间。如果一个参数本身某个评价指标是没有什么影响的，那abtest可能会花不必要的时间来改变参数运行负载。 2、我们的脚本是针对服务器的初始状态进行选参的，在每次修改某个参数以后，我们都会将该参数恢复为默认值，然后再测试下一个参数对能效的影响。而abtest每次获取到一个参数的最优值，就会吧这个参数固定在这个最优值上。我觉得有些参数是具有依赖性的，如果调整好前面的参数再调后面的参数，可能会对后面参数的选择造成影响（无法分辨出哪些参数对评价指标具有最大的影响程度）。因此，如果我们是针对选参任务来进行遍历的话，我们在遍历过程中会将参数恢复成服务器默认的状态，区分出参数对某一评价指标（比如能效）的重要程度，根据用户输入的阈值，筛选出最具影响力的参数，再用tuning 的不同算法对这部分参数进行优化，是有意义的；这就是我对我的选参脚本和abtest不同之处的分析，不知道你们怎么看呢？ ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院 ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 -----------------------------------------------------------------------------------------------

1 0

A-Tune & wisdom sig meeting Time: 2020-12-04 10:00-12:00
by hanxinke 02 Dec '20

02 Dec '20

您好！ openEuler A-Tune SIG 邀请您参加 2020-12-04 10:00 召开的ZOOM会议会议主题：A-Tune & wisdom sig meeting 会议内容：本次sig会议议程： 1、强化学习算法调研与分享，汇报人：songmingcong 2、新增调优示例方法介绍，汇报人：hanxinke 会议链接：https://zoom.us/j/92930493562?pwd=dEE4bnRBRDZKbVhwVDk2Zm5PdFVBQT09 欢迎大家提交议题~ Hello! openEuler A-Tune SIG invites you to attend the ZOOM conference will be held at 2020-12-04 10:00, The subject of the conference is A-Tune & wisdom sig meeting, There are two topics for the conference. 1. Reinforcement learning algorithm survey and sharing 2. Describe how to add optimization examples. You can join the meeting at https://zoom.us/j/92930493562?pwd=dEE4bnRBRDZKbVhwVDk2Zm5PdFVBQT09. Welcome to submit your topics. Thanks.

1 0

转发: 关于A-tune的tuning功能源码一些疑问
by hanxinke 02 Dec '20

02 Dec '20

问题一：在atune-adm tuning命令server端是否只执行benchmark脚本，其他控制的程序（go流程控制）以及算法调优部分（python）都是在client上执行？您好， Atune-adm tuning命令运行的机器是作为client端，client端会执行benchmark脚本，因为很多benchmark会占用系统资源，放在sever端会影响业务的性能，其他go流程（rpc服务端）以及算法调优部分都运行在server端，同时算法调优部分是atune-engine服务，也支持独立机器部署。问题二：go控制代码如何获取需要调整的参数的默认值，并将这些参数的默认值发送到python调优代码中，以便我们进行参数遍历选择。您好，go这边有个Knob的数据类型，内部有个Ref字段可以存储调整参数的默认值，这些默认值会发送到python调优代码中，在python端通过[p_nob[‘ref’] for _, p_nob in enumerate(self.knobs)]的形式就可以获取你所有参数的默认值，这里将环境恢复默认值可以调用go这边的RestoreConfigTuned实现发件人: whoconli [mailto:conli_who@foxmail.com] 发送时间: 2020年12月1日 9:43 收件人: hanxinke <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>> 抄送: linww <linww(a)scut.edu.cn<mailto:linww@scut.edu.cn>>; 20研李俊祺 <2506534280(a)qq.com<mailto:2506534280@qq.com>>; 18级李毓睿 <liyurui1995(a)163.com<mailto:liyurui1995@163.com>> 主题: 关于A-tune的tuning功能源码一些疑问 A-tune开发人员您们好，在整合我们的算法到A-tune当中碰到了一些问题想要向您们请教，具体问题请见word文档，谢谢！ ________________________________ Best regards, conli,who 胡康立 ------------------ 原始邮件 ------------------ 发件人: "hanxinke" <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; 发送时间: 2020年11月30日(星期一) 中午11:00 收件人: "20研李俊祺"<2506534280(a)qq.com<mailto:2506534280@qq.com>>;"a-tune"<a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>>; 抄送: "whoconli"<conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>;"linweiwei"<147868463(a)qq.com<mailto:147868463@qq.com>>;"Fanwentao (Henry)"<fanwentao(a)huawei.com<mailto:fanwentao@huawei.com>>;"Xiezhipeng(EulerOS)"<xiezhipeng1(a)huawei.com<mailto:xiezhipeng1@huawei.com>>; 主题: 答复: 回复：答复: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本非常感谢俊祺，可以将遍历选参脚本作为一种新的调优算法合并到A-Tune中。发件人: 20研李俊祺 [mailto:2506534280@qq.com] 发送时间: 2020年11月30日 9:10 收件人: hanxinke <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; a-tune <a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>> 抄送: 胡康立 <conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>; linweiwei <147868463(a)qq.com<mailto:147868463@qq.com>> 主题: 回复：答复: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本 A-Tune的负责人你们好，按照你们的要求，我们测试了一下“遍历选参(traverse)”和“lhs”算法的选参效果，结果如下： [cid:image001.png@01D6C88F.D0D13B60] origin是遍历选参脚本选出的参数（最优），‘lhs’算法的结果或多或少会漏掉部分重要参数。如果你们能够接受，我们就开始合并代码的相关工作。 ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院 ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 ----------------------------------------------------------------------------------------------- ------------------ 原始邮件 ------------------ 发件人: "hanxinke" <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; 发送时间: 2020年11月20日(星期五) 下午3:39 收件人: "20研李俊祺"<2506534280(a)qq.com<mailto:2506534280@qq.com>>;"a-tune"<a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>>; 抄送: "linweiwei"<147868463(a)qq.com<mailto:147868463@qq.com>>;"胡康立"<conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>; 主题: 答复: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本俊祺，您好，感谢您能参与到A-Tune的算法研究与开发中！我发表下看法： 1、Abtest确实如您说的有局限性，它的适用场景是已知参数量比较少，同时这几个参数都有正向作用的场景，它并不适用与重要参数选择。 2、您的这个算法偏向于重要参数选择，适用的场景应该是参数量比较多，同时有很多参数对你的性能有影响的场景，它在参数量很多，但是很多参数对性能没有影响的场景会花费很多时间 3、我们这边在参数选择这块实现了lhs算法，它能够在参数量比较多的场景中花费更少的时间选择出重要的参数，您看能否在您的这个场景中尝试下这个lhs算法，并跟您的这个算法做下比较发件人: 20研李俊祺 [mailto:2506534280@qq.com] 发送时间: 2020年11月20日 11:42 收件人: a-tune <a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>> 抄送: linweiwei <147868463(a)qq.com<mailto:147868463@qq.com>>; 胡康立 <conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>> 主题: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本附：脚本的Input和Output，及相关截图： Input：“yaml参数文件”、“负载执行命令”、“能效判别阈值x”、“至少应被选中的y%的参数”、 “运行记录文件的输出路径”、“被选中参数的yaml文件输出路径”；运行记录文件： [cid:image002.jpg@01D6C88F.D0D13B60] 运行过程的log： [cid:image003.jpg@01D6C88F.D0D13B60] 另外，该脚本会根据用户输入的阈值输出yaml文件。 ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院 ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 ----------------------------------------------------------------------------------------------- ------------------ 原始邮件 ------------------ 发件人: "20研李俊祺" <2506534280(a)qq.com<mailto:2506534280@qq.com>>; 发送时间: 2020年11月20日(星期五) 中午11:34 收件人: "a-tune"<a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>>; 抄送: "linweiwei"<147868463(a)qq.com<mailto:147868463@qq.com>>;"胡康立"<conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>; 主题: 关于今天SIG上提出的遍历选参脚本 A-Tune的各位开发人员你们好，关于刚才SIG会议上提到的abtest调参算法同样是遍历思想来完成的问题，我有以下看法： 1、固定其他参数，不断修改参数值以获取当前参数的最优值，然后固定该最优值，再调整后面的参数，这个在少量参数需要调整的时候应该是可以快速做到这一点的。但是，当参数数量达到100+以上的时候，abtest算法可能就要运行很长一段时间了。而我们的选参脚本是针对多个参数（几乎涵盖tunning_param_all.yaml文件里面的所有参数）进行选参（不是调参），负载执行次数相对来说会比较少。我们的选参脚本可以解决的就是，避免abtest算法需要穷举所有参数的所有范围来运行导致优化时间过长的问题。先选出合理的参数，再交给atune的tuning算法来优化，可以省下不少的时间。如果一个参数本身某个评价指标是没有什么影响的，那abtest可能会花不必要的时间来改变参数运行负载。 2、我们的脚本是针对服务器的初始状态进行选参的，在每次修改某个参数以后，我们都会将该参数恢复为默认值，然后再测试下一个参数对能效的影响。而abtest每次获取到一个参数的最优值，就会吧这个参数固定在这个最优值上。我觉得有些参数是具有依赖性的，如果调整好前面的参数再调后面的参数，可能会对后面参数的选择造成影响（无法分辨出哪些参数对评价指标具有最大的影响程度）。因此，如果我们是针对选参任务来进行遍历的话，我们在遍历过程中会将参数恢复成服务器默认的状态，区分出参数对某一评价指标（比如能效）的重要程度，根据用户输入的阈值，筛选出最具影响力的参数，再用tuning 的不同算法对这部分参数进行优化，是有意义的；这就是我对我的选参脚本和abtest不同之处的分析，不知道你们怎么看呢？ ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院 ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 -----------------------------------------------------------------------------------------------

1 0

关于今天SIG上提出的遍历选参脚本
by 20研李俊祺 30 Nov '20

30 Nov '20

A-Tune的各位开发人员你们好，关于刚才SIG会议上提到的abtest调参算法同样是遍历思想来完成的问题，我有以下看法： 1、固定其他参数，不断修改参数值以获取当前参数的最优值，然后固定该最优值，再调整后面的参数，这个在少量参数需要调整的时候      应该是可以快速做到这一点的。      但是，当参数数量达到100+以上的时候，abtest算法可能就要运行很长一段时间了。而我们的选参脚本是针对多个参数（几乎      涵盖tunning_param_all.yaml文件里面的所有参数）进行选参（不是调参），负载执行次数相对来说会比较少。      我们的选参脚本可以解决的就是，避免abtest算法需要穷举所有参数的所有范围来运行导致优化时间过长的问题。      先选出合理的参数，再交给atune的tuning算法来优化，可以省下不少的时间。如果一个参数本身某个评价指标是      没有什么影响的，那abtest可能会花不必要的时间来改变参数运行负载。      2、我们的脚本是针对服务器的初始状态进行选参的，在每次修改某个参数以后，我们都会将该参数恢复为默认值，然后再      测试下一个参数对能效的影响。而abtest每次获取到一个参数的最优值，就会吧这个参数固定在这个最优值上。我觉得有      些参数是具有依赖性的，如果调整好前面的参数再调后面的参数，可能会对后面参数的选择造成影响（无法分辨出哪些参数      对评价指标具有最大的影响程度）。因此，如果我们是针对选参任务来进行遍历的话，我们在遍历过程中会将参数恢复成服务器      默认的状态，区分出参数对某一评价指标（比如能效）的重要程度，根据用户输入的阈值，筛选出最具影响力的参数，再用tuning      的不同算法对这部分参数进行优化，是有意义的；这就是我对我的选参脚本和abtest不同之处的分析，不知道你们怎么看呢？           ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院  ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 -----------------------------------------------------------------------------------------------

3 5

会议纪要///答复: A-Tune & wisdom sig meeting Time: 2020-11-20 10:00-12:00
by hanxinke 20 Nov '20

20 Nov '20

本次sig会议议程： 1、启发式学习算法调研与分享，汇报人：xiezhipeng 2、A-Tune collector模块讲解，汇报人：hanxinke 与会人：A-Tune sig组成员感谢与各位的线上交流！会议纪要： xiezhipeng： 1、介绍了机器学习模型Learned Index的由来与使用场景 2、介绍了learned index在RDMA键值存储上、LSM-tree上的应用 3、介绍了在特定场景下如何利用AI推测内核IO性能 hanxinke： 1、介绍了A-Tune collector模块的安装与使用 2、演示了如何利用A-Tune collector模块进行数据采集代码仓链接：https://gitee.com/openeuler/A-Tune-Collector 问题交流以及下一步计划： 1、A-Tune collector主要专注于操作系统层的数据采集，暂未涉及到应用层的数据采集，同时也不是一个性能测试工具 2、A-Tune collector后期将会实现在多种操作系统下的适配，以及对多网卡、多磁盘的支持 3、华南理工大学李俊祺实现了一种新的参数选择方法，建议与A-Tune现有的参数选择算法做一个对比实验下次sig会议议程：（预计时间：2020-12-04 10:00-12:00）欢迎大家将想要了解的内容或者讨论的议题发送到a-tune(a)openeuler.xn--org-l86ho90g<mailto:欢迎大家将想要了解的内容或者讨论的议题发送到a-tune@openeuler.org邮箱>！敬请期待发件人: hanxinke 发送时间: 2020年11月18日 15:04 主题: A-Tune & wisdom sig meeting Time: 2020-11-20 10:00-12:00 您好！ openEuler A-Tune SIG 邀请您参加 2020-11-20 10:00 召开的ZOOM会议会议主题：A-Tune & wisdom sig meeting 会议内容：本次sig会议议程： 1、启发式学习算法调研与分享，汇报人：xiezhipeng 2、A-Tune collector模块讲解，汇报人：hanxinke 会议链接：https://zoom.us/j/92377266863?pwd=YjFlY2hESGkrSkdZdHBxeU9qbnpJZz09 欢迎大家提交议题~ Hello! openEuler A-Tune SIG invites you to attend the ZOOM conference will be held at 2020-11-20 10:00, The subject of the conference is A-Tune & wisdom sig meeting, There are two topics for the conference. 1. Heuristic learning algorithm survey and sharing 2. Introduction to the A-Tune Collector Module You can join the meeting at https://zoom.us/j/92377266863?pwd=YjFlY2hESGkrSkdZdHBxeU9qbnpJZz09. Welcome to submit your topics. Thanks.

1 0

A-Tune & wisdom sig meeting Time: 2020-11-20 10:00-12:00
by hanxinke 18 Nov '20

18 Nov '20

您好！ openEuler A-Tune SIG 邀请您参加 2020-11-20 10:00 召开的ZOOM会议会议主题：A-Tune & wisdom sig meeting 会议内容：本次sig会议议程： 1、启发式学习算法调研与分享，汇报人：xiezhipeng 2、A-Tune collector模块讲解，汇报人：hanxinke 会议链接：https://zoom.us/j/92377266863?pwd=YjFlY2hESGkrSkdZdHBxeU9qbnpJZz09 欢迎大家提交议题~ Hello! openEuler A-Tune SIG invites you to attend the ZOOM conference will be held at 2020-11-20 10:00, The subject of the conference is A-Tune & wisdom sig meeting, There are two topics for the conference. 1. Heuristic learning algorithm survey and sharing 2. Introduction to the A-Tune Collector Module You can join the meeting at https://zoom.us/j/92377266863?pwd=YjFlY2hESGkrSkdZdHBxeU9qbnpJZz09. Welcome to submit your topics. Thanks.

1 0

答复: 会议纪要///【Meeting Notice】A-Tune & wisdom sig meeting Time: 2020-11-06 10:00-12:00
by hanxinke 06 Nov '20

06 Nov '20

本次sig会议议程： 1、调度亲和性探测与映射方法介绍，汇报人：chenmingmin 2、A-Tune web UI介绍与演示，汇报人：gaoruoshu 3、新场景调优介绍，汇报人：hanxinke 与会人：A-Tune sig组成员感谢与各位的线上交流！会议纪要： chenmingmin： 1、介绍了线程间亲和性、numa内存亲和性、网络亲和性的基本概念 2、分析了业界主流的亲和性探测方法，函数调用跟踪和内存访问跟踪 3、讲解了业界主流的线程映射方法，openmp和kmaf，并对kmaf方式进行了代码实现 4、演示了kmaf绑核方式实现的调度效果分享链接：https://gitee.com/openeuler/wisdom-advisor/wikis/ gaoruoshu： 1、介绍了A-Tune web UI实现的具体原理 2、在web UI上演示了在线静态调优analysis和离线动态调优Tuning的动态曲线图 3、介绍了现有web UI的功能点，以及后期的技术演进路线代码仓链接：https://gitee.com/openeuler/A-Tune-UI hanxinke： 1、展示了当前A-Tune已经支持的业务场景下的配置参数 2、演示了一个新场景如何入手调优的具体方法代码仓链接：https://gitee.com/openeuler/A-Tune/tree/master/tuning/yamls 问题交流以及下一步计划： 1、kmaf线程映射方法是不停地进行亲和性检测，频率为100ms，平均开销在1.5% 2、页面迁移需要达到从一个节点访问的最高数量是次高数量的2倍以上，这个统计值需要达到稳定状态才行 3、当前亲和性探测方法使用了page_fault缺页统计访问信息，性能开销较大，后期将用其他跟踪方式来替代 4、当前A-Tune web UI上面采集的数据无法实时显示，后期通过增加数据库进行改进 5、analysis上面比对的数据表只是简单的增加时间戳来区分，需要提升使用者体验 6、当前A-Tune web UI只支持一个集群的调优，多个集群调优的实现方式还需要改进下次sig会议议程：（预计时间：2020-11-20 10:00-12:00）欢迎大家将想要了解的内容或者讨论的议题发送到a-tune(a)openeuler.xn--org!-nz2k235h 敬请期待

1 0

A-Tune & wisdom sig meeting Time: 2020-11-06 10:00-12:00
by hanxinke 04 Nov '20

04 Nov '20

您好！ openEuler A-Tune SIG 邀请您参加 2020-11-06 10:00 召开的ZOOM会议会议主题：A-Tune & wisdom sig meeting 本次会议议程： 1、调度亲和性探测与映射方法介绍，汇报人：chenmingmin 2、A-Tune web UI介绍与演示，汇报人：gaoruoshu 会议链接：https://zoom.us/j/99043681198?pwd=dlhvUUk3UHhzcTl5emtuTTFVSmdQUT09 欢迎大家提交议题~ Hello! openEuler A-Tune SIG invites you to attend the ZOOM conference will be held at 2020-11-06 10:00, The subject of the conference is A-Tune & wisdom sig meeting, There are two topics for the conference. 1. Scheduling Affinity Detection and Mapping 2. A-Tune Web UI Introduction and Demonstration You can join the meeting at https://zoom.us/j/99043681198?pwd=dlhvUUk3UHhzcTl5emtuTTFVSmdQUT09. Welcome to submit your topics. Thanks.

1 0

A-tune的通用性
by Erik Yuan 29 Oct '20

29 Oct '20

Hi, 对A-tune有个直白的问题，是否一个通用的纯软件tools? 主要是否一个通用的Linux系统上的工具，不依赖于特定OS？是否依赖于特定的硬件架构/特性？谢谢！

2 4

答复: 会议纪要///【Meeting Notice】A-Tune & wisdom sig meeting Time: 2020-10-23 10:00-12:00
by hanxinke 23 Oct '20

23 Oct '20

本次sig会议议程： 1、numa系统动态调优算法介绍，汇报人：hanxinke 2、A-Tune监控负载功能实现探讨，汇报人：liuke 与会人：A-Tune团队成员、中科院、西北工业大学、华南理工大学感谢与各位的线上交流！会议纪要： hanxinke： 1、分析了smp系统与numa系统的差异，并对业界在numa系统上的调优做了简单介绍 2、介绍了A-Tune在numa系统动态调度上的研究与实现 3、演示了A-Tune重要参数选择的最新研究成果 liuke： 1、介绍了A-Tune analysis工具实现监控负载能力的具体实现原理 2、探讨了实现监控负载能力遇到的一些技术问题问题交流以及下一步计划： 1、多个评价指标的权重分配由使用者决定，该值可以根据评价指标的取值范围以及重要性排序进行缩放调节，取值可以大于100 2、用户采集的新数据可以放置到A-Tune数据集中，并重新生成模型，用于新应用的识别 3、A-Tune监控负载能力需要指定进程pid，此时业务进程已经运行，无法采集到业务进程的全量数据，建议修改 4、A-Tune监控负载能力只需要负责数据采集，不需要每隔一段时间进行负载识别，建议修改下次sig会议议程：（预计时间：2020-11-06 10:00-12:00）欢迎大家将想要了解的内容或者讨论的议题发送到a-tune(a)openeuler.xn--org!-nz2k235h 敬请期待

1 0

A-Tune & wisdom sig meeting Time: 2020-10-23 10:00-12:00
by hanxinke 21 Oct '20

21 Oct '20

本次sig会议议程： 1、 numa系统自动调优算法介绍，汇报人：gaoruoshu 会议链接：https://zoom.us/j/93138709415?pwd=UmswUks1YlJnVnhSVGZlNzBjR0VmQT09 欢迎大家提交议题~

1 0

会议纪要///【Meeting Notice】A-Tune & wisdom sig meeting Time: 2020-10-09 10:00-12:00
by hanxinke 09 Oct '20

09 Oct '20

本次sig会议议程： 1、A-Tune在线时动态调优强化学习算法调研，汇报人：liuke 2、能耗调优相关内容介绍，汇报人：caihongda 与会人：A-Tune团队成员、蔡宏达、华南理工大学、中科院非常感谢liuke与caihongda做的精彩演讲，感谢与华南理工大学、中科院进行线上交流！会议纪要： liuke： 1、CDB-Tune数据库调优相关算法介绍，并与其它算法做了比较 caihongda： 1、介绍了CMOS集成电路的功耗情况，以及基于处理器能耗状态调整技术，基于任务调度的能耗管理技术、基于热感知的能耗管理技术 2、介绍了计算卸载功耗管理技术，该技术的关键点是节能收益要大于数据传输与链接的损耗 3、介绍了显示与计算交互的技术，通过降低显示刷新率与显示分辨率达到降低能耗的目的问题交流以及下一步计划： 1、鲲鹏920可以通过公开的工具（powertop、devstat、iostat）从硬件上获取cpu唤醒次数、磁盘唤醒次数、磁盘读写量等跟功耗相关的数据 2、openeuler可以通过numastat查询每个numa上面的内存占用情况 3、对cpu进行精确建模并且获取在一段时间中的整机功耗相对来说较为困难，电源芯片的功耗数据较难获取 4、A-Tune当前只能识别单应用，对于多应用服务器可以尝试通过离线时动态调优功能进行最优参数选取 5、A-Tune暂时还未集成功耗模块，预计在明年会探讨集成 6、wisdom执行策略没有成功与失败的回显，建议该模块能够提升用户体验 7、A-Tune与wisdom的关系，wisdom主要做调度优化，是A-Tune的一个子项目下次sig会议议程：（预计时间：2020-10-23 10:00-12:00）欢迎大家将想要了解的内容或者讨论的议题发送到a-tune(a)openeuler.xn--org!-nz2k235h 敬请期待发件人: hanxinke 发送时间: 2020年9月29日 15:47 主题: A-Tune & wisdom sig meeting Time: 2020-10-09 10:00-12:00 本次sig会议议程： 1、A-Tune在线时动态调优强化学习算法调研，汇报人：liuke 2、能耗调优相关内容介绍，汇报人：caihongda 会议链接：Join (External) >><https://welink-meeting.zoom.us/j/665037493> 敬请期待

1 0

subscription
by liqiang (CN) 29 Sep '20

29 Sep '20

subscription

1 0

A-Tune & wisdom sig meeting Time: 2020-10-09 10:00-12:00
by hanxinke 29 Sep '20

29 Sep '20

本次sig会议议程： 1、A-Tune在线时动态调优强化学习算法调研，汇报人：liuke 2、能耗调优相关内容介绍，汇报人：caihongda 会议链接：Join (External) >><https://welink-meeting.zoom.us/j/665037493> 敬请期待

1 0

关于Collection收集到的数据问题和wisdom-advisor开发人员的联系方式
by 20研李俊祺 23 Sep '20

23 Sep '20

A-Tune开发组的人员你们好，近日在研究A-Tune的过程中我们遇到了一些问题：（1）这几天我阅读了一下A-Tune Collection收集到的数据，部分参数的含义可以通过查网获知（比如CPU.STAT，MEM.VMSTAT），但是部分参数的意义，我们不太理解，而且没能在网上找到相关介绍（SYS、STORAGE、NET），能否请你们简要说明一下呢？（2）另外，由于我们打算开发的能耗Collection收集到的数据感觉并不是基于进程和线程的，我们想和OpenEuler-wisdom-advisor以及上周提到的OpenEuler能耗调度的开发人员取得联系，请教一下线程和进程方面绑核的问题和鲲鹏920服务器相关的能耗数据。请问能否提供一下他们的联系方式呢？非常感谢！！

3 2

答复: 回复：答复: 关于A-Tune上画像(profile)的建立问题
by hanxinke 21 Sep '20

21 Sep '20

您好， atune-adm analysis实现的是场景识别，同时进行对应场景的profile激活，这个profile文件是自动识别的，不需要人为指定，这个使用场景是用户不清楚当前环境的负载以及部署的应用。而atune-adm profile只是进行profile激活，同时需要指定激活的profile名，这个使用场景是用户清楚当前环境的负载以及部署的应用，也知道对应的profile配置文件，直接进行参数配置即可。关于问题3： A-Tune当前主要有两种调优功能：在线时静态调优（atune-adm analysis）和离线时动态调优（atune-adm tuning），你这边的理解基本正确发件人: 20研李俊祺 [mailto:2506534280@qq.com] 发送时间: 2020年9月21日 11:48 收件人: hanxinke <hanxinke(a)huawei.com> 主题: 回复：答复: 关于A-Tune上画像(profile)的建立问题您好，关于问题2，我还是有点不明白。就是我尝试过没有激活任何的profile也是能够analysis的，那atune-adm profile xxx这一激活profile的命令的作用是什么呢？感觉analysis已经帮助我们识别当前的负载，然后按照conf的配置进行调优了呀（是我的理解有问题… 还是说，atune-adm profile xxx这一激活profile的命令，是在用户知道自己当前负载属于哪个类型的profile时才去使用的呢？（就是直接按照相应profile的conf文件配置当前负载的参数）？问题补充：问题3：目前我对A-Tune的理解是这样的：conf文件用于设置当前场景可优化的参数（我们人为设定），然后利用atune-adm collection采集负载运行时的各种数据（见4.(2)的内容），有个-t命令参数可以指定用户需要采集的是哪个场景的数据，。Analysis的结果就是识别出当前的负载模式，然后按照conf文件中给出的参数配置当前的负载，提高系统运行该类型负载的性能表现。也就是说，analysis的作用其实就是用来识别当前负载的类型。参数自调优又是A-Tune的另外一个功能了，要用tuning命令执行，我这样理解正确吗？ [cid:image001.jpg@01D6900E.0F69C460] ------------------ 原始邮件 ------------------ 发件人: "hanxinke" <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; 发送时间: 2020年9月21日(星期一) 上午10:19 收件人: "20研李俊祺"<2506534280(a)qq.com<mailto:2506534280@qq.com>>;"a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>"<a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>>; 抄送: "Guanyalong"<guanyalong(a)huawei.com<mailto:guanyalong@huawei.com>>;"Xiezhipeng (EulerOS)"<xiezhipeng1(a)huawei.com<mailto:xiezhipeng1@huawei.com>>; 主题: 答复: 关于A-Tune上画像(profile)的建立问题你好，欢迎交流，A-Tune项目组的邮箱是a-tune(a)openeuler.org<mailto:A-Tune%CF%EE%C4%BF%D7%E9%B5%C4%D3%CA%CF%E4%CA%C7a-tune@openeuler.org> 关于问题1：当前我们已经对同一种负载类型的应用进行了细分，能够识别到一款应用具体测试场景的粒度（例如nginx应用，我们能够识别到其http长连接和https短连接两个场景），对于每一款应用测试场景会有不同的优化配置内容，下方的default.conf文件就是对应的默认情况（即idle场景）下的优化配置信息（例如你当前环境处于idle状态，使用模式识别atune-adm analysis命令就会识别出当前处于default场景，然后进行default.conf文件中参数配置，以此来优化环境，例如对内核进行配置，设置CONFIG_NUMA_AWARE_SPINLOCKS = y）自己定义一个conf文件也是一样的，你可以使用define命令定义一个新的应用场景，可参考如下用户指导手册，此时会创建一个新的应用场景test_service-test_app-test_scenario，example.conf文件中是你对该测试场景人工经验得到的优化配置内容，然后使用atune-adm collection采集数据时，有个-t命令指定你采集的是哪个场景的数据，例如刚刚创建的test_service-test_app-test_scenario，模型训练就可以执行atune-adm train基于你采集的数据生成新的模型 [cid:image002.png@01D6900E.0F69C460] 关于问题2：激活某个profile就是识别某个应用场景，然后执行其对应的conf文件中的参数配置过程，用list命令查找到的就是我们系统已经支持的应用场景profile，类似test_service-test_app-test_scenario 非常感谢您的提问，A-Tune将不断完善用户手册，您这边的提问将会整理更新到用户手册中！发件人: 20研李俊祺 [mailto:2506534280@qq.com] 发送时间: 2020年9月20日 9:30 收件人: hanxinke <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>> 主题: 关于A-Tune上画像(profile)的建立问题你好，由于当时没有记录下A-Tune项目组的邮箱（我查看已接收的邮件发现有好几个邮箱的地址，不知道发哪个），所以这边直接发到了你的个人邮箱里面。问题：我们在阅读A-Tune使用文档时，对Profile方面有两个疑惑。（1）A-Tune中各负载类型的Profile应该是指这类负载的画像吧？我看到3.4中提到，在collection之前需要自己定义一个conf文件，那这个conf文件起到的作用具体是什么呢？比如说下图为default-default的conf文件（default.conf） [cid:image003.jpg@01D6900E.0F69C460] 我看A-Tune的使用文档时，里面提到：“对业务场景建立精准的系统画像”，那是不是说“我们通过自己设定conf文件，然后通过A-Tune的train命令来构造出相应的参数调优模型”这一过程就是建立系统画像的过程呢？（不知道我的理解有没有偏差）（2）我想请教一下，激活某个profile的作用是什么？是通过人为的方式将某个负载归类为list中“某个类型的profile”进行优化吗？

1 0

答复: 关于A-Tune上画像(profile)的建立问题
by hanxinke 21 Sep '20

21 Sep '20

你好，欢迎交流，A-Tune项目组的邮箱是a-tune(a)openeuler.org<mailto:A-Tune项目组的邮箱是a-tune@openeuler.org> 关于问题1：当前我们已经对同一种负载类型的应用进行了细分，能够识别到一款应用具体测试场景的粒度（例如nginx应用，我们能够识别到其http长连接和https短连接两个场景），对于每一款应用测试场景会有不同的优化配置内容，下方的default.conf文件就是对应的默认情况（即idle场景）下的优化配置信息（例如你当前环境处于idle状态，使用模式识别atune-adm analysis命令就会识别出当前处于default场景，然后进行default.conf文件中参数配置，以此来优化环境，例如对内核进行配置，设置CONFIG_NUMA_AWARE_SPINLOCKS = y）自己定义一个conf文件也是一样的，你可以使用define命令定义一个新的应用场景，可参考如下用户指导手册，此时会创建一个新的应用场景test_service-test_app-test_scenario，example.conf文件中是你对该测试场景人工经验得到的优化配置内容，然后使用atune-adm collection采集数据时，有个-t命令指定你采集的是哪个场景的数据，例如刚刚创建的test_service-test_app-test_scenario，模型训练就可以执行atune-adm train基于你采集的数据生成新的模型 [cid:image002.png@01D68FFD.5CA8C2F0] 关于问题2：激活某个profile就是识别某个应用场景，然后执行其对应的conf文件中的参数配置过程，用list命令查找到的就是我们系统已经支持的应用场景profile，类似test_service-test_app-test_scenario 非常感谢您的提问，A-Tune将不断完善用户手册，您这边的提问将会整理更新到用户手册中！发件人: 20研李俊祺 [mailto:2506534280@qq.com] 发送时间: 2020年9月20日 9:30 收件人: hanxinke <hanxinke(a)huawei.com> 主题: 关于A-Tune上画像(profile)的建立问题你好，由于当时没有记录下A-Tune项目组的邮箱（我查看已接收的邮件发现有好几个邮箱的地址，不知道发哪个），所以这边直接发到了你的个人邮箱里面。问题：我们在阅读A-Tune使用文档时，对Profile方面有两个疑惑。（1）A-Tune中各负载类型的Profile应该是指这类负载的画像吧？我看到3.4中提到，在collection之前需要自己定义一个conf文件，那这个conf文件起到的作用具体是什么呢？比如说下图为default-default的conf文件（default.conf） [cid:image001.jpg@01D68FFB.173D60B0] 我看A-Tune的使用文档时，里面提到：“对业务场景建立精准的系统画像”，那是不是说“我们通过自己设定conf文件，然后通过A-Tune的train命令来构造出相应的参数调优模型”这一过程就是建立系统画像的过程呢？（不知道我的理解有没有偏差）（2）我想请教一下，激活某个profile的作用是什么？是通过人为的方式将某个负载归类为list中“某个类型的profile”进行优化吗？

1 0

会议纪要///【Meeting Notice】A-Tune & wisdom sig meeting Time: 2020-09-18 10:00-12:00
by hanxinke 18 Sep '20

18 Sep '20

本次sig会议议程： 1、A-Tune与业界重要参数选择算法的介绍和对比研究，汇报人：songmingcong 2、wisdom智能感知调度介绍，汇报人：chenmingmin 3、社区issue分析与讲解，汇报人：hanxinke 与会人：A-Tune团队成员、华南理工大学、苏州大学研究生非常感谢songmingcong与chenmingmin做的报告，感谢与华南理工大学、苏州大学进行线上交流！会议纪要： songmingcong： 1、分析了业界顶级会议Fast'20、Hostorage'20和KDD'20上关于重要参数选择方面的研究以及在各自领域取得的效果 2、介绍了A-Tune在重要参数选择算法方面的进展 3、将A-Tune与业界的重要参数选择算法在适配的应用场景、数据采样、是否支持增量可调、核心算法等方面作了对比介绍 chenmingmin： 1、介绍了wisdom智能感知调度的背景、功能、支持的调度策略以及具体的调度使用命令 2、介绍了当前的调度策略在实际场景中的应用情况问题交流以及下一步计划： 1、当前A-Tune可以调解的参数众多，包含各种数据类型，后期可以做一些归一化处理。 2、在重要参数选择中，当前A-Tune需要使用者通过人工经验配置每轮的迭代次数，后期该次数可以根据可调参数空间的大小进行动态配置。 3、A-Tune在相同应用的不同测试场景下希望重要参数可以得到复用。 4、A-Tune需要增强应用在不同负载下的识别能力 5、wisdom智能感知调度在不同应用场景下需要人工选择调度策略，希望后期能够自动识别 6、wisdom智能感知调度可以在AI调优方面做进一步的探索下次sig会议议程：（预计时间：2020-10-09 10:00-12:00） 1、在线调优强化学习算法调研 2、功耗调优相关介绍敬请期待 -----原始约会----- 发件人: Meeting_Book 发送时间: 2020年9月15日 17:26 收件人: Meeting_Book; hanxinke 主题: A-Tune：重要参数选择算法分析 Time: 2020-09-18 10:00-13:00 时间: 2020年9月18日星期五 10:00-13:00(UTC+08:00) 北京，重庆，香港特别行政区，乌鲁木齐。地点: 重要性: 高 Topic [WeLink Meeting] A-Tune：重要参数选择算法分析 Time 2020-09-18 10:00-13:00 ((UTC+08:00)Beijing) Join Conference Join (Host) >><http://imeeting.huawei.com/meeting/startzoom?id=2c906c96747d2371017491160df…> Join (Internal) >><http://imeeting.huawei.com/meeting/joinzoom?id=315091515&app=welink> Join (External) >><https://welink-meeting.zoom.us/j/315091515> Meeting ID 315 091 515 Convener 韩欣科 (h00369819) Internal (16) 韩欣科 (h00369819), 宋明聪 (s00489487), 谢志鹏 (x00292102), 高若姝 (g00563147), 陈荔城 (c00291257), 李次华 (l00449834), 季晓彤 (j00475226), 李晓光 (l00346806), 陆春华 (l00300977), 单世史 (s00482137), 林晓旭 (l00279334), 李强 (l00374334), 刘可 (l50012884), 康恩博 (k00471948), 周康 (z00488373), 陈明敏 (c00516036) External (5) a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>, houzhx(a)nwpu.edu.cn<mailto:houzhx@nwpu.edu.cn>, zhangmiao(a)iscas.ac.cn<mailto:zhangmiao@iscas.ac.cn>, xujj(a)suda.edu.cn<mailto:xujj@suda.edu.cn>, dev(a)openeuler.org<mailto:dev@openeuler.org> 注: 会议最大支持200人同时与会。(A conference supports a maximum of 200 participants.) 外部用户加入会议提示“会议已结束或会议号不存在”，请在官网下载最新版本入会。 If external users fail to join a meeting, advise them to download the latest meeting client and try again. 下载链接( DownloadURL ):https://zoom.us/download

1 0

【Meeting Notice】A-Tune：重要参数选择算法分析 Time: 2020-09-18 10:00-13:00
by Meeting Book 15 Sep '20

15 Sep '20

1 0