- A-tune - mailweb.openeuler.org

转发: 西工大与A-Tune交流会 Time: 2021-01-06 15:00-17:00
by Meeting_Book 06 Jan '21

06 Jan '21

与会人员：西北工业大学，A-Tune sig组成员会议纪要： 1、详细介绍了A-Tune底层数据采集和系统配置模块的实现原理 2、梳理了每一个采集模块和配置模块的具体功能以及实现命令 3、讲解了着手移植A-Tune到其他OS环境的方法以及注意事项 4、介绍了后期在采集工具扩展与调节对象扩展方面的演进路线遗留问题：下期介绍下A-Tune在HPC场景下的具体实践 -----原始约会----- 发件人: Meeting_Book 发送时间: 2021年1月5日 17:36 收件人: Meeting_Book; hanxinke 主题: 西工大与A-Tune交流会 Time: 2021-01-06 15:00-17:00 时间: 2021年1月6日星期三 15:00-17:00(UTC+08:00) 北京，重庆，香港特别行政区，乌鲁木齐。地点: 重要性: 高 Topic [WeLink Meeting] 西工大与A-Tune交流会 Time 2021-01-06 15:00-17:00 ((UTC+08:00)Beijing) Join Conference Join (Host) >><http://imeeting.huawei.com/meeting/startzoom?id=8c8b803c759dc0a00176d1e737e…> Join (Internal) >><http://imeeting.huawei.com/meeting/joinzoom?id=747821220&app=welink> Join (External) >><https://welink-meeting.zoom.us/j/747821220> Meeting ID 747 821 220 Convener 韩欣科 (h00369819) External (2) houzhx(a)nwpu.edu.cn<mailto:houzhx@nwpu.edu.cn>, hanxinke(a)126.com<mailto:hanxinke@126.com>

1 0

A-Tune sig meeting Time: 2021-01-08 10:00-12:00
by hanxinke 06 Jan '21

06 Jan '21

您好！ openEuler A-Tune SIG 邀请您参加 2021-01-08 10:00 召开的ZOOM会议会议主题：A-Tune sig meeting 会议内容：本次sig会议议程： 1、A-Tune 年度实践回顾以及未来演进路线探讨，汇报人：hanxinke 2、Wisdom 调度亲和性与映射技术介绍，汇报人：chenmingmin 会议链接：https://zoom.us/j/96267522920?pwd=NHUxbkM4OVZlY05LM2JONW9TL1VDQT09 更多资讯尽在：https://openeuler.org/zh/ Hello! openEuler A-Tune SIG invites you to attend the ZOOM conference will be held at 2021-01-08 10:00, The subject of the conference is A-Tune sig meeting, There are two topics for the conference. 1、A-Tune Annual Practice Review and Future Evolution Direction Discussion 2、Introduction to Wisdom Scheduling Affinity and Mapping Technologies You can join the meeting at https://zoom.us/j/96267522920?pwd=NHUxbkM4OVZlY05LM2JONW9TL1VDQT09. More information<https://openeuler.org/zh/>

1 0

为什么你一定要参加 openEuler Summit 的 TC、Maintainer、SIG 组工作会议
by public openEuler 16 Dec '20

16 Dec '20

嗨，各位 openEuler 社区的开发者：很高兴能够向你们汇报 openEuler Summit 的会议进度。对于各位来说，本周最重要的事情是 TC、Maintainer和SIG 组开放工作会议的议程已经上线了。 *为什么你一定要参与 TC、Maintainer、SIG组开放工作会议？* 1. 你可以清楚的了解 openEuler 社区的运作模式 2. 你可以和 TC、Maintainer、SIG 的成员共同探讨openEuler 社区的下一个版本的计划和技术路线 3. 可以跟社区里的技术大佬进行面对面交流。 4. 更好的规划自己在社区中的成长路线 *会议时间和房间号：* TC 开放工作会议 Maintainer 开放工作会议 SIG 组开放工作会议时间 12/24 13:00-14:30 12/24 15:00-17:00 12/25 13:00-15:30 房间号悦府6和悦府7 悦府6和悦府7 大宴会厅B *TC **开放工作会议议程：* 1. 讨论 openEuler 支持 App Stream 机制 2. 申请成立智能运维 SIG 3. 讨论从 Gitee issue 整体切换到bugzilla 4. 讨论2021年 TC 合作的开展方式 5. …… *Maintainer **开放工作会议议程* 1. 开场 & 颁发 Maintainer 纪念徽章 2. openEuler 社区运作分析 3. 我在 openEuler 社区担任 Maintainer 的那些事儿 4. 自由问答 5. 总结 *参与本次 SIG 组开放工作会议的 SIG 组：* 1. sig-DDE 2. sig-UKUI 3. sig-Ha 4. sig-arrch32 5. A-Tune 6. iSulad & Container 7. sig-ai-bitdata 8. sig-security-facility 9. sig-confidential-computing 10. Compiler 11. Doc 12. Infrastructure 13. security-committee 14. sig-Compatibility-Infra 15. sig-QA 16. sig-release-management 17. Kernel 18. Virt *openEuler Summit **专属伴手礼：* [image: image.png] *openEuler **卫衣* [image: image.png] *openEuler Maintainer **纪念徽章* *欢迎通过openEuler 社区开发者专属的报名渠道报名：* https://etherpad.openeuler.org/p/openEuler-Summit-2020 openEuler Summit 官网： https://openeuler.org/zh/interaction/summit-list/

1 0

openEuler Summit 报名渠道开启，我们为社区内的开发者准备了很多专属环节
by public openEuler 07 Dec '20

07 Dec '20

各位社区内的开发者： openEuler Summit 所有议程 <https://openeuler.org/zh/interaction/summit-list/> 本周已经全部上线。本次峰会设置了 Linux 操作系统、云与云原生、虚拟化、基础软件、开源基础设施、安全与可信六大专场。一些通过 Call for Speaker 提交的议题已经入选。欢迎大家快来围观有没有你感兴趣的议题。 [image: image.png] 针对社区的开发者，我们准备了很多专属环节： 1. 大会为社区开发者准备了专属报名通道，在现场有专属的签到通道和定制的伴手礼。 2. 大会为Maintainer 准备了一份十分具有荣誉感和纪念意义的徽章。大会现场还准备了惊喜环节：大会主题演讲时会通过报名时你填写的 Gitee ID 和Gitee 后台的数据演示一个非常炫酷的Live Demo。我们诚挚地邀请社区开发者到现场参会。社区开发者专属报名通道：https://etherpad.openeuler.org/p/openEuler-Summit-2020 P.S：通过该链接报名的人员可以参加 Day1和 Day2 两天会议。 openEuler 也将迎来自己的一周岁生日，社区准备了一个“我为 openEuler 代言”的百人视频合集，诚挚地邀请所有热爱openEuler 的人来拍摄一段视频，来纪念openEuler这朝气蓬勃的第一年。 “我为 openEuler 代言”的视频拍摄需求：自拍形式，对着镜头回答以下问题： 1. 我想要的操作系统是****的， 2. 我在**时候参与/认识/加入/知道的openEuler（社区） 3. 我在openEuler贡献了**** 4. 我是***，我为openEuler代言使用场景：您拍摄的视频素材将用于 openEuler Summit 2020 前期的会议宣传和开场视频中。拍摄指导： 1. 背景任您喜欢 2. 人物面对镜头，位于画面中央，取半身构图，横向拍摄16:9 的画面比例 3. 最好选择白炽灯，白色光源 4. 尽量由另一个人辅助，用手机后置摄像头拍摄，不要用前置，拍摄前擦拭摄像头 5. 读口播时，声音越大越好 6. 尽量保证每一句话都是完整通顺的，中间重来的部分可以忽略 7. 视频输出，用电脑将手机视频导出，打压缩包传输即可（不要用微信上传，会压缩画质） 8. 拍摄完毕后请将视频上传到百度网盘，将分享链接期限设置为永久，然后发给 public(a)openeuler.io 9. 视频收集截止日期：2020年12月11日23:59分

1 0

会议纪要///答复: A-Tune & wisdom sig meeting Time: 2020-12-04 10:00-12:00
by hanxinke 05 Dec '20

05 Dec '20

本次sig会议议程： 1、强化学习算法调研与分享，汇报人：songmingcong 2、新增调优示例方法介绍，汇报人：hanxinke 与会人：A-Tune sig组成员感谢与各位的线上交流！会议纪要： songmingcong： 1、强化学习算法基础知识讲解，例如对agent、policy、reward的一些概念讲解 2、介绍了三种RL agent类型：基于价值的agent、基于策略的agent、基于两者结合的actor-critic agent 3、着重介绍了DQN、DDPG算法的原理 4、介绍了强化学习在实际场景中的使用示例：CDBTune数据库调优、FIRM微服务资源管理框架 hanxinke： 1、介绍了离线调优过程中如何新建一个调优示例以及代码存放路径：A-Tune/examples/tuning 2、介绍了基于离线调优过程中server yaml配置文件的编写规范以及文件存放路径：A-Tune/tuning/yamls 3、从代码层面讲解了离线调优的整个原理和过程，并对重要参数选择的实现做了介绍问题交流以及下一步计划： 1、强化学习中对状态state以及执行动作action的选择非常重要，如何选择是当前利用强化学习算法调优过程中遇到的一个难题 2、内核升级不会影响到A-Tune整体框架的运行，但若内核代码修改了某些os配置信息，例如删除了某个配置，此时A-Tune的参数配置模块可能要进行适配 3、A-Tune当前在虚拟机、物理机上面都能运行，容器环境暂未支持，已经安排计划准备支持 4、A-Tune在centos、redhat上面的支持经过初步验证，一些python子包可以使用pip命令下载，感兴趣的社区开发者也可以参与到其他操作系统的适配工作中 5、华南理工大学介绍了新的参数选择方法，sig组对该算法的实现做了探讨下次sig会议议程：（预计时间：2020-12-18 10:00-12:00）欢迎大家将想要了解的内容或者讨论的议题发送到a-tune(a)openeuler.xn--org-l86ho90g<mailto:欢迎大家将想要了解的内容或者讨论的议题发送到a-tune@openeuler.org邮箱>！敬请期待发件人: hanxinke 发送时间: 2020年12月2日 16:25 收件人: 'a-tune' <a-tune(a)openeuler.org>; 'dev(a)openeuler.org' <dev(a)openeuler.org>; 'houzhx(a)nwpu.edu.cn' <houzhx(a)nwpu.edu.cn>; 'zhangmiao(a)iscas.ac.cn' <zhangmiao(a)iscas.ac.cn>; 'xujj(a)suda.edu.cn' <xujj(a)suda.edu.cn>; '20研李俊祺' <2506534280(a)qq.com>; 'ada_zhao(a)njust.edu.cn' <ada_zhao(a)njust.edu.cn>; 'jiangxianliang(a)nbu.edu.cn' <jiangxianliang(a)nbu.edu.cn>; 'xiaochu.chen(a)suwell.cn' <xiaochu.chen(a)suwell.cn>; '417665825(a)qq.com' <417665825(a)qq.com>; '1152071778(a)qq.com' <1152071778(a)qq.com>; 'tanghaixu333(a)163.com' <tanghaixu333(a)163.com>; '154601041(a)csu.edu.cn' <154601041(a)csu.edu.cn>; 'liaowei(a)kylinos.com.cn' <liaowei(a)kylinos.com.cn>; 'shiyong(a)kylinos.com.cn' <shiyong(a)kylinos.com.cn>; 'sunlijie(a)kylinos.com.cn' <sunlijie(a)kylinos.com.cn>; 'daihongjian666(a)163.com' <daihongjian666(a)163.com>; 'huangchenlin76(a)gmail.com' <huangchenlin76(a)gmail.com> 主题: A-Tune & wisdom sig meeting Time: 2020-12-04 10:00-12:00 您好！ openEuler A-Tune SIG 邀请您参加 2020-12-04 10:00 召开的ZOOM会议会议主题：A-Tune & wisdom sig meeting 会议内容：本次sig会议议程： 1、强化学习算法调研与分享，汇报人：songmingcong 2、新增调优示例方法介绍，汇报人：hanxinke 会议链接：https://zoom.us/j/92930493562?pwd=dEE4bnRBRDZKbVhwVDk2Zm5PdFVBQT09 欢迎大家提交议题~ Hello! openEuler A-Tune SIG invites you to attend the ZOOM conference will be held at 2020-12-04 10:00, The subject of the conference is A-Tune & wisdom sig meeting, There are two topics for the conference. 1. Reinforcement learning algorithm survey and sharing 2. Describe how to add optimization examples. You can join the meeting at https://zoom.us/j/92930493562?pwd=dEE4bnRBRDZKbVhwVDk2Zm5PdFVBQT09. Welcome to submit your topics. Thanks.

1 0

答复: 回复：答复: 关于A-tune的tuning功能源码一些疑问
by hanxinke 02 Dec '20

02 Dec '20

您好，在server.yaml文件中是否增加默认值，例如： [cid:image013.png@01D6C8D0.3EB9B900] 发件人: whoconli [mailto:conli_who@foxmail.com] 发送时间: 2020年12月2日 16:48 收件人: hanxinke <hanxinke(a)huawei.com> 抄送: linww <linww(a)scut.edu.cn>; 20研李俊祺 <2506534280(a)qq.com>; 18级李毓睿 <liyurui1995(a)163.com> 主题: 回复：答复: 关于A-tune的tuning功能源码一些疑问您好！我依照您的建议尝试获取调整参数的默认值，但是发现对应'ref' 字段的值都是空值 ‘ ’，这里使用的例子是key_parameters_select里面的案例。而我在engine/optimizer里面打印对应默认参数值 [cid:image001.png@01D6C8CB.CE52FDB0] 结果是 ’ref‘为空： [cid:image002.png@01D6C8CB.CE52FDB0] 在 optimizer/optimizer中lhs算法以及调参算法调用地方打印默认值，同样也是为空 [cid:image003.png@01D6C8CB.CE52FDB0] [cid:image004.png@01D6C8CB.CE52FDB0] 两个地方对应的结果： lhs算法打印结果 [cid:image005.png@01D6C8CB.CE52FDB0] tuning算法打印结果 [cid:image006.png@01D6C8CB.CE52FDB0] 注：这里只有两个值是因为我设置了lhs算法选出重要的参数只有两个因此想要向您请教这个问题该如何解决？我查了一下这个信息是从YamlObj这个结构体上来的，但是没有发现给这个结构体赋值的地方（查找执行GetScript的地方好像都没有存储默认数据） [cid:image007.png@01D6C8CB.CE52FDB0] [cid:image008.png@01D6C8CB.CE52FDB0] [cid:image009.png@01D6C8CB.CE52FDB0] ________________________________ Best regards, conli,who 胡康立 ------------------ 原始邮件 ------------------ 发件人: "hanxinke" <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; 发送时间: 2020年12月2日(星期三) 上午10:31 收件人: "whoconli"<conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>;"dev(a)openeuler.org<mailto:dev@openeuler.org>"<dev(a)openeuler.org<mailto:dev@openeuler.org>>; 抄送: "linww"<linww(a)scut.edu.cn<mailto:linww@scut.edu.cn>>;"20研李俊祺"<2506534280(a)qq.com<mailto:2506534280@qq.com>>;"18级李毓睿"<liyurui1995(a)163.com<mailto:liyurui1995@163.com>>; 主题: 答复: 关于A-tune的tuning功能源码一些疑问问题一：在atune-adm tuning命令server端是否只执行benchmark脚本，其他控制的程序（go流程控制）以及算法调优部分（python）都是在client上执行？您好， Atune-adm tuning命令运行的机器是作为client端，client端会执行benchmark脚本，因为很多benchmark会占用系统资源，放在sever端会影响业务的性能，其他go流程（rpc服务端）以及算法调优部分都运行在server端，同时算法调优部分是atune-engine服务，也支持独立机器部署。问题二：go控制代码如何获取需要调整的参数的默认值，并将这些参数的默认值发送到python调优代码中，以便我们进行参数遍历选择。您好，go这边有个Knob的数据类型，内部有个Ref字段可以存储调整参数的默认值，这些默认值会发送到python调优代码中，在python端通过[p_nob[‘ref’] for _, p_nob in enumerate(self.knobs)]的形式就可以获取你所有参数的默认值，这里将环境恢复默认值可以调用go这边的RestoreConfigTuned实现发件人: whoconli [mailto:conli_who@foxmail.com] 发送时间: 2020年12月1日 9:43 收件人: hanxinke <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>> 抄送: linww <linww(a)scut.edu.cn<mailto:linww@scut.edu.cn>>; 20研李俊祺 <2506534280(a)qq.com<mailto:2506534280@qq.com>>; 18级李毓睿 <liyurui1995(a)163.com<mailto:liyurui1995@163.com>> 主题: 关于A-tune的tuning功能源码一些疑问 A-tune开发人员您们好，在整合我们的算法到A-tune当中碰到了一些问题想要向您们请教，具体问题请见word文档，谢谢！ ________________________________ Best regards, conli,who 胡康立 ------------------ 原始邮件 ------------------ 发件人: "hanxinke" <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; 发送时间: 2020年11月30日(星期一) 中午11:00 收件人: "20研李俊祺"<2506534280(a)qq.com<mailto:2506534280@qq.com>>;"a-tune"<a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>>; 抄送: "whoconli"<conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>;"linweiwei"<147868463(a)qq.com<mailto:147868463@qq.com>>;"Fanwentao (Henry)"<fanwentao(a)huawei.com<mailto:fanwentao@huawei.com>>;"Xiezhipeng(EulerOS)"<xiezhipeng1(a)huawei.com<mailto:xiezhipeng1@huawei.com>>; 主题: 答复: 回复：答复: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本非常感谢俊祺，可以将遍历选参脚本作为一种新的调优算法合并到A-Tune中。发件人: 20研李俊祺 [mailto:2506534280@qq.com] 发送时间: 2020年11月30日 9:10 收件人: hanxinke <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; a-tune <a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>> 抄送: 胡康立 <conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>; linweiwei <147868463(a)qq.com<mailto:147868463@qq.com>> 主题: 回复：答复: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本 A-Tune的负责人你们好，按照你们的要求，我们测试了一下“遍历选参(traverse)”和“lhs”算法的选参效果，结果如下： [cid:image010.png@01D6C8CB.CE52FDB0] origin是遍历选参脚本选出的参数（最优），‘lhs’算法的结果或多或少会漏掉部分重要参数。如果你们能够接受，我们就开始合并代码的相关工作。 ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院 ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 ----------------------------------------------------------------------------------------------- ------------------ 原始邮件 ------------------ 发件人: "hanxinke" <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; 发送时间: 2020年11月20日(星期五) 下午3:39 收件人: "20研李俊祺"<2506534280(a)qq.com<mailto:2506534280@qq.com>>;"a-tune"<a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>>; 抄送: "linweiwei"<147868463(a)qq.com<mailto:147868463@qq.com>>;"胡康立"<conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>; 主题: 答复: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本俊祺，您好，感谢您能参与到A-Tune的算法研究与开发中！我发表下看法： 1、Abtest确实如您说的有局限性，它的适用场景是已知参数量比较少，同时这几个参数都有正向作用的场景，它并不适用与重要参数选择。 2、您的这个算法偏向于重要参数选择，适用的场景应该是参数量比较多，同时有很多参数对你的性能有影响的场景，它在参数量很多，但是很多参数对性能没有影响的场景会花费很多时间 3、我们这边在参数选择这块实现了lhs算法，它能够在参数量比较多的场景中花费更少的时间选择出重要的参数，您看能否在您的这个场景中尝试下这个lhs算法，并跟您的这个算法做下比较发件人: 20研李俊祺 [mailto:2506534280@qq.com] 发送时间: 2020年11月20日 11:42 收件人: a-tune <a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>> 抄送: linweiwei <147868463(a)qq.com<mailto:147868463@qq.com>>; 胡康立 <conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>> 主题: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本附：脚本的Input和Output，及相关截图： Input：“yaml参数文件”、“负载执行命令”、“能效判别阈值x”、“至少应被选中的y%的参数”、 “运行记录文件的输出路径”、“被选中参数的yaml文件输出路径”；运行记录文件： [cid:image011.jpg@01D6C8CB.CE52FDB0] 运行过程的log： [cid:image012.jpg@01D6C8CB.CE52FDB0] 另外，该脚本会根据用户输入的阈值输出yaml文件。 ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院 ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 ----------------------------------------------------------------------------------------------- ------------------ 原始邮件 ------------------ 发件人: "20研李俊祺" <2506534280(a)qq.com<mailto:2506534280@qq.com>>; 发送时间: 2020年11月20日(星期五) 中午11:34 收件人: "a-tune"<a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>>; 抄送: "linweiwei"<147868463(a)qq.com<mailto:147868463@qq.com>>;"胡康立"<conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>; 主题: 关于今天SIG上提出的遍历选参脚本 A-Tune的各位开发人员你们好，关于刚才SIG会议上提到的abtest调参算法同样是遍历思想来完成的问题，我有以下看法： 1、固定其他参数，不断修改参数值以获取当前参数的最优值，然后固定该最优值，再调整后面的参数，这个在少量参数需要调整的时候应该是可以快速做到这一点的。但是，当参数数量达到100+以上的时候，abtest算法可能就要运行很长一段时间了。而我们的选参脚本是针对多个参数（几乎涵盖tunning_param_all.yaml文件里面的所有参数）进行选参（不是调参），负载执行次数相对来说会比较少。我们的选参脚本可以解决的就是，避免abtest算法需要穷举所有参数的所有范围来运行导致优化时间过长的问题。先选出合理的参数，再交给atune的tuning算法来优化，可以省下不少的时间。如果一个参数本身某个评价指标是没有什么影响的，那abtest可能会花不必要的时间来改变参数运行负载。 2、我们的脚本是针对服务器的初始状态进行选参的，在每次修改某个参数以后，我们都会将该参数恢复为默认值，然后再测试下一个参数对能效的影响。而abtest每次获取到一个参数的最优值，就会吧这个参数固定在这个最优值上。我觉得有些参数是具有依赖性的，如果调整好前面的参数再调后面的参数，可能会对后面参数的选择造成影响（无法分辨出哪些参数对评价指标具有最大的影响程度）。因此，如果我们是针对选参任务来进行遍历的话，我们在遍历过程中会将参数恢复成服务器默认的状态，区分出参数对某一评价指标（比如能效）的重要程度，根据用户输入的阈值，筛选出最具影响力的参数，再用tuning 的不同算法对这部分参数进行优化，是有意义的；这就是我对我的选参脚本和abtest不同之处的分析，不知道你们怎么看呢？ ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院 ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 -----------------------------------------------------------------------------------------------

1 0

A-Tune & wisdom sig meeting Time: 2020-12-04 10:00-12:00
by hanxinke 02 Dec '20

02 Dec '20

您好！ openEuler A-Tune SIG 邀请您参加 2020-12-04 10:00 召开的ZOOM会议会议主题：A-Tune & wisdom sig meeting 会议内容：本次sig会议议程： 1、强化学习算法调研与分享，汇报人：songmingcong 2、新增调优示例方法介绍，汇报人：hanxinke 会议链接：https://zoom.us/j/92930493562?pwd=dEE4bnRBRDZKbVhwVDk2Zm5PdFVBQT09 欢迎大家提交议题~ Hello! openEuler A-Tune SIG invites you to attend the ZOOM conference will be held at 2020-12-04 10:00, The subject of the conference is A-Tune & wisdom sig meeting, There are two topics for the conference. 1. Reinforcement learning algorithm survey and sharing 2. Describe how to add optimization examples. You can join the meeting at https://zoom.us/j/92930493562?pwd=dEE4bnRBRDZKbVhwVDk2Zm5PdFVBQT09. Welcome to submit your topics. Thanks.

1 0

转发: 关于A-tune的tuning功能源码一些疑问
by hanxinke 02 Dec '20

02 Dec '20

问题一：在atune-adm tuning命令server端是否只执行benchmark脚本，其他控制的程序（go流程控制）以及算法调优部分（python）都是在client上执行？您好， Atune-adm tuning命令运行的机器是作为client端，client端会执行benchmark脚本，因为很多benchmark会占用系统资源，放在sever端会影响业务的性能，其他go流程（rpc服务端）以及算法调优部分都运行在server端，同时算法调优部分是atune-engine服务，也支持独立机器部署。问题二：go控制代码如何获取需要调整的参数的默认值，并将这些参数的默认值发送到python调优代码中，以便我们进行参数遍历选择。您好，go这边有个Knob的数据类型，内部有个Ref字段可以存储调整参数的默认值，这些默认值会发送到python调优代码中，在python端通过[p_nob[‘ref’] for _, p_nob in enumerate(self.knobs)]的形式就可以获取你所有参数的默认值，这里将环境恢复默认值可以调用go这边的RestoreConfigTuned实现发件人: whoconli [mailto:conli_who@foxmail.com] 发送时间: 2020年12月1日 9:43 收件人: hanxinke <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>> 抄送: linww <linww(a)scut.edu.cn<mailto:linww@scut.edu.cn>>; 20研李俊祺 <2506534280(a)qq.com<mailto:2506534280@qq.com>>; 18级李毓睿 <liyurui1995(a)163.com<mailto:liyurui1995@163.com>> 主题: 关于A-tune的tuning功能源码一些疑问 A-tune开发人员您们好，在整合我们的算法到A-tune当中碰到了一些问题想要向您们请教，具体问题请见word文档，谢谢！ ________________________________ Best regards, conli,who 胡康立 ------------------ 原始邮件 ------------------ 发件人: "hanxinke" <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; 发送时间: 2020年11月30日(星期一) 中午11:00 收件人: "20研李俊祺"<2506534280(a)qq.com<mailto:2506534280@qq.com>>;"a-tune"<a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>>; 抄送: "whoconli"<conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>;"linweiwei"<147868463(a)qq.com<mailto:147868463@qq.com>>;"Fanwentao (Henry)"<fanwentao(a)huawei.com<mailto:fanwentao@huawei.com>>;"Xiezhipeng(EulerOS)"<xiezhipeng1(a)huawei.com<mailto:xiezhipeng1@huawei.com>>; 主题: 答复: 回复：答复: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本非常感谢俊祺，可以将遍历选参脚本作为一种新的调优算法合并到A-Tune中。发件人: 20研李俊祺 [mailto:2506534280@qq.com] 发送时间: 2020年11月30日 9:10 收件人: hanxinke <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; a-tune <a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>> 抄送: 胡康立 <conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>; linweiwei <147868463(a)qq.com<mailto:147868463@qq.com>> 主题: 回复：答复: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本 A-Tune的负责人你们好，按照你们的要求，我们测试了一下“遍历选参(traverse)”和“lhs”算法的选参效果，结果如下： [cid:image001.png@01D6C88F.D0D13B60] origin是遍历选参脚本选出的参数（最优），‘lhs’算法的结果或多或少会漏掉部分重要参数。如果你们能够接受，我们就开始合并代码的相关工作。 ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院 ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 ----------------------------------------------------------------------------------------------- ------------------ 原始邮件 ------------------ 发件人: "hanxinke" <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; 发送时间: 2020年11月20日(星期五) 下午3:39 收件人: "20研李俊祺"<2506534280(a)qq.com<mailto:2506534280@qq.com>>;"a-tune"<a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>>; 抄送: "linweiwei"<147868463(a)qq.com<mailto:147868463@qq.com>>;"胡康立"<conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>; 主题: 答复: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本俊祺，您好，感谢您能参与到A-Tune的算法研究与开发中！我发表下看法： 1、Abtest确实如您说的有局限性，它的适用场景是已知参数量比较少，同时这几个参数都有正向作用的场景，它并不适用与重要参数选择。 2、您的这个算法偏向于重要参数选择，适用的场景应该是参数量比较多，同时有很多参数对你的性能有影响的场景，它在参数量很多，但是很多参数对性能没有影响的场景会花费很多时间 3、我们这边在参数选择这块实现了lhs算法，它能够在参数量比较多的场景中花费更少的时间选择出重要的参数，您看能否在您的这个场景中尝试下这个lhs算法，并跟您的这个算法做下比较发件人: 20研李俊祺 [mailto:2506534280@qq.com] 发送时间: 2020年11月20日 11:42 收件人: a-tune <a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>> 抄送: linweiwei <147868463(a)qq.com<mailto:147868463@qq.com>>; 胡康立 <conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>> 主题: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本附：脚本的Input和Output，及相关截图： Input：“yaml参数文件”、“负载执行命令”、“能效判别阈值x”、“至少应被选中的y%的参数”、 “运行记录文件的输出路径”、“被选中参数的yaml文件输出路径”；运行记录文件： [cid:image002.jpg@01D6C88F.D0D13B60] 运行过程的log： [cid:image003.jpg@01D6C88F.D0D13B60] 另外，该脚本会根据用户输入的阈值输出yaml文件。 ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院 ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 ----------------------------------------------------------------------------------------------- ------------------ 原始邮件 ------------------ 发件人: "20研李俊祺" <2506534280(a)qq.com<mailto:2506534280@qq.com>>; 发送时间: 2020年11月20日(星期五) 中午11:34 收件人: "a-tune"<a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>>; 抄送: "linweiwei"<147868463(a)qq.com<mailto:147868463@qq.com>>;"胡康立"<conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>; 主题: 关于今天SIG上提出的遍历选参脚本 A-Tune的各位开发人员你们好，关于刚才SIG会议上提到的abtest调参算法同样是遍历思想来完成的问题，我有以下看法： 1、固定其他参数，不断修改参数值以获取当前参数的最优值，然后固定该最优值，再调整后面的参数，这个在少量参数需要调整的时候应该是可以快速做到这一点的。但是，当参数数量达到100+以上的时候，abtest算法可能就要运行很长一段时间了。而我们的选参脚本是针对多个参数（几乎涵盖tunning_param_all.yaml文件里面的所有参数）进行选参（不是调参），负载执行次数相对来说会比较少。我们的选参脚本可以解决的就是，避免abtest算法需要穷举所有参数的所有范围来运行导致优化时间过长的问题。先选出合理的参数，再交给atune的tuning算法来优化，可以省下不少的时间。如果一个参数本身某个评价指标是没有什么影响的，那abtest可能会花不必要的时间来改变参数运行负载。 2、我们的脚本是针对服务器的初始状态进行选参的，在每次修改某个参数以后，我们都会将该参数恢复为默认值，然后再测试下一个参数对能效的影响。而abtest每次获取到一个参数的最优值，就会吧这个参数固定在这个最优值上。我觉得有些参数是具有依赖性的，如果调整好前面的参数再调后面的参数，可能会对后面参数的选择造成影响（无法分辨出哪些参数对评价指标具有最大的影响程度）。因此，如果我们是针对选参任务来进行遍历的话，我们在遍历过程中会将参数恢复成服务器默认的状态，区分出参数对某一评价指标（比如能效）的重要程度，根据用户输入的阈值，筛选出最具影响力的参数，再用tuning 的不同算法对这部分参数进行优化，是有意义的；这就是我对我的选参脚本和abtest不同之处的分析，不知道你们怎么看呢？ ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院 ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 -----------------------------------------------------------------------------------------------

1 0

关于今天SIG上提出的遍历选参脚本
by 20研李俊祺 30 Nov '20

30 Nov '20

A-Tune的各位开发人员你们好，关于刚才SIG会议上提到的abtest调参算法同样是遍历思想来完成的问题，我有以下看法： 1、固定其他参数，不断修改参数值以获取当前参数的最优值，然后固定该最优值，再调整后面的参数，这个在少量参数需要调整的时候      应该是可以快速做到这一点的。      但是，当参数数量达到100+以上的时候，abtest算法可能就要运行很长一段时间了。而我们的选参脚本是针对多个参数（几乎      涵盖tunning_param_all.yaml文件里面的所有参数）进行选参（不是调参），负载执行次数相对来说会比较少。      我们的选参脚本可以解决的就是，避免abtest算法需要穷举所有参数的所有范围来运行导致优化时间过长的问题。      先选出合理的参数，再交给atune的tuning算法来优化，可以省下不少的时间。如果一个参数本身某个评价指标是      没有什么影响的，那abtest可能会花不必要的时间来改变参数运行负载。      2、我们的脚本是针对服务器的初始状态进行选参的，在每次修改某个参数以后，我们都会将该参数恢复为默认值，然后再      测试下一个参数对能效的影响。而abtest每次获取到一个参数的最优值，就会吧这个参数固定在这个最优值上。我觉得有      些参数是具有依赖性的，如果调整好前面的参数再调后面的参数，可能会对后面参数的选择造成影响（无法分辨出哪些参数      对评价指标具有最大的影响程度）。因此，如果我们是针对选参任务来进行遍历的话，我们在遍历过程中会将参数恢复成服务器      默认的状态，区分出参数对某一评价指标（比如能效）的重要程度，根据用户输入的阈值，筛选出最具影响力的参数，再用tuning      的不同算法对这部分参数进行优化，是有意义的；这就是我对我的选参脚本和abtest不同之处的分析，不知道你们怎么看呢？           ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院  ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 -----------------------------------------------------------------------------------------------

3 5

会议纪要///答复: A-Tune & wisdom sig meeting Time: 2020-11-20 10:00-12:00
by hanxinke 20 Nov '20

20 Nov '20

本次sig会议议程： 1、启发式学习算法调研与分享，汇报人：xiezhipeng 2、A-Tune collector模块讲解，汇报人：hanxinke 与会人：A-Tune sig组成员感谢与各位的线上交流！会议纪要： xiezhipeng： 1、介绍了机器学习模型Learned Index的由来与使用场景 2、介绍了learned index在RDMA键值存储上、LSM-tree上的应用 3、介绍了在特定场景下如何利用AI推测内核IO性能 hanxinke： 1、介绍了A-Tune collector模块的安装与使用 2、演示了如何利用A-Tune collector模块进行数据采集代码仓链接：https://gitee.com/openeuler/A-Tune-Collector 问题交流以及下一步计划： 1、A-Tune collector主要专注于操作系统层的数据采集，暂未涉及到应用层的数据采集，同时也不是一个性能测试工具 2、A-Tune collector后期将会实现在多种操作系统下的适配，以及对多网卡、多磁盘的支持 3、华南理工大学李俊祺实现了一种新的参数选择方法，建议与A-Tune现有的参数选择算法做一个对比实验下次sig会议议程：（预计时间：2020-12-04 10:00-12:00）欢迎大家将想要了解的内容或者讨论的议题发送到a-tune(a)openeuler.xn--org-l86ho90g<mailto:欢迎大家将想要了解的内容或者讨论的议题发送到a-tune@openeuler.org邮箱>！敬请期待发件人: hanxinke 发送时间: 2020年11月18日 15:04 主题: A-Tune & wisdom sig meeting Time: 2020-11-20 10:00-12:00 您好！ openEuler A-Tune SIG 邀请您参加 2020-11-20 10:00 召开的ZOOM会议会议主题：A-Tune & wisdom sig meeting 会议内容：本次sig会议议程： 1、启发式学习算法调研与分享，汇报人：xiezhipeng 2、A-Tune collector模块讲解，汇报人：hanxinke 会议链接：https://zoom.us/j/92377266863?pwd=YjFlY2hESGkrSkdZdHBxeU9qbnpJZz09 欢迎大家提交议题~ Hello! openEuler A-Tune SIG invites you to attend the ZOOM conference will be held at 2020-11-20 10:00, The subject of the conference is A-Tune & wisdom sig meeting, There are two topics for the conference. 1. Heuristic learning algorithm survey and sharing 2. Introduction to the A-Tune Collector Module You can join the meeting at https://zoom.us/j/92377266863?pwd=YjFlY2hESGkrSkdZdHBxeU9qbnpJZz09. Welcome to submit your topics. Thanks.

1 0