September 2020 - A-tune - mailweb.openeuler.org

subscription
by liqiang (CN) 29 Sep '20

29 Sep '20

subscription

1 0

A-Tune & wisdom sig meeting Time: 2020-10-09 10:00-12:00
by hanxinke 29 Sep '20

29 Sep '20

本次sig会议议程： 1、A-Tune在线时动态调优强化学习算法调研，汇报人：liuke 2、能耗调优相关内容介绍，汇报人：caihongda 会议链接：Join (External) >><https://welink-meeting.zoom.us/j/665037493> 敬请期待

1 0

关于Collection收集到的数据问题和wisdom-advisor开发人员的联系方式
by 20研李俊祺 23 Sep '20

23 Sep '20

A-Tune开发组的人员你们好，近日在研究A-Tune的过程中我们遇到了一些问题：（1）这几天我阅读了一下A-Tune Collection收集到的数据，部分参数的含义可以通过查网获知（比如CPU.STAT，MEM.VMSTAT），但是部分参数的意义，我们不太理解，而且没能在网上找到相关介绍（SYS、STORAGE、NET），能否请你们简要说明一下呢？（2）另外，由于我们打算开发的能耗Collection收集到的数据感觉并不是基于进程和线程的，我们想和OpenEuler-wisdom-advisor以及上周提到的OpenEuler能耗调度的开发人员取得联系，请教一下线程和进程方面绑核的问题和鲲鹏920服务器相关的能耗数据。请问能否提供一下他们的联系方式呢？非常感谢！！

3 2

答复: 回复：答复: 关于A-Tune上画像(profile)的建立问题
by hanxinke 21 Sep '20

21 Sep '20

您好， atune-adm analysis实现的是场景识别，同时进行对应场景的profile激活，这个profile文件是自动识别的，不需要人为指定，这个使用场景是用户不清楚当前环境的负载以及部署的应用。而atune-adm profile只是进行profile激活，同时需要指定激活的profile名，这个使用场景是用户清楚当前环境的负载以及部署的应用，也知道对应的profile配置文件，直接进行参数配置即可。关于问题3： A-Tune当前主要有两种调优功能：在线时静态调优（atune-adm analysis）和离线时动态调优（atune-adm tuning），你这边的理解基本正确发件人: 20研李俊祺 [mailto:2506534280@qq.com] 发送时间: 2020年9月21日 11:48 收件人: hanxinke <hanxinke(a)huawei.com> 主题: 回复：答复: 关于A-Tune上画像(profile)的建立问题您好，关于问题2，我还是有点不明白。就是我尝试过没有激活任何的profile也是能够analysis的，那atune-adm profile xxx这一激活profile的命令的作用是什么呢？感觉analysis已经帮助我们识别当前的负载，然后按照conf的配置进行调优了呀（是我的理解有问题… 还是说，atune-adm profile xxx这一激活profile的命令，是在用户知道自己当前负载属于哪个类型的profile时才去使用的呢？（就是直接按照相应profile的conf文件配置当前负载的参数）？问题补充：问题3：目前我对A-Tune的理解是这样的：conf文件用于设置当前场景可优化的参数（我们人为设定），然后利用atune-adm collection采集负载运行时的各种数据（见4.(2)的内容），有个-t命令参数可以指定用户需要采集的是哪个场景的数据，。Analysis的结果就是识别出当前的负载模式，然后按照conf文件中给出的参数配置当前的负载，提高系统运行该类型负载的性能表现。也就是说，analysis的作用其实就是用来识别当前负载的类型。参数自调优又是A-Tune的另外一个功能了，要用tuning命令执行，我这样理解正确吗？ [cid:image001.jpg@01D6900E.0F69C460] ------------------ 原始邮件 ------------------ 发件人: "hanxinke" <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; 发送时间: 2020年9月21日(星期一) 上午10:19 收件人: "20研李俊祺"<2506534280(a)qq.com<mailto:2506534280@qq.com>>;"a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>"<a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>>; 抄送: "Guanyalong"<guanyalong(a)huawei.com<mailto:guanyalong@huawei.com>>;"Xiezhipeng (EulerOS)"<xiezhipeng1(a)huawei.com<mailto:xiezhipeng1@huawei.com>>; 主题: 答复: 关于A-Tune上画像(profile)的建立问题你好，欢迎交流，A-Tune项目组的邮箱是a-tune(a)openeuler.org<mailto:A-Tune%CF%EE%C4%BF%D7%E9%B5%C4%D3%CA%CF%E4%CA%C7a-tune@openeuler.org> 关于问题1：当前我们已经对同一种负载类型的应用进行了细分，能够识别到一款应用具体测试场景的粒度（例如nginx应用，我们能够识别到其http长连接和https短连接两个场景），对于每一款应用测试场景会有不同的优化配置内容，下方的default.conf文件就是对应的默认情况（即idle场景）下的优化配置信息（例如你当前环境处于idle状态，使用模式识别atune-adm analysis命令就会识别出当前处于default场景，然后进行default.conf文件中参数配置，以此来优化环境，例如对内核进行配置，设置CONFIG_NUMA_AWARE_SPINLOCKS = y）自己定义一个conf文件也是一样的，你可以使用define命令定义一个新的应用场景，可参考如下用户指导手册，此时会创建一个新的应用场景test_service-test_app-test_scenario，example.conf文件中是你对该测试场景人工经验得到的优化配置内容，然后使用atune-adm collection采集数据时，有个-t命令指定你采集的是哪个场景的数据，例如刚刚创建的test_service-test_app-test_scenario，模型训练就可以执行atune-adm train基于你采集的数据生成新的模型 [cid:image002.png@01D6900E.0F69C460] 关于问题2：激活某个profile就是识别某个应用场景，然后执行其对应的conf文件中的参数配置过程，用list命令查找到的就是我们系统已经支持的应用场景profile，类似test_service-test_app-test_scenario 非常感谢您的提问，A-Tune将不断完善用户手册，您这边的提问将会整理更新到用户手册中！发件人: 20研李俊祺 [mailto:2506534280@qq.com] 发送时间: 2020年9月20日 9:30 收件人: hanxinke <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>> 主题: 关于A-Tune上画像(profile)的建立问题你好，由于当时没有记录下A-Tune项目组的邮箱（我查看已接收的邮件发现有好几个邮箱的地址，不知道发哪个），所以这边直接发到了你的个人邮箱里面。问题：我们在阅读A-Tune使用文档时，对Profile方面有两个疑惑。（1）A-Tune中各负载类型的Profile应该是指这类负载的画像吧？我看到3.4中提到，在collection之前需要自己定义一个conf文件，那这个conf文件起到的作用具体是什么呢？比如说下图为default-default的conf文件（default.conf） [cid:image003.jpg@01D6900E.0F69C460] 我看A-Tune的使用文档时，里面提到：“对业务场景建立精准的系统画像”，那是不是说“我们通过自己设定conf文件，然后通过A-Tune的train命令来构造出相应的参数调优模型”这一过程就是建立系统画像的过程呢？（不知道我的理解有没有偏差）（2）我想请教一下，激活某个profile的作用是什么？是通过人为的方式将某个负载归类为list中“某个类型的profile”进行优化吗？

1 0

答复: 关于A-Tune上画像(profile)的建立问题
by hanxinke 21 Sep '20

21 Sep '20

你好，欢迎交流，A-Tune项目组的邮箱是a-tune(a)openeuler.org<mailto:A-Tune项目组的邮箱是a-tune@openeuler.org> 关于问题1：当前我们已经对同一种负载类型的应用进行了细分，能够识别到一款应用具体测试场景的粒度（例如nginx应用，我们能够识别到其http长连接和https短连接两个场景），对于每一款应用测试场景会有不同的优化配置内容，下方的default.conf文件就是对应的默认情况（即idle场景）下的优化配置信息（例如你当前环境处于idle状态，使用模式识别atune-adm analysis命令就会识别出当前处于default场景，然后进行default.conf文件中参数配置，以此来优化环境，例如对内核进行配置，设置CONFIG_NUMA_AWARE_SPINLOCKS = y）自己定义一个conf文件也是一样的，你可以使用define命令定义一个新的应用场景，可参考如下用户指导手册，此时会创建一个新的应用场景test_service-test_app-test_scenario，example.conf文件中是你对该测试场景人工经验得到的优化配置内容，然后使用atune-adm collection采集数据时，有个-t命令指定你采集的是哪个场景的数据，例如刚刚创建的test_service-test_app-test_scenario，模型训练就可以执行atune-adm train基于你采集的数据生成新的模型 [cid:image002.png@01D68FFD.5CA8C2F0] 关于问题2：激活某个profile就是识别某个应用场景，然后执行其对应的conf文件中的参数配置过程，用list命令查找到的就是我们系统已经支持的应用场景profile，类似test_service-test_app-test_scenario 非常感谢您的提问，A-Tune将不断完善用户手册，您这边的提问将会整理更新到用户手册中！发件人: 20研李俊祺 [mailto:2506534280@qq.com] 发送时间: 2020年9月20日 9:30 收件人: hanxinke <hanxinke(a)huawei.com> 主题: 关于A-Tune上画像(profile)的建立问题你好，由于当时没有记录下A-Tune项目组的邮箱（我查看已接收的邮件发现有好几个邮箱的地址，不知道发哪个），所以这边直接发到了你的个人邮箱里面。问题：我们在阅读A-Tune使用文档时，对Profile方面有两个疑惑。（1）A-Tune中各负载类型的Profile应该是指这类负载的画像吧？我看到3.4中提到，在collection之前需要自己定义一个conf文件，那这个conf文件起到的作用具体是什么呢？比如说下图为default-default的conf文件（default.conf） [cid:image001.jpg@01D68FFB.173D60B0] 我看A-Tune的使用文档时，里面提到：“对业务场景建立精准的系统画像”，那是不是说“我们通过自己设定conf文件，然后通过A-Tune的train命令来构造出相应的参数调优模型”这一过程就是建立系统画像的过程呢？（不知道我的理解有没有偏差）（2）我想请教一下，激活某个profile的作用是什么？是通过人为的方式将某个负载归类为list中“某个类型的profile”进行优化吗？

1 0

会议纪要///【Meeting Notice】A-Tune & wisdom sig meeting Time: 2020-09-18 10:00-12:00
by hanxinke 18 Sep '20

18 Sep '20

本次sig会议议程： 1、A-Tune与业界重要参数选择算法的介绍和对比研究，汇报人：songmingcong 2、wisdom智能感知调度介绍，汇报人：chenmingmin 3、社区issue分析与讲解，汇报人：hanxinke 与会人：A-Tune团队成员、华南理工大学、苏州大学研究生非常感谢songmingcong与chenmingmin做的报告，感谢与华南理工大学、苏州大学进行线上交流！会议纪要： songmingcong： 1、分析了业界顶级会议Fast'20、Hostorage'20和KDD'20上关于重要参数选择方面的研究以及在各自领域取得的效果 2、介绍了A-Tune在重要参数选择算法方面的进展 3、将A-Tune与业界的重要参数选择算法在适配的应用场景、数据采样、是否支持增量可调、核心算法等方面作了对比介绍 chenmingmin： 1、介绍了wisdom智能感知调度的背景、功能、支持的调度策略以及具体的调度使用命令 2、介绍了当前的调度策略在实际场景中的应用情况问题交流以及下一步计划： 1、当前A-Tune可以调解的参数众多，包含各种数据类型，后期可以做一些归一化处理。 2、在重要参数选择中，当前A-Tune需要使用者通过人工经验配置每轮的迭代次数，后期该次数可以根据可调参数空间的大小进行动态配置。 3、A-Tune在相同应用的不同测试场景下希望重要参数可以得到复用。 4、A-Tune需要增强应用在不同负载下的识别能力 5、wisdom智能感知调度在不同应用场景下需要人工选择调度策略，希望后期能够自动识别 6、wisdom智能感知调度可以在AI调优方面做进一步的探索下次sig会议议程：（预计时间：2020-10-09 10:00-12:00） 1、在线调优强化学习算法调研 2、功耗调优相关介绍敬请期待 -----原始约会----- 发件人: Meeting_Book 发送时间: 2020年9月15日 17:26 收件人: Meeting_Book; hanxinke 主题: A-Tune：重要参数选择算法分析 Time: 2020-09-18 10:00-13:00 时间: 2020年9月18日星期五 10:00-13:00(UTC+08:00) 北京，重庆，香港特别行政区，乌鲁木齐。地点: 重要性: 高 Topic [WeLink Meeting] A-Tune：重要参数选择算法分析 Time 2020-09-18 10:00-13:00 ((UTC+08:00)Beijing) Join Conference Join (Host) >><http://imeeting.huawei.com/meeting/startzoom?id=2c906c96747d2371017491160df…> Join (Internal) >><http://imeeting.huawei.com/meeting/joinzoom?id=315091515&app=welink> Join (External) >><https://welink-meeting.zoom.us/j/315091515> Meeting ID 315 091 515 Convener 韩欣科 (h00369819) Internal (16) 韩欣科 (h00369819), 宋明聪 (s00489487), 谢志鹏 (x00292102), 高若姝 (g00563147), 陈荔城 (c00291257), 李次华 (l00449834), 季晓彤 (j00475226), 李晓光 (l00346806), 陆春华 (l00300977), 单世史 (s00482137), 林晓旭 (l00279334), 李强 (l00374334), 刘可 (l50012884), 康恩博 (k00471948), 周康 (z00488373), 陈明敏 (c00516036) External (5) a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>, houzhx(a)nwpu.edu.cn<mailto:houzhx@nwpu.edu.cn>, zhangmiao(a)iscas.ac.cn<mailto:zhangmiao@iscas.ac.cn>, xujj(a)suda.edu.cn<mailto:xujj@suda.edu.cn>, dev(a)openeuler.org<mailto:dev@openeuler.org> 注: 会议最大支持200人同时与会。(A conference supports a maximum of 200 participants.) 外部用户加入会议提示“会议已结束或会议号不存在”，请在官网下载最新版本入会。 If external users fail to join a meeting, advise them to download the latest meeting client and try again. 下载链接( DownloadURL ):https://zoom.us/download

1 0

【Meeting Notice】A-Tune：重要参数选择算法分析 Time: 2020-09-18 10:00-13:00
by Meeting Book 15 Sep '20

15 Sep '20

1 0

A-Tune新特性介绍会议纪要///答复: A-Tune新特性介绍 Time: 2020-09-04 10:00-13:00
by hanxinke 04 Sep '20

04 Sep '20

9.4 sig meeting - A-Tune2.0新特性 2020年9月4日・编译安装启动改进 o 1.0版本：通过make和make install安装 o 2.0版本：新增make startup启动和make run编译安装启动・静态优化配置 o 1.0版本：配置放在数据库中，根据workload_type分类 o 2.0版本：存在独立文件中・新增文件无需重新编译・对场景更细致分配・ AI引擎独立部署 o 1.0版本：整体后端放在一起 o 2.0版本：・ AI引擎独立部署・增加参数选择功能・ http协议改为https协议，提升安全可靠性・运行时调优 o 1.0版本：聚类算法和分类算法 o 2.0版本：两次分类算法・两种算法 § 随机森林分类和xgboost分类 § 默认为随机森林・数据采集维度从19增加到52 ・可识别应用及具体测试场景・模型训练新增一键式模型训练・模型训练 o 新增一键生成模型make models命令 o 采集时间优化10分钟->1分30秒・数据采集 o 使用LHS拉丁超立方体抽样・参数优化 o 使用贝叶斯算法 o base estimator：高斯回归、随机森林、极值随机森林、渐进回归树・新增功能：自动根据表格生成yaml文件 wisdom-advisor ・用途：探测线程亲和性，将亲和性高的线程绑在同一NUMA/CCL上，减少跨numa产生的时延，提高性能・功能 o 绑定手动标记过的线程 o 根据ptrace探测线程亲和性 o 内核开启内存页面统计后探测 o 使用json文件，将io和网络进行分组后探测 -----原始约会----- 发件人: Meeting_Book 发送时间: 2020年8月31日 16:57 收件人: Meeting_Book; hanxinke 主题: A-Tune新特性介绍 Time: 2020-09-04 10:00-13:00 时间: 2020年9月4日星期五 10:00-13:00(UTC+08:00) 北京，重庆，香港特别行政区，乌鲁木齐。地点: 重要性: 高 Topic [WeLink Meeting] A-Tune新特性介绍 Time 2020-09-04 10:00-13:00 ((UTC+08:00)Beijing) Join Conference Join (Host) >><http://imeeting.huawei.com/meeting/startzoom?id=2c90647973f29e3d017443bbfb7…> Join (Internal) >><http://imeeting.huawei.com/meeting/joinzoom?id=524045703&app=welink> Join (External) >><https://welink-meeting.zoom.us/j/524045703> Meeting ID 524 045 703 Convener 韩欣科 (h00369819) Internal (11) 韩欣科 (h00369819), 谢志鹏 (x00292102), 高若姝 (g00563147), 李晓光 (l00346806), 陈荔城 (c00291257), 季晓彤 (j00475226), 康恩博 (k00471948), 林晓旭 (l00279334), 李强 (l00374334), 刘可 (l50012884), 宋明聪 (s00489487) External (3) a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>, houzhx(a)nwpu.edu.cn<mailto:houzhx@nwpu.edu.cn>, zhangmiao(a)iscas.ac.cn<mailto:zhangmiao@iscas.ac.cn> 注: 会议最大支持200人同时与会。(A conference supports a maximum of 200 participants.) 外部用户加入会议提示“会议已结束或会议号不存在”，请在官网下载最新版本入会。 If external users fail to join a meeting, advise them to download the latest meeting client and try again. 下载链接( DownloadURL ):https://zoom.us/download

1 0