November 2020 - A-tune - mailweb.openeuler.org

30 Nov '20

A-Tune的各位开发人员你们好，关于刚才SIG会议上提到的abtest调参算法同样是遍历思想来完成的问题，我有以下看法： 1、固定其他参数，不断修改参数值以获取当前参数的最优值，然后固定该最优值，再调整后面的参数，这个在少量参数需要调整的时候      应该是可以快速做到这一点的。      但是，当参数数量达到100+以上的时候，abtest算法可能就要运行很长一段时间了。而我们的选参脚本是针对多个参数（几乎      涵盖tunning_param_all.yaml文件里面的所有参数）进行选参（不是调参），负载执行次数相对来说会比较少。      我们的选参脚本可以解决的就是，避免abtest算法需要穷举所有参数的所有范围来运行导致优化时间过长的问题。      先选出合理的参数，再交给atune的tuning算法来优化，可以省下不少的时间。如果一个参数本身某个评价指标是      没有什么影响的，那abtest可能会花不必要的时间来改变参数运行负载。      2、我们的脚本是针对服务器的初始状态进行选参的，在每次修改某个参数以后，我们都会将该参数恢复为默认值，然后再      测试下一个参数对能效的影响。而abtest每次获取到一个参数的最优值，就会吧这个参数固定在这个最优值上。我觉得有      些参数是具有依赖性的，如果调整好前面的参数再调后面的参数，可能会对后面参数的选择造成影响（无法分辨出哪些参数      对评价指标具有最大的影响程度）。因此，如果我们是针对选参任务来进行遍历的话，我们在遍历过程中会将参数恢复成服务器      默认的状态，区分出参数对某一评价指标（比如能效）的重要程度，根据用户输入的阈值，筛选出最具影响力的参数，再用tuning      的不同算法对这部分参数进行优化，是有意义的；这就是我对我的选参脚本和abtest不同之处的分析，不知道你们怎么看呢？           ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院  ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 -----------------------------------------------------------------------------------------------

3 5

会议纪要///答复: A-Tune & wisdom sig meeting Time: 2020-11-20 10:00-12:00
by hanxinke 20 Nov '20

20 Nov '20

本次sig会议议程： 1、启发式学习算法调研与分享，汇报人：xiezhipeng 2、A-Tune collector模块讲解，汇报人：hanxinke 与会人：A-Tune sig组成员感谢与各位的线上交流！会议纪要： xiezhipeng： 1、介绍了机器学习模型Learned Index的由来与使用场景 2、介绍了learned index在RDMA键值存储上、LSM-tree上的应用 3、介绍了在特定场景下如何利用AI推测内核IO性能 hanxinke： 1、介绍了A-Tune collector模块的安装与使用 2、演示了如何利用A-Tune collector模块进行数据采集代码仓链接：https://gitee.com/openeuler/A-Tune-Collector 问题交流以及下一步计划： 1、A-Tune collector主要专注于操作系统层的数据采集，暂未涉及到应用层的数据采集，同时也不是一个性能测试工具 2、A-Tune collector后期将会实现在多种操作系统下的适配，以及对多网卡、多磁盘的支持 3、华南理工大学李俊祺实现了一种新的参数选择方法，建议与A-Tune现有的参数选择算法做一个对比实验下次sig会议议程：（预计时间：2020-12-04 10:00-12:00）欢迎大家将想要了解的内容或者讨论的议题发送到a-tune(a)openeuler.xn--org-l86ho90g<mailto:欢迎大家将想要了解的内容或者讨论的议题发送到a-tune@openeuler.org邮箱>！敬请期待发件人: hanxinke 发送时间: 2020年11月18日 15:04 主题: A-Tune & wisdom sig meeting Time: 2020-11-20 10:00-12:00 您好！ openEuler A-Tune SIG 邀请您参加 2020-11-20 10:00 召开的ZOOM会议会议主题：A-Tune & wisdom sig meeting 会议内容：本次sig会议议程： 1、启发式学习算法调研与分享，汇报人：xiezhipeng 2、A-Tune collector模块讲解，汇报人：hanxinke 会议链接：https://zoom.us/j/92377266863?pwd=YjFlY2hESGkrSkdZdHBxeU9qbnpJZz09 欢迎大家提交议题~ Hello! openEuler A-Tune SIG invites you to attend the ZOOM conference will be held at 2020-11-20 10:00, The subject of the conference is A-Tune & wisdom sig meeting, There are two topics for the conference. 1. Heuristic learning algorithm survey and sharing 2. Introduction to the A-Tune Collector Module You can join the meeting at https://zoom.us/j/92377266863?pwd=YjFlY2hESGkrSkdZdHBxeU9qbnpJZz09. Welcome to submit your topics. Thanks.

1 0

A-Tune & wisdom sig meeting Time: 2020-11-20 10:00-12:00
by hanxinke 18 Nov '20

18 Nov '20

您好！ openEuler A-Tune SIG 邀请您参加 2020-11-20 10:00 召开的ZOOM会议会议主题：A-Tune & wisdom sig meeting 会议内容：本次sig会议议程： 1、启发式学习算法调研与分享，汇报人：xiezhipeng 2、A-Tune collector模块讲解，汇报人：hanxinke 会议链接：https://zoom.us/j/92377266863?pwd=YjFlY2hESGkrSkdZdHBxeU9qbnpJZz09 欢迎大家提交议题~ Hello! openEuler A-Tune SIG invites you to attend the ZOOM conference will be held at 2020-11-20 10:00, The subject of the conference is A-Tune & wisdom sig meeting, There are two topics for the conference. 1. Heuristic learning algorithm survey and sharing 2. Introduction to the A-Tune Collector Module You can join the meeting at https://zoom.us/j/92377266863?pwd=YjFlY2hESGkrSkdZdHBxeU9qbnpJZz09. Welcome to submit your topics. Thanks.

1 0

答复: 会议纪要///【Meeting Notice】A-Tune & wisdom sig meeting Time: 2020-11-06 10:00-12:00
by hanxinke 06 Nov '20

06 Nov '20

本次sig会议议程： 1、调度亲和性探测与映射方法介绍，汇报人：chenmingmin 2、A-Tune web UI介绍与演示，汇报人：gaoruoshu 3、新场景调优介绍，汇报人：hanxinke 与会人：A-Tune sig组成员感谢与各位的线上交流！会议纪要： chenmingmin： 1、介绍了线程间亲和性、numa内存亲和性、网络亲和性的基本概念 2、分析了业界主流的亲和性探测方法，函数调用跟踪和内存访问跟踪 3、讲解了业界主流的线程映射方法，openmp和kmaf，并对kmaf方式进行了代码实现 4、演示了kmaf绑核方式实现的调度效果分享链接：https://gitee.com/openeuler/wisdom-advisor/wikis/ gaoruoshu： 1、介绍了A-Tune web UI实现的具体原理 2、在web UI上演示了在线静态调优analysis和离线动态调优Tuning的动态曲线图 3、介绍了现有web UI的功能点，以及后期的技术演进路线代码仓链接：https://gitee.com/openeuler/A-Tune-UI hanxinke： 1、展示了当前A-Tune已经支持的业务场景下的配置参数 2、演示了一个新场景如何入手调优的具体方法代码仓链接：https://gitee.com/openeuler/A-Tune/tree/master/tuning/yamls 问题交流以及下一步计划： 1、kmaf线程映射方法是不停地进行亲和性检测，频率为100ms，平均开销在1.5% 2、页面迁移需要达到从一个节点访问的最高数量是次高数量的2倍以上，这个统计值需要达到稳定状态才行 3、当前亲和性探测方法使用了page_fault缺页统计访问信息，性能开销较大，后期将用其他跟踪方式来替代 4、当前A-Tune web UI上面采集的数据无法实时显示，后期通过增加数据库进行改进 5、analysis上面比对的数据表只是简单的增加时间戳来区分，需要提升使用者体验 6、当前A-Tune web UI只支持一个集群的调优，多个集群调优的实现方式还需要改进下次sig会议议程：（预计时间：2020-11-20 10:00-12:00）欢迎大家将想要了解的内容或者讨论的议题发送到a-tune(a)openeuler.xn--org!-nz2k235h 敬请期待

1 0

A-Tune & wisdom sig meeting Time: 2020-11-06 10:00-12:00
by hanxinke 04 Nov '20

04 Nov '20

您好！ openEuler A-Tune SIG 邀请您参加 2020-11-06 10:00 召开的ZOOM会议会议主题：A-Tune & wisdom sig meeting 本次会议议程： 1、调度亲和性探测与映射方法介绍，汇报人：chenmingmin 2、A-Tune web UI介绍与演示，汇报人：gaoruoshu 会议链接：https://zoom.us/j/99043681198?pwd=dlhvUUk3UHhzcTl5emtuTTFVSmdQUT09 欢迎大家提交议题~ Hello! openEuler A-Tune SIG invites you to attend the ZOOM conference will be held at 2020-11-06 10:00, The subject of the conference is A-Tune & wisdom sig meeting, There are two topics for the conference. 1. Scheduling Affinity Detection and Mapping 2. A-Tune Web UI Introduction and Demonstration You can join the meeting at https://zoom.us/j/99043681198?pwd=dlhvUUk3UHhzcTl5emtuTTFVSmdQUT09. Welcome to submit your topics. Thanks.

1 0