- A-tune - mailweb.openeuler.org

答复: 回复：答复: 关于A-tune的tuning功能源码一些疑问
by hanxinke 02 Dec '20

02 Dec '20

您好，在server.yaml文件中是否增加默认值，例如： [cid:image013.png@01D6C8D0.3EB9B900] 发件人: whoconli [mailto:conli_who@foxmail.com] 发送时间: 2020年12月2日 16:48 收件人: hanxinke <hanxinke(a)huawei.com> 抄送: linww <linww(a)scut.edu.cn>; 20研李俊祺 <2506534280(a)qq.com>; 18级李毓睿 <liyurui1995(a)163.com> 主题: 回复：答复: 关于A-tune的tuning功能源码一些疑问您好！我依照您的建议尝试获取调整参数的默认值，但是发现对应'ref' 字段的值都是空值 ‘ ’，这里使用的例子是key_parameters_select里面的案例。而我在engine/optimizer里面打印对应默认参数值 [cid:image001.png@01D6C8CB.CE52FDB0] 结果是 ’ref‘为空： [cid:image002.png@01D6C8CB.CE52FDB0] 在 optimizer/optimizer中lhs算法以及调参算法调用地方打印默认值，同样也是为空 [cid:image003.png@01D6C8CB.CE52FDB0] [cid:image004.png@01D6C8CB.CE52FDB0] 两个地方对应的结果： lhs算法打印结果 [cid:image005.png@01D6C8CB.CE52FDB0] tuning算法打印结果 [cid:image006.png@01D6C8CB.CE52FDB0] 注：这里只有两个值是因为我设置了lhs算法选出重要的参数只有两个因此想要向您请教这个问题该如何解决？我查了一下这个信息是从YamlObj这个结构体上来的，但是没有发现给这个结构体赋值的地方（查找执行GetScript的地方好像都没有存储默认数据） [cid:image007.png@01D6C8CB.CE52FDB0] [cid:image008.png@01D6C8CB.CE52FDB0] [cid:image009.png@01D6C8CB.CE52FDB0] ________________________________ Best regards, conli,who 胡康立 ------------------ 原始邮件 ------------------ 发件人: "hanxinke" <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; 发送时间: 2020年12月2日(星期三) 上午10:31 收件人: "whoconli"<conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>;"dev(a)openeuler.org<mailto:dev@openeuler.org>"<dev(a)openeuler.org<mailto:dev@openeuler.org>>; 抄送: "linww"<linww(a)scut.edu.cn<mailto:linww@scut.edu.cn>>;"20研李俊祺"<2506534280(a)qq.com<mailto:2506534280@qq.com>>;"18级李毓睿"<liyurui1995(a)163.com<mailto:liyurui1995@163.com>>; 主题: 答复: 关于A-tune的tuning功能源码一些疑问问题一：在atune-adm tuning命令server端是否只执行benchmark脚本，其他控制的程序（go流程控制）以及算法调优部分（python）都是在client上执行？您好， Atune-adm tuning命令运行的机器是作为client端，client端会执行benchmark脚本，因为很多benchmark会占用系统资源，放在sever端会影响业务的性能，其他go流程（rpc服务端）以及算法调优部分都运行在server端，同时算法调优部分是atune-engine服务，也支持独立机器部署。问题二：go控制代码如何获取需要调整的参数的默认值，并将这些参数的默认值发送到python调优代码中，以便我们进行参数遍历选择。您好，go这边有个Knob的数据类型，内部有个Ref字段可以存储调整参数的默认值，这些默认值会发送到python调优代码中，在python端通过[p_nob[‘ref’] for _, p_nob in enumerate(self.knobs)]的形式就可以获取你所有参数的默认值，这里将环境恢复默认值可以调用go这边的RestoreConfigTuned实现发件人: whoconli [mailto:conli_who@foxmail.com] 发送时间: 2020年12月1日 9:43 收件人: hanxinke <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>> 抄送: linww <linww(a)scut.edu.cn<mailto:linww@scut.edu.cn>>; 20研李俊祺 <2506534280(a)qq.com<mailto:2506534280@qq.com>>; 18级李毓睿 <liyurui1995(a)163.com<mailto:liyurui1995@163.com>> 主题: 关于A-tune的tuning功能源码一些疑问 A-tune开发人员您们好，在整合我们的算法到A-tune当中碰到了一些问题想要向您们请教，具体问题请见word文档，谢谢！ ________________________________ Best regards, conli,who 胡康立 ------------------ 原始邮件 ------------------ 发件人: "hanxinke" <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; 发送时间: 2020年11月30日(星期一) 中午11:00 收件人: "20研李俊祺"<2506534280(a)qq.com<mailto:2506534280@qq.com>>;"a-tune"<a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>>; 抄送: "whoconli"<conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>;"linweiwei"<147868463(a)qq.com<mailto:147868463@qq.com>>;"Fanwentao (Henry)"<fanwentao(a)huawei.com<mailto:fanwentao@huawei.com>>;"Xiezhipeng(EulerOS)"<xiezhipeng1(a)huawei.com<mailto:xiezhipeng1@huawei.com>>; 主题: 答复: 回复：答复: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本非常感谢俊祺，可以将遍历选参脚本作为一种新的调优算法合并到A-Tune中。发件人: 20研李俊祺 [mailto:2506534280@qq.com] 发送时间: 2020年11月30日 9:10 收件人: hanxinke <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; a-tune <a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>> 抄送: 胡康立 <conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>; linweiwei <147868463(a)qq.com<mailto:147868463@qq.com>> 主题: 回复：答复: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本 A-Tune的负责人你们好，按照你们的要求，我们测试了一下“遍历选参(traverse)”和“lhs”算法的选参效果，结果如下： [cid:image010.png@01D6C8CB.CE52FDB0] origin是遍历选参脚本选出的参数（最优），‘lhs’算法的结果或多或少会漏掉部分重要参数。如果你们能够接受，我们就开始合并代码的相关工作。 ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院 ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 ----------------------------------------------------------------------------------------------- ------------------ 原始邮件 ------------------ 发件人: "hanxinke" <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; 发送时间: 2020年11月20日(星期五) 下午3:39 收件人: "20研李俊祺"<2506534280(a)qq.com<mailto:2506534280@qq.com>>;"a-tune"<a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>>; 抄送: "linweiwei"<147868463(a)qq.com<mailto:147868463@qq.com>>;"胡康立"<conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>; 主题: 答复: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本俊祺，您好，感谢您能参与到A-Tune的算法研究与开发中！我发表下看法： 1、Abtest确实如您说的有局限性，它的适用场景是已知参数量比较少，同时这几个参数都有正向作用的场景，它并不适用与重要参数选择。 2、您的这个算法偏向于重要参数选择，适用的场景应该是参数量比较多，同时有很多参数对你的性能有影响的场景，它在参数量很多，但是很多参数对性能没有影响的场景会花费很多时间 3、我们这边在参数选择这块实现了lhs算法，它能够在参数量比较多的场景中花费更少的时间选择出重要的参数，您看能否在您的这个场景中尝试下这个lhs算法，并跟您的这个算法做下比较发件人: 20研李俊祺 [mailto:2506534280@qq.com] 发送时间: 2020年11月20日 11:42 收件人: a-tune <a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>> 抄送: linweiwei <147868463(a)qq.com<mailto:147868463@qq.com>>; 胡康立 <conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>> 主题: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本附：脚本的Input和Output，及相关截图： Input：“yaml参数文件”、“负载执行命令”、“能效判别阈值x”、“至少应被选中的y%的参数”、 “运行记录文件的输出路径”、“被选中参数的yaml文件输出路径”；运行记录文件： [cid:image011.jpg@01D6C8CB.CE52FDB0] 运行过程的log： [cid:image012.jpg@01D6C8CB.CE52FDB0] 另外，该脚本会根据用户输入的阈值输出yaml文件。 ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院 ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 ----------------------------------------------------------------------------------------------- ------------------ 原始邮件 ------------------ 发件人: "20研李俊祺" <2506534280(a)qq.com<mailto:2506534280@qq.com>>; 发送时间: 2020年11月20日(星期五) 中午11:34 收件人: "a-tune"<a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>>; 抄送: "linweiwei"<147868463(a)qq.com<mailto:147868463@qq.com>>;"胡康立"<conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>; 主题: 关于今天SIG上提出的遍历选参脚本 A-Tune的各位开发人员你们好，关于刚才SIG会议上提到的abtest调参算法同样是遍历思想来完成的问题，我有以下看法： 1、固定其他参数，不断修改参数值以获取当前参数的最优值，然后固定该最优值，再调整后面的参数，这个在少量参数需要调整的时候应该是可以快速做到这一点的。但是，当参数数量达到100+以上的时候，abtest算法可能就要运行很长一段时间了。而我们的选参脚本是针对多个参数（几乎涵盖tunning_param_all.yaml文件里面的所有参数）进行选参（不是调参），负载执行次数相对来说会比较少。我们的选参脚本可以解决的就是，避免abtest算法需要穷举所有参数的所有范围来运行导致优化时间过长的问题。先选出合理的参数，再交给atune的tuning算法来优化，可以省下不少的时间。如果一个参数本身某个评价指标是没有什么影响的，那abtest可能会花不必要的时间来改变参数运行负载。 2、我们的脚本是针对服务器的初始状态进行选参的，在每次修改某个参数以后，我们都会将该参数恢复为默认值，然后再测试下一个参数对能效的影响。而abtest每次获取到一个参数的最优值，就会吧这个参数固定在这个最优值上。我觉得有些参数是具有依赖性的，如果调整好前面的参数再调后面的参数，可能会对后面参数的选择造成影响（无法分辨出哪些参数对评价指标具有最大的影响程度）。因此，如果我们是针对选参任务来进行遍历的话，我们在遍历过程中会将参数恢复成服务器默认的状态，区分出参数对某一评价指标（比如能效）的重要程度，根据用户输入的阈值，筛选出最具影响力的参数，再用tuning 的不同算法对这部分参数进行优化，是有意义的；这就是我对我的选参脚本和abtest不同之处的分析，不知道你们怎么看呢？ ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院 ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 -----------------------------------------------------------------------------------------------

1 0

A-Tune & wisdom sig meeting Time: 2020-12-04 10:00-12:00
by hanxinke 02 Dec '20

02 Dec '20

您好！ openEuler A-Tune SIG 邀请您参加 2020-12-04 10:00 召开的ZOOM会议会议主题：A-Tune & wisdom sig meeting 会议内容：本次sig会议议程： 1、强化学习算法调研与分享，汇报人：songmingcong 2、新增调优示例方法介绍，汇报人：hanxinke 会议链接：https://zoom.us/j/92930493562?pwd=dEE4bnRBRDZKbVhwVDk2Zm5PdFVBQT09 欢迎大家提交议题~ Hello! openEuler A-Tune SIG invites you to attend the ZOOM conference will be held at 2020-12-04 10:00, The subject of the conference is A-Tune & wisdom sig meeting, There are two topics for the conference. 1. Reinforcement learning algorithm survey and sharing 2. Describe how to add optimization examples. You can join the meeting at https://zoom.us/j/92930493562?pwd=dEE4bnRBRDZKbVhwVDk2Zm5PdFVBQT09. Welcome to submit your topics. Thanks.

1 0

转发: 关于A-tune的tuning功能源码一些疑问
by hanxinke 02 Dec '20

02 Dec '20

问题一：在atune-adm tuning命令server端是否只执行benchmark脚本，其他控制的程序（go流程控制）以及算法调优部分（python）都是在client上执行？您好， Atune-adm tuning命令运行的机器是作为client端，client端会执行benchmark脚本，因为很多benchmark会占用系统资源，放在sever端会影响业务的性能，其他go流程（rpc服务端）以及算法调优部分都运行在server端，同时算法调优部分是atune-engine服务，也支持独立机器部署。问题二：go控制代码如何获取需要调整的参数的默认值，并将这些参数的默认值发送到python调优代码中，以便我们进行参数遍历选择。您好，go这边有个Knob的数据类型，内部有个Ref字段可以存储调整参数的默认值，这些默认值会发送到python调优代码中，在python端通过[p_nob[‘ref’] for _, p_nob in enumerate(self.knobs)]的形式就可以获取你所有参数的默认值，这里将环境恢复默认值可以调用go这边的RestoreConfigTuned实现发件人: whoconli [mailto:conli_who@foxmail.com] 发送时间: 2020年12月1日 9:43 收件人: hanxinke <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>> 抄送: linww <linww(a)scut.edu.cn<mailto:linww@scut.edu.cn>>; 20研李俊祺 <2506534280(a)qq.com<mailto:2506534280@qq.com>>; 18级李毓睿 <liyurui1995(a)163.com<mailto:liyurui1995@163.com>> 主题: 关于A-tune的tuning功能源码一些疑问 A-tune开发人员您们好，在整合我们的算法到A-tune当中碰到了一些问题想要向您们请教，具体问题请见word文档，谢谢！ ________________________________ Best regards, conli,who 胡康立 ------------------ 原始邮件 ------------------ 发件人: "hanxinke" <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; 发送时间: 2020年11月30日(星期一) 中午11:00 收件人: "20研李俊祺"<2506534280(a)qq.com<mailto:2506534280@qq.com>>;"a-tune"<a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>>; 抄送: "whoconli"<conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>;"linweiwei"<147868463(a)qq.com<mailto:147868463@qq.com>>;"Fanwentao (Henry)"<fanwentao(a)huawei.com<mailto:fanwentao@huawei.com>>;"Xiezhipeng(EulerOS)"<xiezhipeng1(a)huawei.com<mailto:xiezhipeng1@huawei.com>>; 主题: 答复: 回复：答复: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本非常感谢俊祺，可以将遍历选参脚本作为一种新的调优算法合并到A-Tune中。发件人: 20研李俊祺 [mailto:2506534280@qq.com] 发送时间: 2020年11月30日 9:10 收件人: hanxinke <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; a-tune <a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>> 抄送: 胡康立 <conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>; linweiwei <147868463(a)qq.com<mailto:147868463@qq.com>> 主题: 回复：答复: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本 A-Tune的负责人你们好，按照你们的要求，我们测试了一下“遍历选参(traverse)”和“lhs”算法的选参效果，结果如下： [cid:image001.png@01D6C88F.D0D13B60] origin是遍历选参脚本选出的参数（最优），‘lhs’算法的结果或多或少会漏掉部分重要参数。如果你们能够接受，我们就开始合并代码的相关工作。 ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院 ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 ----------------------------------------------------------------------------------------------- ------------------ 原始邮件 ------------------ 发件人: "hanxinke" <hanxinke(a)huawei.com<mailto:hanxinke@huawei.com>>; 发送时间: 2020年11月20日(星期五) 下午3:39 收件人: "20研李俊祺"<2506534280(a)qq.com<mailto:2506534280@qq.com>>;"a-tune"<a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>>; 抄送: "linweiwei"<147868463(a)qq.com<mailto:147868463@qq.com>>;"胡康立"<conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>; 主题: 答复: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本俊祺，您好，感谢您能参与到A-Tune的算法研究与开发中！我发表下看法： 1、Abtest确实如您说的有局限性，它的适用场景是已知参数量比较少，同时这几个参数都有正向作用的场景，它并不适用与重要参数选择。 2、您的这个算法偏向于重要参数选择，适用的场景应该是参数量比较多，同时有很多参数对你的性能有影响的场景，它在参数量很多，但是很多参数对性能没有影响的场景会花费很多时间 3、我们这边在参数选择这块实现了lhs算法，它能够在参数量比较多的场景中花费更少的时间选择出重要的参数，您看能否在您的这个场景中尝试下这个lhs算法，并跟您的这个算法做下比较发件人: 20研李俊祺 [mailto:2506534280@qq.com] 发送时间: 2020年11月20日 11:42 收件人: a-tune <a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>> 抄送: linweiwei <147868463(a)qq.com<mailto:147868463@qq.com>>; 胡康立 <conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>> 主题: [A-tune] 回复：关于今天SIG上提出的遍历选参脚本附：脚本的Input和Output，及相关截图： Input：“yaml参数文件”、“负载执行命令”、“能效判别阈值x”、“至少应被选中的y%的参数”、 “运行记录文件的输出路径”、“被选中参数的yaml文件输出路径”；运行记录文件： [cid:image002.jpg@01D6C88F.D0D13B60] 运行过程的log： [cid:image003.jpg@01D6C88F.D0D13B60] 另外，该脚本会根据用户输入的阈值输出yaml文件。 ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院 ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 ----------------------------------------------------------------------------------------------- ------------------ 原始邮件 ------------------ 发件人: "20研李俊祺" <2506534280(a)qq.com<mailto:2506534280@qq.com>>; 发送时间: 2020年11月20日(星期五) 中午11:34 收件人: "a-tune"<a-tune(a)openeuler.org<mailto:a-tune@openeuler.org>>; 抄送: "linweiwei"<147868463(a)qq.com<mailto:147868463@qq.com>>;"胡康立"<conli_who(a)foxmail.com<mailto:conli_who@foxmail.com>>; 主题: 关于今天SIG上提出的遍历选参脚本 A-Tune的各位开发人员你们好，关于刚才SIG会议上提到的abtest调参算法同样是遍历思想来完成的问题，我有以下看法： 1、固定其他参数，不断修改参数值以获取当前参数的最优值，然后固定该最优值，再调整后面的参数，这个在少量参数需要调整的时候应该是可以快速做到这一点的。但是，当参数数量达到100+以上的时候，abtest算法可能就要运行很长一段时间了。而我们的选参脚本是针对多个参数（几乎涵盖tunning_param_all.yaml文件里面的所有参数）进行选参（不是调参），负载执行次数相对来说会比较少。我们的选参脚本可以解决的就是，避免abtest算法需要穷举所有参数的所有范围来运行导致优化时间过长的问题。先选出合理的参数，再交给atune的tuning算法来优化，可以省下不少的时间。如果一个参数本身某个评价指标是没有什么影响的，那abtest可能会花不必要的时间来改变参数运行负载。 2、我们的脚本是针对服务器的初始状态进行选参的，在每次修改某个参数以后，我们都会将该参数恢复为默认值，然后再测试下一个参数对能效的影响。而abtest每次获取到一个参数的最优值，就会吧这个参数固定在这个最优值上。我觉得有些参数是具有依赖性的，如果调整好前面的参数再调后面的参数，可能会对后面参数的选择造成影响（无法分辨出哪些参数对评价指标具有最大的影响程度）。因此，如果我们是针对选参任务来进行遍历的话，我们在遍历过程中会将参数恢复成服务器默认的状态，区分出参数对某一评价指标（比如能效）的重要程度，根据用户输入的阈值，筛选出最具影响力的参数，再用tuning 的不同算法对这部分参数进行优化，是有意义的；这就是我对我的选参脚本和abtest不同之处的分析，不知道你们怎么看呢？ ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院 ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 -----------------------------------------------------------------------------------------------

1 0

关于今天SIG上提出的遍历选参脚本
by 20研李俊祺 30 Nov '20

30 Nov '20

A-Tune的各位开发人员你们好，关于刚才SIG会议上提到的abtest调参算法同样是遍历思想来完成的问题，我有以下看法： 1、固定其他参数，不断修改参数值以获取当前参数的最优值，然后固定该最优值，再调整后面的参数，这个在少量参数需要调整的时候      应该是可以快速做到这一点的。      但是，当参数数量达到100+以上的时候，abtest算法可能就要运行很长一段时间了。而我们的选参脚本是针对多个参数（几乎      涵盖tunning_param_all.yaml文件里面的所有参数）进行选参（不是调参），负载执行次数相对来说会比较少。      我们的选参脚本可以解决的就是，避免abtest算法需要穷举所有参数的所有范围来运行导致优化时间过长的问题。      先选出合理的参数，再交给atune的tuning算法来优化，可以省下不少的时间。如果一个参数本身某个评价指标是      没有什么影响的，那abtest可能会花不必要的时间来改变参数运行负载。      2、我们的脚本是针对服务器的初始状态进行选参的，在每次修改某个参数以后，我们都会将该参数恢复为默认值，然后再      测试下一个参数对能效的影响。而abtest每次获取到一个参数的最优值，就会吧这个参数固定在这个最优值上。我觉得有      些参数是具有依赖性的，如果调整好前面的参数再调后面的参数，可能会对后面参数的选择造成影响（无法分辨出哪些参数      对评价指标具有最大的影响程度）。因此，如果我们是针对选参任务来进行遍历的话，我们在遍历过程中会将参数恢复成服务器      默认的状态，区分出参数对某一评价指标（比如能效）的重要程度，根据用户输入的阈值，筛选出最具影响力的参数，再用tuning      的不同算法对这部分参数进行优化，是有意义的；这就是我对我的选参脚本和abtest不同之处的分析，不知道你们怎么看呢？           ----------------------------------------------------------------------------------------------- Best Regard, LI C：李俊祺，20级研究生，华南理工大学计算机科学与工程学院  ChunKi LI，Grade 2020 graduate student，South China University of Technology 研究方向：基于群智能的云计算调度优化和节能技术 -----------------------------------------------------------------------------------------------

3 5

会议纪要///答复: A-Tune & wisdom sig meeting Time: 2020-11-20 10:00-12:00
by hanxinke 20 Nov '20

20 Nov '20

本次sig会议议程： 1、启发式学习算法调研与分享，汇报人：xiezhipeng 2、A-Tune collector模块讲解，汇报人：hanxinke 与会人：A-Tune sig组成员感谢与各位的线上交流！会议纪要： xiezhipeng： 1、介绍了机器学习模型Learned Index的由来与使用场景 2、介绍了learned index在RDMA键值存储上、LSM-tree上的应用 3、介绍了在特定场景下如何利用AI推测内核IO性能 hanxinke： 1、介绍了A-Tune collector模块的安装与使用 2、演示了如何利用A-Tune collector模块进行数据采集代码仓链接：https://gitee.com/openeuler/A-Tune-Collector 问题交流以及下一步计划： 1、A-Tune collector主要专注于操作系统层的数据采集，暂未涉及到应用层的数据采集，同时也不是一个性能测试工具 2、A-Tune collector后期将会实现在多种操作系统下的适配，以及对多网卡、多磁盘的支持 3、华南理工大学李俊祺实现了一种新的参数选择方法，建议与A-Tune现有的参数选择算法做一个对比实验下次sig会议议程：（预计时间：2020-12-04 10:00-12:00）欢迎大家将想要了解的内容或者讨论的议题发送到a-tune(a)openeuler.xn--org-l86ho90g<mailto:欢迎大家将想要了解的内容或者讨论的议题发送到a-tune@openeuler.org邮箱>！敬请期待发件人: hanxinke 发送时间: 2020年11月18日 15:04 主题: A-Tune & wisdom sig meeting Time: 2020-11-20 10:00-12:00 您好！ openEuler A-Tune SIG 邀请您参加 2020-11-20 10:00 召开的ZOOM会议会议主题：A-Tune & wisdom sig meeting 会议内容：本次sig会议议程： 1、启发式学习算法调研与分享，汇报人：xiezhipeng 2、A-Tune collector模块讲解，汇报人：hanxinke 会议链接：https://zoom.us/j/92377266863?pwd=YjFlY2hESGkrSkdZdHBxeU9qbnpJZz09 欢迎大家提交议题~ Hello! openEuler A-Tune SIG invites you to attend the ZOOM conference will be held at 2020-11-20 10:00, The subject of the conference is A-Tune & wisdom sig meeting, There are two topics for the conference. 1. Heuristic learning algorithm survey and sharing 2. Introduction to the A-Tune Collector Module You can join the meeting at https://zoom.us/j/92377266863?pwd=YjFlY2hESGkrSkdZdHBxeU9qbnpJZz09. Welcome to submit your topics. Thanks.

1 0

A-Tune & wisdom sig meeting Time: 2020-11-20 10:00-12:00
by hanxinke 18 Nov '20

18 Nov '20

您好！ openEuler A-Tune SIG 邀请您参加 2020-11-20 10:00 召开的ZOOM会议会议主题：A-Tune & wisdom sig meeting 会议内容：本次sig会议议程： 1、启发式学习算法调研与分享，汇报人：xiezhipeng 2、A-Tune collector模块讲解，汇报人：hanxinke 会议链接：https://zoom.us/j/92377266863?pwd=YjFlY2hESGkrSkdZdHBxeU9qbnpJZz09 欢迎大家提交议题~ Hello! openEuler A-Tune SIG invites you to attend the ZOOM conference will be held at 2020-11-20 10:00, The subject of the conference is A-Tune & wisdom sig meeting, There are two topics for the conference. 1. Heuristic learning algorithm survey and sharing 2. Introduction to the A-Tune Collector Module You can join the meeting at https://zoom.us/j/92377266863?pwd=YjFlY2hESGkrSkdZdHBxeU9qbnpJZz09. Welcome to submit your topics. Thanks.

1 0

答复: 会议纪要///【Meeting Notice】A-Tune & wisdom sig meeting Time: 2020-11-06 10:00-12:00
by hanxinke 06 Nov '20

06 Nov '20

本次sig会议议程： 1、调度亲和性探测与映射方法介绍，汇报人：chenmingmin 2、A-Tune web UI介绍与演示，汇报人：gaoruoshu 3、新场景调优介绍，汇报人：hanxinke 与会人：A-Tune sig组成员感谢与各位的线上交流！会议纪要： chenmingmin： 1、介绍了线程间亲和性、numa内存亲和性、网络亲和性的基本概念 2、分析了业界主流的亲和性探测方法，函数调用跟踪和内存访问跟踪 3、讲解了业界主流的线程映射方法，openmp和kmaf，并对kmaf方式进行了代码实现 4、演示了kmaf绑核方式实现的调度效果分享链接：https://gitee.com/openeuler/wisdom-advisor/wikis/ gaoruoshu： 1、介绍了A-Tune web UI实现的具体原理 2、在web UI上演示了在线静态调优analysis和离线动态调优Tuning的动态曲线图 3、介绍了现有web UI的功能点，以及后期的技术演进路线代码仓链接：https://gitee.com/openeuler/A-Tune-UI hanxinke： 1、展示了当前A-Tune已经支持的业务场景下的配置参数 2、演示了一个新场景如何入手调优的具体方法代码仓链接：https://gitee.com/openeuler/A-Tune/tree/master/tuning/yamls 问题交流以及下一步计划： 1、kmaf线程映射方法是不停地进行亲和性检测，频率为100ms，平均开销在1.5% 2、页面迁移需要达到从一个节点访问的最高数量是次高数量的2倍以上，这个统计值需要达到稳定状态才行 3、当前亲和性探测方法使用了page_fault缺页统计访问信息，性能开销较大，后期将用其他跟踪方式来替代 4、当前A-Tune web UI上面采集的数据无法实时显示，后期通过增加数据库进行改进 5、analysis上面比对的数据表只是简单的增加时间戳来区分，需要提升使用者体验 6、当前A-Tune web UI只支持一个集群的调优，多个集群调优的实现方式还需要改进下次sig会议议程：（预计时间：2020-11-20 10:00-12:00）欢迎大家将想要了解的内容或者讨论的议题发送到a-tune(a)openeuler.xn--org!-nz2k235h 敬请期待

1 0

A-Tune & wisdom sig meeting Time: 2020-11-06 10:00-12:00
by hanxinke 04 Nov '20

04 Nov '20

您好！ openEuler A-Tune SIG 邀请您参加 2020-11-06 10:00 召开的ZOOM会议会议主题：A-Tune & wisdom sig meeting 本次会议议程： 1、调度亲和性探测与映射方法介绍，汇报人：chenmingmin 2、A-Tune web UI介绍与演示，汇报人：gaoruoshu 会议链接：https://zoom.us/j/99043681198?pwd=dlhvUUk3UHhzcTl5emtuTTFVSmdQUT09 欢迎大家提交议题~ Hello! openEuler A-Tune SIG invites you to attend the ZOOM conference will be held at 2020-11-06 10:00, The subject of the conference is A-Tune & wisdom sig meeting, There are two topics for the conference. 1. Scheduling Affinity Detection and Mapping 2. A-Tune Web UI Introduction and Demonstration You can join the meeting at https://zoom.us/j/99043681198?pwd=dlhvUUk3UHhzcTl5emtuTTFVSmdQUT09. Welcome to submit your topics. Thanks.

1 0

A-tune的通用性
by Erik Yuan 29 Oct '20

29 Oct '20

Hi, 对A-tune有个直白的问题，是否一个通用的纯软件tools? 主要是否一个通用的Linux系统上的工具，不依赖于特定OS？是否依赖于特定的硬件架构/特性？谢谢！

2 4

答复: 会议纪要///【Meeting Notice】A-Tune & wisdom sig meeting Time: 2020-10-23 10:00-12:00
by hanxinke 23 Oct '20

23 Oct '20

本次sig会议议程： 1、numa系统动态调优算法介绍，汇报人：hanxinke 2、A-Tune监控负载功能实现探讨，汇报人：liuke 与会人：A-Tune团队成员、中科院、西北工业大学、华南理工大学感谢与各位的线上交流！会议纪要： hanxinke： 1、分析了smp系统与numa系统的差异，并对业界在numa系统上的调优做了简单介绍 2、介绍了A-Tune在numa系统动态调度上的研究与实现 3、演示了A-Tune重要参数选择的最新研究成果 liuke： 1、介绍了A-Tune analysis工具实现监控负载能力的具体实现原理 2、探讨了实现监控负载能力遇到的一些技术问题问题交流以及下一步计划： 1、多个评价指标的权重分配由使用者决定，该值可以根据评价指标的取值范围以及重要性排序进行缩放调节，取值可以大于100 2、用户采集的新数据可以放置到A-Tune数据集中，并重新生成模型，用于新应用的识别 3、A-Tune监控负载能力需要指定进程pid，此时业务进程已经运行，无法采集到业务进程的全量数据，建议修改 4、A-Tune监控负载能力只需要负责数据采集，不需要每隔一段时间进行负载识别，建议修改下次sig会议议程：（预计时间：2020-11-06 10:00-12:00）欢迎大家将想要了解的内容或者讨论的议题发送到a-tune(a)openeuler.xn--org!-nz2k235h 敬请期待

1 0

2024

2023

2022

2021

2020

2019

A-tune