--op_select_implmode【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge功能说明该参数功能已停止演进后续版本会废弃推荐使用--op_precision_mode参数。AI处理器部分内置算子有高精度和高性能实现方式用户可以通过该参数配置模型编译时算子选择哪种实现方式。高精度是指在float16输入场景通过泰勒展开/牛顿迭代等手段进一步提升算子的精度高性能是指在float16输入的情况下不影响网络精度前提下的最优性能实现。关联参数无。参数取值high_precision表示算子采用高精度实现模式。该选项采用系统内置的配置文件设置算子实现模式内置配置文件路径为${INSTALL_DIR}/opp/built-in/op_impl/ai_core/tbe/impl_mode/high_precision.ini。为保持兼容该参数仅对high_precision.ini文件中算子列表生效通过该列表可以控制算子生效的范围并保证之前版本的网络模型不受影响。high_performance默认值表示算子采用高性能实现模式。该选项采用系统内置的配置文件设置算子实现模式内置配置文件路径为${INSTALL_DIR}/opp/built-in/op_impl/ai_core/tbe/impl_mode/high_performance.ini。为保持兼容该参数仅对high_performance.ini文件中算子列表生效通过该列表可以控制算子生效的范围并保证之前版本的网络模型不受影响。high_precision_for_all表示算子采用高精度实现模式。该选项采用系统内置的配置文件设置算子实现模式内置配置文件路径为${INSTALL_DIR}/opp/built-in/op_impl/ai_core/tbe/impl_mode/high_precision_for_all.ini该文件中列表后续可能会跟随版本更新。该实现模式不保证兼容如果后续新的软件包中有算子新增了实现模式即配置文件中新增了某个算子的实现模式之前版本使用high_precision_for_all的网络模型在新版本上性能可能会下降。high_performance_for_all表示算子采用高性能实现模式。该选项采用系统内置的配置文件设置算子实现模式内置配置文件路径为${INSTALL_DIR}/opp/built-in/op_impl/ai_core/tbe/impl_mode/high_performance_for_all.ini该文件中列表后续可能会跟随版本更新。该实现模式不保证兼容如果后续新的软件包中有算子新增了实现模式即配置文件中新增了某个算子的实现模式之前版本使用high_performance_for_all的网络模型在新版本上精度可能会下降。上述实现模式根据算子的dtype进行区分。${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。以root用户安装为例安装后文件默认存储路径为/usr/local/Ascend/cann。推荐配置及收益不建议用户使用--op_select_implmode参数设置算子的实现模式该参数仅作为调测使用推荐通过--op_precision_mode参数加载ini配置文件方式设置算子精度模式如果用户对性能有更高要求则建议优先使用high_performance_for_all参数若经过验证性能满足要求则建议用户复制一份high_performance_for_all.ini文件并且重命名为“网络模型.ini”文件跟随网络使用不同网络模型使用不同的ini文件后续模型转换时可以直接使用--op_precision_mode参数加载保存的“网络模型.ini”配置文件。如果用户对精度有更高要求则建议优先使用high_precision_for_all参数若经过验证精度满足要求则建议用户复制一份high_precision_for_all.ini文件并且重命名为“网络模型.ini”文件跟随网络使用不同网络模型使用不同的ini文件后续模型转换时可以直接使用--op_precision_mode参数加载保存的_“网络模型.ini”_配置文件。如果用户在使用high_performance_for_all时虽然性能得到很大的提升但是发现精度不满足要求发现是由于xxx算子使用了高性能模式引起的则需要复制一份high_performance_for_all.ini文件重命名为“网络模型.ini”文件并将文件中该xxx算子的实现模式调整为高精度模式后续模型转换时直接使用--op_precision_mode参数加载“网络模型.ini”配置文件。如果用户在使用high_precision_for_all时虽然精度得到很大的提升但是发现性能下降较厉害发现是由于xxx算子使用了高精度模式引起的则需要复制一份high_precision_for_all.ini文件重命名为“网络模型.ini”文件并将文件中该xxx算子的实现模式调整为高性能模式后续模型转换时直接使用--op_precision_mode参数加载“网络模型.ini”配置文件。high_*.ini文件中算子的实现模式以all_ops_impl_mode.ini文件路径为${INSTALL_DIR}/opp/built-in/op_impl/ai_core/tbe/impl_mode所列出的为准不在该文件中的实现模式不支持配置。上述路径中的${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。以root用户安装为例安装后文件默认存储路径为/usr/local/Ascend/cann。示例atc --op_select_implmodehigh_precision ...使用约束如果有新支持精度模式的算子也选择高性能或者高精度模式又不想破坏已有网络的精度或性能则可以通过如下两种方式进行配置通过--optypelist_for_implmode参数指定新增的具体算子--op_select_implmodehigh_precision --optypelist_for_implmode算子optype通过--op_precision_mode参数设置算子的精度模式构造算子精度模式配置文件_op_precision.ini_并在该文件中设置算子的精度模式每一行设置一个算子的精度模式样例如下optype1high_precision optype2high_performance将配置好的_op_precision.ini_文件上传到ATC工具所在服务器任意目录例如上传到$HOME/conf使用示例如下--op_precision_mode$HOME/conf/op_precision.ini--op_select_implmode参数表示设置网络模型中所有算子的高精度或高性能模式如果算子实现了高精度和高性能则运行时选择--op_select_implmode参数指定的模式如果算子只实现了一种则按照算子实现的方式运行例如某个算子当前只支持高精度而--op_select_implmode设置为高性能则--op_select_implmode参数对于该算子不生效使用该算子当前实现的高精度方式运行。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
