ncnn2int8量化时出现“Floating point exception (core dumped)”求助

[viethung2002]

内容:
大家好，
我在使用ncnn对YOLO模型进行量化时，执行以下命令：

./ncnn2int8 yolo11n.ncnn-opt.param yolo11n.ncnn-opt.bin yolo11n-int8.param yolo11n-int8.bin yolo11n.ncnn.table

运行到某些卷积层时，出现报错：

quantize_convolution conv_80

...
quantize_convolutiondepthwise convdw_174
quantize_convolutiondepthwise convdw_175
quantize_convolutiondepthwise convdw_176
quantize_convolutiondepthwise convdw_177
quantize_convolutiondepthwise convdw_178
quantize_convolutiondepthwise convdw_179
quantize_convolutiondepthwise convdw_180
Floating point exception (core dumped)
Floating point exception (core dumped)

我已经检查过table文件和param/bin文件都是有效的。
不清楚为什么会出现floating point错误。
请问有谁对ncnn2int8量化有经验，能帮我分析原因并给出解决方法吗？

非常感谢！

[dosubot]

Hi @viethung2002! I'm Dosu and I’m helping the ncnn team.

你遇到的 ncnn2int8 “Floating point exception (core dumped)” 问题，根本原因通常是量化表（table）里某些卷积层的 scale 值为 0、NaN 或 Inf，导致量化时出现除零或非法浮点操作。这种情况多发生在权重全为零或某些通道极小的情况下，ncnn2table 生成 scale 时没有做健壮性检查，scale=127/absmax，如果 absmax=0 就会出错，最终在 ncnn2int8 量化卷积或 depthwise 卷积时触发异常代码分析。

近期 ncnn 已经合入了多项修复，提升了量化和反量化的健壮性，尤其是 2025 年 2 月和 6 月的 PR（如#5893、#6109），建议务必升级到最新版本的 ncnn 工具链再尝试。

排查和解决建议：

1. 检查 table 文件中出错层（如 conv_80、convdw_174）对应的 scale 是否为 0、NaN 或 Inf。可以直接用文本编辑器或脚本查看。
2. 若 scale 异常，建议重新准备校准数据，确保输入分布和训练一致，重新用 ncnn2table 生成 table 文件。
3. 升级 ncnn 到 2025 年 2 月之后的版本，相关量化和反量化的 bug 已有修复#5893。
4. 如果个别层 scale 异常且无法修复，可在 table 文件中注释掉该层的 scale 行，ncnn2int8 会跳过该层的 int8 量化，使用 float32 推理（混合精度），以保证流程不中断官方说明。
5. 如果模型是 onnx/pytorch 转换而来，建议用最新版 pnnx 工具重新转换，避免模型结构转换 bug 导致量化异常#6081。

如果还有问题，可以贴出出错层的 scale 值和 table 片段，进一步定位。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}   

[viethung2002]

Hi @dosu,

感谢你的分析和建议！我检查了我的 ncnn2table 输出，scale 值都正常，没有出现 0、NaN 或 Inf。下面是部分 table 输出（生成方法：method=aciq，输入 shape=[640,640,3]）：

conv_1 : max = 255.000000 threshold = 204.151047 scale = 0.622088
conv_2 : max = 20980.255859 threshold = 16626.929688 scale = 0.007638
conv_3 : max = 33050.593750 threshold = 26851.130859 scale = 0.004730
...
conv_80 : max = 155.980652 threshold = 145.183640 scale = 0.874754
convdw_174 : max = 100.183907 threshold = 91.205856 scale = 1.392454
...
convdw_180 : max = 66.854729 threshold = 62.227032 scale = 2.040914

可以看到 conv_80 和 convdw_174 的 scale 都是正常的浮点数，没有 0 或非法值。我的 ncnn repo 也是最新版本。

但在运行：

./ncnn2int8 yolo11n.ncnn-opt.param yolo11n.ncnn-opt.bin yolo11n-int8.param yolo11n-int8.bin yolo11n.ncnn.table

到 conv_80 或 convdw_174 时依然会出现：

Floating point exception (core dumped)

我想确认一下：在这种情况下，是否有可能是 ncnn2int8 对于部分高动态范围或 depthwise 卷积层存在潜在除零/溢出 bug？或者还有其他可能导致 core dump 的原因？

我目前使用的是 最新 ncnn 2025 版本，校准 table 是用 aciq 方法生成的，输入图片约 5000 张。

希望能进一步定位问题，非常感谢！

[dosubot]

你的 calibration table scale 看起来正常，但 ncnn2int8 在 depthwise 卷积（如 convdw_174）和部分普通卷积（如 conv_80）量化时依然会出现 floating point exception，这是 ncnn 社区已知的复现问题，并不总是由 scale=0/NaN/Inf 导致。实际代码在量化时只检查 weight scale 是否为零，没有对 bottom blob scale 做防御性检查，如果 bottom_blob_int8_scales 某个 group 恰好为零或极小值，会直接导致除零或溢出异常，即使 table 文件表面正常代码分析。

这种情况可能由 silent channel、统计异常、table/model entry mismatch 或极端高动态范围导致，尤其是 depthwise 卷积对 channel 分布极为敏感。即使 scale 看起来没问题，还是可能有某个 group/通道的 scale 实际为零或极小。

排查建议：

1. 用脚本遍历 table 文件和 param/bin，检查所有 scale 是否有极小值（如 < 1e-6），尤其是 depthwise 卷积的每个 group。
2. 检查模型转换流程，确保 param/bin 和 table 的 layer/channel 对齐，建议用最新版 pnnx 重新转换模型。
3. 若定位到某层某 group scale 异常，可在 table 文件注释掉该行，触发混合精度（float32）推理，跳过 int8 量化，流程不中断官方说明。
4. 若无法定位具体异常，可尝试缩小 calibration 数据集，或用 KL/EQ 方法重新生成 table，观察是否有改善。
5. 该问题已在多条 issue 复现，近期 PR（如 fix requantize pack4to8 #5893, dequantize pack8 for all datatypes, fix convdw int8 dequant pack8 #6109）虽有修复，但仍有极端 case 可能触发社区讨论。

如果需要进一步定位，可以贴出出错层的 scale 数组（每个 group/channel），或用脚本打印出所有 scale 的最小值分布。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}   

[viethung2002]

Hi @dosu / ncnn 社区朋友们，

我目前的流程是：

YOLO → PNNX → NCNN → INT8

我已经严格按照 ncnn 的官方指导操作：

成功生成了 param 和 bin 文件。

可以用 example/yolo11.cpp 里的代码运行浮点 FP32 模型，推理正常。

但是，将模型量化到 INT8 对我来说非常困难：

使用 ncnn2table 可以生成 calibration table。

但是 ncnn2int8 在 depthwise 卷积或某些卷积层仍然出现 Floating point exception (core dumped)。

我不确定该如何安全地完成 INT8 量化。

如果可能的话，希望社区能帮我：

直接转换我的 YOLO 模型到 NCNN INT8，或者

提供详细步骤指导，包括：

校准数据准备

ncnn2table 参数选择（method=aciq/kl/eq）

ncnn2int8 调用方式

如果遇到 depthwise 卷积 scale 极小，如何处理（mixed precision 等）

非常感谢大家的帮助！🙏
file pram and bin
https://drive.google.com/drive/folders/1YSM7gnf3O0K0-zpUWJFCH5zsJO7Gi6W_?usp=sharing

[dosubot]

你的 INT8 量化流程和遇到的 floating point exception 问题，社区和官方文档都已确认是 ncnn2int8 在 depthwise 卷积等极端 case 下的已知问题，和 scale=0/NaN/Inf 不一定直接相关，可能由 silent channel、统计异常或 table/model entry mismatch 导致，即使表面 scale 正常也会触发参考。

安全 INT8 量化 YOLO 到 NCNN 的详细步骤如下：

1. 校准数据准备

   • 推荐用验证集（dev/val set），图片数量建议 5000+。
   • 预处理参数需与训练完全一致。YOLO 系列通常 mean=0，norm=1/255=0.0039（即 mean=[0,0,0] norm=[0.0039,0.0039,0.0039]），否则量化会异常参考。
   • 支持直接用图片列表或 npy 文件（npy 推荐 batch=1，去掉 batch 维度）。

2. ncnn2table 生成 calibration table

   • 推荐命令（以图片为例）：

     find images/ -type f > imagelist.txt
     ./ncnn2table yolo11n.ncnn-opt.param yolo11n.ncnn-opt.bin imagelist.txt yolo11n.ncnn.table mean=[0,0,0] norm=[0.0039,0.0039,0.0039] shape=[640,640,3] pixel=BGR thread=8 method=aciq
     

   • method=aciq 通常对 YOLO 更稳健，method=kl 也可尝试官方文档。

3. ncnn2int8 量化模型

   • 推荐命令：

     ./ncnn2int8 yolo11n.ncnn-opt.param yolo11n.ncnn-opt.bin yolo11n-int8.param yolo11n-int8.bin yolo11n.ncnn.table
     

   • 若遇到 floating point exception，极可能是某些 depthwise/group 卷积 scale 极小或为零，代码未做防御性检查代码分析。

4. 混合精度（mixed precision）处理异常层

   • 打开 table 文件，找到出错的层（如 convdw_174），将该层的权重 scale 行注释掉（加 #），如：

     #convdw_174_param_0 1.234567
     

   • ncnn2int8 会自动跳过该层 int8 量化，推理时该层用 float32，其他层仍用 int8，流程不中断官方说明。
   • 可用脚本批量检查 table 文件中是否有极小 scale（如 <1e-6），对异常层都做混合精度处理。

5. 常见排查建议

   • 确保 param/bin/table 层名和通道完全对齐，建议用最新版 pnnx 转换模型。
   • 若仍有问题，可尝试缩小 calibration 数据集或更换量化方法（aciq/kl），或只对部分层量化。

参考资料：

• ncnn INT8 量化官方文档
• YOLO INT8 量化社区经验
• ncnn2int8 源码分析

如需自动化脚本，可用 Python 批量注释 table 文件中 scale 极小的层，或根据日志定位出错层后手动处理。这样可以最大程度保证 INT8 量化流程安全、稳定。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}