关于量化精度的问题

[pangxiaowen]

您好， 我这边也在进行Sparse4D的TensorRT部署， 目前backbone FP32 + Head FP32 精度，检测效果是正常的， 同对backbone进行了int8的量化， Backbone Int8 + Head FP32， 检测效果正常， 但是 backbone Int8 + Head Int8 检测效果很差。 而且对于Head int8 在速度上相比FP32 基本没有提升。关于这部分您有什么建议吗？大概会是head中的哪一部分存在问题呢？

[hsj10001]

您好，请问您有对head部分做FP16量化吗？我这边将自定义算子中的数据类型改为HALF，量化后，结果正常，但运行速度反而变慢了。

[pangxiaowen]

您好，请问您有对head部分做FP16量化吗？我这边将自定义算子中的数据类型改为HALF，量化后，结果正常，但运行速度反而变慢了。

我没有修改自定义算子的数据类型，仍使用的FP32。我也尝试过部分量化，部分量化会影响TensorRT的层融合，可能导致速度更慢，可以看一下TRT输出的模型结构。Sparse4D如果想要加速的话，可以参考地平线开发者社区里面的文章， 对模型结构做一些调整。

[hsj10001]

最近正在尝试地平线官方提供的加速方法，例如将num_abchor 900-->384；num_temp_instances 600-->128。只使用FPN的第二层。将DeformableFeatureAggregation中kps_generator直接使用offset（linear）生成等。训练始终无法收敛。

[pangxiaowen]

最近正在尝试地平线官方提供的加速方法，例如将num_abchor 900-->384；num_temp_instances 600-->128。只使用FPN的第二层。将DeformableFeatureAggregation中kps_generator直接使用offset（linear）生成等。训练始终无法收敛。

我没有调整num_anchor 以及 instances，能够正常收敛，相比正常结构，mAP下降两个点左右。

[LAYDOWN-J]

您好， 我这边也在进行Sparse4D的TensorRT部署， 目前backbone FP32 + Head FP32 精度，检测效果是正常的， 同对backbone进行了int8的量化， Backbone Int8 + Head FP32， 检测效果正常， 但是 backbone Int8 + Head Int8 检测效果很差。 而且对于Head int8 在速度上相比FP32 基本没有提升。关于这部分您有什么建议吗？大概会是head中的哪一部分存在问题呢？

您好，请问您是如何对 head 头部分进行模型量化的呢？是在 trtexec 命令中添加 --fp16 参数就可以了吗？
然后想请问您得到量化后的 engine，如何测试结果是否正确呢？代码仓库中的sparse4d_head_first_frame_infer-consistency-val_pytorch_vs_trt_unit_test.py 文件是需要修改吗。因为我看读取的 bin 都是 numpy.float32 的？想请问您需要做哪些修改呀？
十分感谢！！！