疑问

[ld-xy]

您好您好，在阅读完后存在三个疑问：
1、det_pretrainded = '/home/rs/Desktop/pretrained/dino_swin-t-p4-w7_mmdet.pth' 这个文件没有看见在哪里
2、rscotr_round-robin_1-1-0.1_slvl-cls.pth是整个模型的权重文件吗
3、数据集是否经过了特殊处理，还是说这三个数据集直接下载配置就可用？
期待您的回复，感谢感谢

[ld-xy]

还有个问题，就是代码应该还没更完吧，优化器更新的步骤没有调用啊

[Li-Qingyun]

1. 其实可以直接用 configs/det/dino_4scale_swin-t-p4-w7_1x1_50e_dior.py 训一个，但我刚发现 mmdet 2.0的dino的pr 其实一直没合并，所以如果需要训练需要克隆这个pr的开发分支来安装mmdet（不过mmdet3的dino的pr已经合并进去了，训练dino更方便，但是我这套code是22年夏天写的所以没有用新版的mmdet）。为了方便一点，我今天回把这个权重上传到huggingface。
2. 对，是训练好的mtl模型的权重文件
3. 数据集和正常的一样，要说特殊处理，应该dior的原先好像是别的格式的，转成了coco格式。potsdam处理要follow下RSP.
4. 优化器更新调用在 mmcv 的 runner 里面哇

[Li-Qingyun]

还有个问题，就是代码应该还没更完吧，优化器更新的步骤没有调用啊

哦不是在runner里，老版本的mmcv的optimizer在一个hook里面

https://github.com/open-mmlab/mmcv/blob/d409eedc816fccfb1c8d57e5eed5f03bd075f327/mmcv/runner/hooks/optimizer.py#L57-L69

[ld-xy]

好的好的感谢感谢，关于第四点，我可能不太了解这个库，但是我debug进去后，在iter_based_runner文件中看见把优化器传给了MTL类中的train_step方法，然而在该方法中，只获取到了loss，并没有用这个优化器方法，可以指点一下吗，感谢感谢

[Li-Qingyun]

好的好的感谢感谢，关于第四点，我可能不太了解这个库，但是我debug进去后，在iter_based_runner文件中看见把优化器传给了MTL类中的train_step方法，然而在该方法中，只获取到了loss，并没有用这个优化器方法，可以指点一下吗，感谢感谢

在mmcv2里面，train_step 的主要功能还是拿一个batch的数据获得outputs这里也就是loss，mmcv的runner有一个hook机制，他会在每个loop的特定位置去调用hook里面的函数，mmcv主要把一些复用率高的功能添加在hook类里方便各种不同的runner复用这套代码，optimizer也是其中之一。在链接里的函数是 after_train_iter，说明是每次iter结束的时候调用这个里面的函数

如果你的科研工作以视觉任务为主，并且是有打算使用mmdet或者mmseg这些工具做检测或者分割实验的（如果用detectron2的话应该不需要了解了），那我感觉无论你是否使用RSCoTr，都建议去了解下mmcv和它的hook机制。https://www.bilibili.com/video/BV1pe4y1C7n1 这个视频里会有一些帮助，不过版本可能有一些mismatch

[ld-xy]

好的好的，感谢推荐的内容，明白了，在源码中找到这个处理逻辑了，再次感谢

[mengduanjinghua]

https://huggingface.co/Qingyun/RSCoTr/blob/main/dino_swin-t-p4-w7_mmdet.pth 上传好了

[ld-xy]

好的好的，感谢