关于数据增强与长方形输入

[h-bo]

你好
感谢作者的工作，非常棒
我们在自己的数据集上进行了实验，效果不错，但还有一些关键问题，希望得到您的指导：

1. 我们观察到实现中，数据增强只使用了简单的处理，没有使用目前复杂的马赛克增强等，如果使用该种增强性能会提升吗 （实际上，我们尝试了，发现性能很差，而且在多线程dataloader时报错 Traceback (most recent call last):
   File "/opt/conda/lib/python3.8/threading.py", line 932, in _bootstrap_inner
   self.run()
   File "/opt/conda/lib/python3.8/threading.py", line 870, in run
   self._target(*self._args, **self._kwargs)
   File "/opt/conda/lib/python3.8/site-packages/paddle/io/dataloader/dataloader_iter.py", line 637, in _thread_loop
   raise e
   File "/opt/conda/lib/python3.8/site-packages/paddle/io/dataloader/dataloader_iter.py", line 618, in thread_loop
   array.append(tensor)
   RuntimeError: (PreconditionNotMet) Tensor holds no memory. Call Tensor::mutable_data firstly.
   [Hint: holder should not be null.] (at ../paddle/phi/core/dense_tensor_impl.cc:44)）
2. 我们观察到目前只正方形的训练与推理，可以使用长方形吗，以符合一般视频长方形的尺寸 （实际上，我们尝试了，比如1088*1920，发现性能会下降很多）

以上两个问题，我们觉得比较困惑，希望得到您的建议
非常感谢

[lyuwenyu]

1. mosaic在coco上我们有试验过 效果不怎么好
2. 长方形推理的 在你训练的时候也要和测试的时候逻辑一致吧？

[h-bo]

1. mosaic在coco上我们有试验过 效果不怎么好
   确实，虽然简单的数据增强，取得了较好的效果很惊人，但复杂的数据增强反而效果差，很奇怪
   detr仓库里也有人问这个问题Any plan about data augmentation facebookresearch/detr#42
2. 长方形推理的 在你训练的时候也要和测试的时候逻辑一致吧？
   对的，长方形的一致训练与测试，但效果会差很多

[lyuwenyu]

1. mosaic在coco上我们有试验过 效果不怎么好
   确实，虽然简单的数据增强，取得了较好的效果很惊人，但复杂的数据增强反而效果差，很奇怪
   detr仓库里也有人问这个问题Any plan about data augmentation facebookresearch/detr#42
2. 长方形推理的 在你训练的时候也要和测试的时候逻辑一致吧？
   对的，长方形的一致训练与测试，但效果会差很多

1. detr系列的backbone一般都是有预训练的 可能这块不太适合强数据增强；yolo系列的一般都是from scratch训练 可能用Mosaic效果更好一些
2. 你reader怎么配置的， 会有一些padding嘛？

[h-bo]

1. mosaic在coco上我们有试验过 效果不怎么好
   确实，虽然简单的数据增强，取得了较好的效果很惊人，但复杂的数据增强反而效果差，很奇怪
   detr仓库里也有人问这个问题Any plan about data augmentation facebookresearch/detr#42
2. 长方形推理的 在你训练的时候也要和测试的时候逻辑一致吧？
   对的，长方形的一致训练与测试，但效果会差很多

1. detr系列的backbone一般都是有预训练的 可能这块不太适合强数据增强；yolo系列的一般都是from scratch训练 可能用Mosaic效果更好一些
2. 你reader怎么配置的， 会有一些padding嘛？

1. 学习了
2. 直接resize (- BatchRandomResize: {target_size: [[1088, 1920],], random_size: True, random_interp: True, keep_ratio: False})和padResize（train: PadResize: {target_size: 1280} @sample_transformstest, test: - Resize: {target_size: [1280, 1280], keep_ratio: True, interp: 1}
   • Pad: {size: [1280, 1280], fill_value: [114., 114., 114.]}）都试过，效果都不佳，尤其padResize几乎没有性能，

[lyuwenyu]

在后处理加个参数 bbox_decode_type:'pad' 试一下, ( ppdet里pad操作不改变inputs['im_shape']导致其和im.shape不一致, 会导致在后处理里默认得到的原图尺寸origin_shape不太对

[h-bo]

在后处理加个参数 bbox_decode_type:'pad' 试一下, ( ppdet里pad操作不改变inputs['im_shape']导致其和im.shape不一致, 会导致在后处理里默认得到的原图尺寸origin_shape不太对

1. 在padResize中，使用了这个操作，确实取得了正常的结果，直接Resize的结果不受影响
2. 但是不管pad（keepRatio）与否，矩形resize的结果，仍然明显低于正方形resize（比如800960的结果，比800800和960960的结果都明显差，数据集原始是10801920的图片，讲道理keep_ratio resize或者尽量大分辨率应该会更好），这个结果还是比较奇怪

（我打算实验下是不是和position embeding有关系，因为我发现同正方形跨尺寸还是有一定性能的，但是变成长方形就完全没有性能。您还有别的建议嘛）

配置如：

epoch: 150
snapshot_epoch: 5
TrainReader:
  sample_transforms:
    - Decode: {}
    - RandomDistort: {prob: 0.8}
    # - RandomExpand: {fill_value: [123.675, 116.28, 103.53]}
    - RandomCrop: {prob: 0.8}
    - RandomFlip: {}
  batch_transforms:
    - BatchRandomResize: {target_size: [[800, 960]], random_size: True, random_interp: True, keep_ratio: False}
    - NormalizeImage: {mean: [0., 0., 0.], std: [1., 1., 1.], norm_type: none}
    - NormalizeBox: {}
    - BboxXYXY2XYWH: {}
    - Permute: {}
  batch_size: 4
  shuffle: true
  drop_last: true
  collate_batch: false
  use_shared_memory: true


weights: output/model_final
find_unused_parameters: True
log_iter: 200

pretrain_weights: https://paddledet.bj.bcebos.com/models/pretrained/ResNet18_vd_pretrained.pdparams
ResNet:
  depth: 18
  variant: d
  return_idx: [1, 2, 3]
  freeze_at: -1
  freeze_norm: false
  norm_decay: 0.

HybridEncoder:
  hidden_dim: 256
  use_encoder_idx: [2]
  num_encoder_layers: 1
  encoder_layer:
    name: TransformerLayer
    d_model: 256
    nhead: 8
    dim_feedforward: 1024
    dropout: 0.
    activation: 'gelu'
  expansion: 0.5
  depth_mult: 1.0

RTDETRTransformer:
  eval_idx: -1
  num_decoder_layers: 3

eval_size: [800, 960]
EvalReader:
  sample_transforms:
    - Decode: {}
    - Resize: {target_size: [800, 960], keep_ratio: False, interp: 2}
    - NormalizeImage: {mean: [0., 0., 0.], std: [1., 1., 1.], norm_type: none}
    - Permute: {}
  batch_size: 4
  shuffle: false
  drop_last: false


TestReader:
  inputs_def: # used for export
    image_shape: [3, 800, 960]
  sample_transforms:
    - Decode: {}
    - Resize: {target_size: [800, 960], keep_ratio: False, interp: 2}
    - NormalizeImage: {mean: [0., 0., 0.], std: [1., 1., 1.], norm_type: none}
    - Permute: {}
  batch_size: 1
  shuffle: false
  drop_last: false

DETRPostProcess:
  bbox_decode_type: 'pad'

[lyuwenyu]

你上边贴的配置也是跑不出来？

[h-bo]

你上边贴的配置也是跑不出来？

是的 长方形性能显著低于正方形

[lyuwenyu]

我感觉还是后处理的问题 你可以再确定一下那个逻辑有问题没

[h-bo]

我感觉还是后处理的问题 你可以再确定一下那个逻辑有问题没

ok我确定下

似乎没问题，从结果上看，检测框也分布在图片各处（抱歉公司不让放图）

性能图（960*800的实验跑完了，但是因为缩小了log step，所以图中显得指标还行，但是拉平来看，结果还是低）