3D Model Generation and Reconstruction Using Conditional Generative Adversarial Network

ひとことまとめ

どんなもの？
- 3D形状を生成する3DGANに，クラス情報を与えて任意のクラスの物体を生成できるようにした(conditional GANを3DGANに適用した)
- 提案手法とconditional VAEのエンコーダを組み合わせて訓練し，2D画像とクラス情報から3D形状を再構成できるようにした
先行研究と比べてどこがすごい？
- IKEAデータセットでの3D物体再構成タスクで他手法を上回るmAP
技術や手法のキモはどこ？
- クラス情報はGeneratorにもDiscriminatorにも付与する
- 訓練では3D-IWGAN[27]に従い，WGAN-GP[25]で提案された誤差関数を追加している
- CVAEを使った物体再構成では，訓練にDiscriminatorだけでなくClassifierも使用する
どうやって有効だと検証した？
- modelNet10での生成，IKEAデータセットでの再構成実験と他手法とのmAPの比較
- 再構成実験で訓練でClassifierを使わない場合，クラス情報を使わない場合についてablationを行い，どちらも使ったほうが良い結果であると示している
議論はある？
- なし
次に読むべき論文は？
- 3D-IWGAN[27]
  - WGAN-GP[25]を取り入れているらしい
- conditional variational auto-encoder(CVAE)[10]