GUIコード生成のレビュー論文，Front End Development Automation Tool: Missing Features?

Front End Development Automation Tool: Missing Features?

• paper
  • https://ieeexplore.ieee.org/document/9033956
  • Hasitha Hiran Walpola, Guhanathan Poravi
• github
• データセット
• project

まとめ

• どんなもの？
  • GUI画像からコード生成するモデルのサーベイ論文．最新の手法はpix2codeとSketchCodeに収斂するとして，両者の特長を比較している
  • 共通の問題として，生成できる要素(タグ)の種類が少ない，CSSのサポートがない，ページ間の遷移のためにナビゲーション追加できるべき，等を上げている
• 先行研究と比べてどこがすごい？
  • 先行するレビュー論文については未読
• 技術や手法のキモはどこ？
  • wireframeか，screenshotからHTMLを生成することに関連する３ドメインとして以下を上げ，30程度の研究を調査した
    • 画像処理
    • 言語モデリング
    • HTML生成
• どうやって有効だと検証した？
• 議論はある？
  • 2019年に書かれたものだが，紹介されている手法が古い気がする．ほとんどの手法が紹介されたenc-decの亜種に収斂してしまうのは事実だと思うが．

• 次に読むべき論文は？

  • DeepCoder [3]
    • 1. Balog, A. L. Gaunt, M. Brockschmidt, S. Nowozin, and D. Tarlow. Deepcoder: Learning to write programs. arXiv preprint arXiv:1611.01989, 2016.
    • NNによるDSL生成
  • [1]SketchCode
    • https://blog.insightdatascience.com/automated-front-end-development-using-deep-learning-3169dd086e8
    • リンク切れ

• その他

  • HTML生成ではないが，image captioning関係でもっと関連するものがあるし，画像からtexベースのcode生成するやつもあったと思う．全体的に調査不足な感が否めない．また，enc-dec+ attentionのやつは割とたくさんあるはず
  • CSSやbootstrapのサポートがないことを問題点として指摘しているが，DSLをコンパイルしてCSS/bootstrapにしているので，この指摘は変なのではと思った．DSL生成なので，HTMLだけが出てくるわけではない
    • DSLを使うメリットは述べられていて，探索空間が小さくなるなど．しかし同時に生成できる要素が少ない，という問題もあり，増やすためにはDSLの種類を増やすなりしなければならない
    • DSLもデメリットがあるが，それらは克服できるとして具体的に述べていない