2022-01-01から1年間の記事一覧
SGPT: GPT Sentence Embeddings for Semantic Search 2022/02 https://arxiv.org/abs/2202.08904 モデル・コード https://github.com/Muennighoff/sgpt 提案手法の構造図．左(a)がSGPTクロスエンコーダ，右(b)がSGPTバイエンコーダ． BEIRでのre-ranking 性…
WebGPT: Browser-assisted question-answering with human feedback 2021/12 https://arxiv.org/abs/2112.09332 人間用web検索環境(左)とモデル用(右) ELI5で，人間のデモに対してWebGPTが好まれた割合(左)とELI5の正解データに対してWebGPTが好まれた割合(…
Data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language 2022/01 https://ai.facebook.com/research/data2vec-a-general-framework-for-self-supervised-learning-in-speech-vision-and-language 音声、自然言語処理、…
Competition-Level Code Generation with AlphaCode 2022/02 https://storage.googleapis.com/deepmind-media/AlphaCode/competition_level_code_generation_with_alphacode.pdf 自然言語からコード生成するシステムAlphaCodeを提案 モデルは巨大な(最大41B)…
言語処理関係の深層学習モデルでは，単語埋め込みを言語モデルと同時に学習する手法をよく使用するが，それを最初に提案した論文だと思う． wikipediaで単語埋め込みの項を見ていて，今日的な形の手法で最初のはこれのようだった．違っていたらご指摘くださ…
Convolutional sequence to sequence learning https://arxiv.org/abs/1705.03122 2017 ICML 畳み込みとattnを使って翻訳モデルを提案 RNNを使わないenc-decで，入力系列を畳み込みでencode，decoderは過去の正解系列の畳み込みとencodeされた文脈の内積attn…
Detecting Twenty-thousand Classes using Image-level Supervision https://arxiv.org/abs/2201.02605 2022/01 faster RCNN ベースの２段階モデルで候補領域提案後に分類部分を訓練する方法で，imagenetの21,000クラスの物体検出が可能なDetector with imag…
Generalized Category Discovery https://arxiv.org/abs/2201.02609 2022/01 一般化カテゴリ発見というタスクを提案 ラベル付けされた画像集合とされていない画像集合から、ラベルなし集合の全画像を分類するタスク．ラベルなし画像は既存カテゴリor新規カテ…
Widget Captioning: Generating Natural Language Description for Mobile User Interface Elements https://arxiv.org/abs/2010.04295 EMNLP 2020 android App UIの要素に説明を付与するタスク, widget captioningを提案 スクリーンリーダー等のアクセシビ…
