2022-02-01から1ヶ月間の記事一覧

WebGPT: web検索を操作して引用付きで質問に回答

DeepLearning NLP 論文読み GPT

WebGPT: Browser-assisted question-answering with human feedback 2021/12 https://arxiv.org/abs/2112.09332 人間用web検索環境(左)とモデル用(右) ELI5で，人間のデモに対してWebGPTが好まれた割合(左)とELI5の正解データに対してWebGPTが好まれた割合(…

data2vec: 画像，音声，言語を同じ手法で事前学習できる一般的フレームワーク

DeepLearning Pre-Training Self-Supervised Transformer 論文読み

Data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language 2022/01 https://ai.facebook.com/research/data2vec-a-general-framework-for-self-supervised-learning-in-speech-vision-and-language 音声、自然言語処理、…

競技プログラミングのコード生成で上位54%以内を達成，AlphaCode

DeepLearning NLP Programming Transformer コード生成 論文読み

Competition-Level Code Generation with AlphaCode 2022/02 https://storage.googleapis.com/deepmind-media/AlphaCode/competition_level_code_generation_with_alphacode.pdf 自然言語からコード生成するシステムAlphaCodeを提案 モデルは巨大な(最大41B)…