허밍 lab

  • 홈
  • 태그
  • 방명록

Deep Learning 1

[논문 리뷰] Attention Is All You Need(Transformer) (2017)

논문 출처: https://arxiv.org/abs/1706.037620. Abstract오늘날 대부분의 시퀀스 변환 모델(sequence transduction models)은 인코더와 디코더를 포함하는 복잡한 RNN 또는 CNN 기법에 기반함본 논문은 attention 메커니즘에만 기반한 새로운 간단한 네트워크 아키텍쳐, Transformer를 제시함2가지 기계 번역 업무 실험 결과, 이 모델은 (1) 품질이 우수하고 (2) 병렬화 가능하여 훈련에 적은 시간 소요WMT 2014 영어-독일어 번역 작업에서 28.4 BLEU 달성 (over 2 BLEU)WMT 2014 영어-프랑스어 번역 과제에서 8개의 GPU에서 3.5일간 훈련한 후 SOTA 달성(기존에 비해 모델 훈련 비용 절감)Transformer..

learning/MLDL 2025.02.16
이전
1
다음
더보기
프로필사진

허밍 lab

  • 분류 전체보기 (15)
    • thinking (0)
    • learning (15)
      • MLDL (6)
      • HCIAI (3)
      • Lectures (6)
      • Textbooks (0)
    • living (0)

Tag

HCI, ML, CHI, dl, Transformer, NLP, Zero shot, cs25, conversational AI, GPT, Stanford, vlm, mldl, Prompt Engineering, 인공지능, Ai, llm, affective computing, open ai, 논문리뷰,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/02   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28

방문자수Total

  • Today :
  • Yesterday :

Copyright © AXZ Corp. All rights reserved.

티스토리툴바