허밍 lab

출처강의 링크https://web.stanford.edu/class/cs25/ CS25: Tranformers United!Disussing the latest breakthroughs with Transformers in diverse domainsweb.stanford.edu 강의 영상https://www.youtube.com/watch?v=fKMB5UlVY1E&list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM&index=26&t=1491s&ab_channel=StanfordOnline Transformers and LLMs: An IntorudctionNLP Throughout the YearsLinguistic Foundcations각각의 단어를 숫자 벡터로 표현Word2Ve..

논문 제목: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding저자: Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova (Google AI Language)최초 게재일: 2018. 10. 11링크: https://arxiv.org/abs/1810.04805 파란색 글씨는 보충적인 설명을 위해 논문 외 자료에서 조사한 내용입니다. 초록 (Abstract)BERT(Bidirectional Encoder Representations from Transformers): 자연어 처리에서 양방향 사전 학습을 활용하는 새로운 언어 표현 모델로, 비지도 학습으로 사전 ..

초록도입: 신경망 기반 기계 번역(neural machine translation, NMT)의 새로운 접근법 제안기존 연구: 기존의 통계적 번역 모델(statistical machine translation, SMT)과 달리, 단일 신경망이 번역 성능을 극대화방법: 고정된 길이의 벡터로 문장을 표현하는 기존 인코더-디코더 모델의 한계를 극복하고, 소프트 얼라인먼트(soft alignment) 방식을 도입하여 번역 성능을 개선결과: 긴 문장에서도 우수한 성능을 보이며, 영어-프랑스어 번역에서 기존 시스템(최첨단 구문 기반 시스템)과 유사하거나 더 나은 결과를 얻음1. 서론신경망 기반 기계 번역(NMT): 전체 문장을 입력받아 출력 문장을 생성하는 단일 모델↔ 통계적 번역 시스템(SMT): 작은 하위 요소로..