02화 Transformer - 더하... | 매거진에 참여하세요

인사이트/로그개발 관련
작성일 : 24.06.04

02화 Transformer - 더하...

#트랜스포머 #어텐션 #자연어처리 #대규모언어모델 #LLM #작동원리 #구글 #지피티원리

👉 본문을 50%이상을 읽으면 '여기까지다' 퀘스트가 완료됩니다(로그인 필수)

Attention is all you need | 때로는 더하는 것보다 빼는 것에서 위대한 혁신이 나오죠. 꼭 필요한 기능만 남겨두고 군더더기를 모두 빼버리고 스마트폰 혁신의 아이콘이 된 아이폰처럼, 언어모델 개발에서도 빼기를 통해 혁신을 시도한 이들이 있습니다. 2017년 구글의 엔지니어와 연구자들은 그들이 발표한 논문 'Attention is all you need(어텐션만 있으면 된다)’에서 자연어

출처 : https://brunch.co.kr/@harryban0917/281