05화 전이학습(Transfer Le... | 매거진에 참여하세요

사전학습(pre-training)과 미세조정(fine-tuning) | 지난시간에 우리는 방대한 양의 매개변수(parameter)와 훈련 데이터(training data)를 통해 만들어진 초거대언어모델(LLM)에 대해 알아보았습니다. 매개변수와 훈련 데이터가 거대한 만큼 LLM에 소비되는 컴퓨팅 리소스와 비용은 상상을 초월합니다. OpenAI의 CEO 샘 올트먼은 챗GPT(GPT-3.5 기반) 훈련에만 1만개의 엔비디아 칩이

출처 : https://brunch.co.kr/@harryban0917/283