강연 소개강연자 Loubna Ben Allal: ML Engineer in Hugging FaceStarcoder modelWhat does it take to train a good LLM?Intro수년 전에는 오픈소스 모델이 gpt와 같은 폐쇄형 모델을 따라잡는데 시간이 많이 걸릴 것이라고 예측↔ much smaller ex) Llama - 모델 가중치가 개방적이고, 모델을 양자화할 수 있고, 소비자용 데스크톱에서도 실행할 수 있기 때문에 use case build 하는게 가능해짐open llm company가 많아짐gemma, mistral, …open vs closed model의 성능 격차가 줄어들고 있음Limitations: missing details about data and model t..