서울대학교

ㅇ 참석신청 하러가기 : https://forms.gle/E42Y6HCXzA8WSUS39 (오프라인 참석 시 나인온스버거 쿠폰 제공)
  * 신청 마감 : 5월 19일(월)
    - 마감 후 선발된 참석자에게만 안내 메일이 발송되며, 안내 메일을 받은 분에 한하여 오프라인 강의에 참석 가능합니다.
    - 사전 신청하였으나 부득이한 사유로 참석이 어려운 경우, 다른 신청자를 위해 반드시 사전에 알려주시기 바랍니다.

ㅇ 강연자 : 서지원 교수(첨단융합학부/공과대학 전기·정보공학부)
ㅇ 강연 일시 : 2025년 5월 22일(목) 16시
ㅇ 강연 장소 : 303동 해동첨단공학관 1층 강의실
ㅇ 온라인 생중계 : YOUTUBE https://www.youtube.com/@AI-xi1ci
                                    ZOOM https://us02web.zoom.us/j/85923628089?pwd=vi2qGZEWFgrDmiErimJm9GWRrOReVk.1
                                                * ID: 859 2362 8089 / PW: 529164

"LLM을 포함한 머신러닝 모델의 학습과 추론을 위한 스케줄링 최적화"

인공지능/머신러닝 기법이 많은 응용분야에 사용되면서 이를 효율적으로 실행하는 머신러닝 시스템 분야의 중요도가 높아지고 있습니다.
본 강연에서는 서지원 교수 연구실에서 최근 수행한 머신러닝 시스템 분야 연구 중, 분산 신경망 학습과 LLM 추론을 위한 스케줄링 최적화 기법을 소개합니다.
분산 신경망 학습을 최적화 하기 위해 역전파 계산에서의 의존성을 분석하여 Out-Of-Order BackProp이라는 스케줄링 기법을 제안하였고,
이를 기반으로 단일 GPU, 데이터 병렬, 파이프라인 병렬 학습을 위한 스케줄링 알고리즘을 설계/구현하여 기존 기법 대비 최대 2배의 속도 향상을 달성하였습니다.
또한, LLM 추론 최적화를 위해 ExeGPT라는 시스템을 제안하였으며 이 시스템은 응답시간(Latency)과 처리속도(Throughput)를 효과적으로 최적화하여
지연시간 제약하에 Nvidia의 FasterTransformer 대비 최대 15배의 속도 향상을 제공하였습니다.

서지원 교수는 서울대학교 첨단융합학부/전기정보공학부/협동과정 인공지능전공 소속으로 머신러닝 시스템 연구실을 이끌고 있습니다.