| 교수 | 김지수, jkim82133 [AT] snu [DOT] ac [DOT] kr |
| 조교 | 김희천, 신준호 |
| 수업시간 | 화, 목 17:00 - 18:15 |
| 수업장소 | 28동 103호 |
| 면담시간(교수) | 수 09:00 - 11:30 또는 약속 |
| 면담장소(교수) | 25동 335호 |
| 면담시간(조교) | 약속 |
| 면담장소(조교) | 김희천(25동 303호), 신준호(25동 336호) |
| eTL | |
| 강의계획서 |
본 교과목은 심층학습(deep learning)을 통계학적 관점에서 분석하는 것을 목표로 하는 이론 중심 수업이다. 수업은 먼저 지도학습(supervised learning) 전반과 가법 모형(additive models) 등 기본적인 통계적 학습 개념을 복습하고, 심층신경망(deep neural network)의 기본 구조(다층 퍼셉트론, 역전파 등)를 다룬다. 그 위에서 통계적 학습 이론(statistical learning theory) 의 핵심 도구인 집중부등식(concentration Measure)을 배우고, 이를 바탕으로 심층학습을 근사 이론(approximation theory) 측면과 일반화 오차(generalization error) 측면에서 통계적으로 분석한다. 이어 심층학습 최적화 과정의 통계적 특성을 재생 커널 힐베르트 공간(reproducing kernel hilbert space, RKHS) 기반의 뉴럴 탄젠트 커널(neural tangent kernel, NTK) 분석과 평균장(mean field) 분석을 통해 알아본다. 또한 생성모형(generative models) 의 통계적 보장(예: GAN, diffusion model, LLM)을 소개하고, 정규화(regularization) 이론, 최적수송(optimal transport) 및 기하학적 해석(geometric view) 과 같은 최신 연구 주제를 다룬다.
심층학습(Deep Learning)을 접하고 이해한다.
심층학습에 어떤 통계적 도구가 쓰이는지 이해한다.
상황에 맞게 적절한 심층학습 모형을 선택할 수 있다.
심층학습 모형에 따라 적절한 통계적 분석을 할 수 있다.
확률(probability)의 기본적 개념에 최소한 학부 수준으로는 익숙해야 하며, 학부에서는 확률의 개념 및 응용(326.211), 측도이론과 확률(M1407.002500), 실변수함수론(881.425), 대학원에서는 확률론 1(326.513), 실해석학(3341.503) 등과 같은 과목에서 다룬다.
수리통계(mathematical statistics)의 기본적 개념에 최소한 학부 수준으로는 익숙해야 하며, 수리통계 1(326.311), 수리통계(M1399.000900) 등과 같은 과목에서 다룬다.
선형사상, 기저, 차원 등 선형대수(linear algebra)의 기본 개념에 익숙해야 하며, 선형대수학 1(300.203A), 선형대수학(881.007) 등과 같은 과목에서 다룬다.
위의 필수과목들 외에 다음의 개념을 접해보면 좋으나 필수는 아니며, 수업에서 사용하는 개념들은 수업에서 정의한다.
회귀분석을 접해보면 좋으며, 회귀분석 및 실습(326.313) 등과 같은 과목에서 다룬다.
볼록 최적화(convex optimization)를 접해보면 좋으며, 최적화의 수학적 이론 및 계산(3341.454) 등과 같은 과목에서 다룬다.
기계학습(machine learning)의 이론적 분석을 접해보면 좋으며, 통계적 기계학습(M1399.000500) 등과 같은 과목에서 다룬다.
정해진 교재의 내용을 처음부터 끝까지 따라가진 않지만, 다음 서베이 논문과 강의 자료를 주로 참조한다.
Namjoon Suh, Guang Cheng, A Survey on Statistical Theory of Deep Learning: Approximation, Training Dynamics, and Generative Models, 2024. https://arxiv.org/abs/2401.07187/
Matus Telgarsky, Deep learning theory lecture notes, 2021. https://mjt.cs.illinois.edu/dlt/
또한, 수업 전반적으로 다음 문헌들을 참조할 수 있다.
Trevor Hastie, Robert Tibshirani, Jerome Friedman, The Elements of Statistical Learning: Data Mining, Inference and Prediction, Second Edition, 2009. https://hastie.su.domains/ElemStatLearn/
Brian Ripley, Pattern Recognition and Neural Networks, 2006. https://www.cambridge.org/core/books/pattern-recognition-and-neural-networks/4E038249C9BAA06C8F4EE6F044D09C5C/
Ian Goodfellow, Yoshua Bengio, and Aaron Courville, Deep Learning, 2016. https://www.deeplearningbook.org/
Shai Shalev-Shwartz and Shai Ben-David, Understanding Machine Learning: From Theory to Algorithms, 2014. https://www.cs.huji.ac.il/~shais/UnderstandingMachineLearning/
Jianqing Fan, Cong Ma, Yiqiao Zhong, A Selective Overview of Deep Learning, 2021. https://doi.org/10.1214/20-STS783
Tong Zhang, Learning Theory Book, 2023. https://tongzhang-ml.org/lt-book.html
Stephan Wojtowytsch, Mathematical Principles of Deep Learning (course), 2022. https://www.swojtowytsch.com/teaching/689-deep-learning
그 외에 각 주제에 맞춰서 참조하는 많은 참고문헌들이 있다.
아래의 일정표는 잠정적으로 작성한 것으로, 최신 일정표는 항상 홈페이지에서 확인한다.
| 날짜 | 주제 | 비고 |
|---|---|---|
| 1주 (9/2, 9/4) | Introduction, Overview of Supervised Learning | |
| 2주 (9/9, 9/11) | Overview of Supervised Learning, Review on Probability, Additive Models | |
| 3주 (9/16, 9/18) | Deep Learning Frameworks and Backpropagation | |
| 4주 (9/23, 9/25) | Deep Learning Frameworks and Backpropagation, Statistical Learning Theory: Concentration Measure | |
| 5주 (9/30, 10/2) | Statistical Learning Theory: Concentration Measure | 과제1 마감 (10/3) |
| 6주 | 추석 연휴 | |
| 7주 (10/14, 10/16) | Approximation error for Deep Learning | |
| 8주 (10/21, 10/23) | Approximation error for Deep Learning | 과제2 마감 (10/22) |
| 9주 (10/28, 10/30) | Generalization error for Deep Learning | 중간고사 (10/29) |
| 10주 (11/4, 11/6) | Generalization error for Deep Learning | 프로젝트 제안서 마감 (11/7) |
| 11주 (11/11, 11/13) | Reproducing Kernel Hilbert Space, Optimization error for Deep Learning: Neural Tangent Kernel | |
| 12주 (11/18, 11/20) | Optimization error for Deep Learning: Mean Field | |
| 13주 (11/25, 11/27) | Statistical Guarantees of Generative Models: GAN, Diffusion Model, LLM | |
| 14주 (12/2, 12/4) | Deep Learning and Regularization: Lottery Ticket Hypothesis | 과제3 마감 (12/3) |
| 15주 (12/9, 12/11) | Unsupervised Learning and Deep Learning, Deep Learning and Geometry | 과제4 마감 (12/10) |
| 16주 | Optimal Transport, Other topics | 기말고사 (12/17), 프로젝트 최종 보고서 마감 (12/22) |