M1399.000400 / M3309.005200 딥러닝의 통계적 이해 (Deep Learning: Statistical Perspective)

교수	김지수, jkim82133 [AT] snu [DOT] ac [DOT] kr
조교	조민철, code1478 [AT] snu [DOT] ac [DOT] kr
수업시간	월, 수 15:30 - 16:45
수업장소	24동 211호
면담시간(교수)	목 09:00 - 12:00
면담장소(교수)	25동 335호
면담시간(조교)	월 14:00 - 15:00
면담장소(조교)	25동 304호
eTL
강의계획서

수업 소개

본 교과목은 심층학습모형(deep learning model)에 중점을 둔다. 교육 목표는 심층학습(deep learning)의 방법들을 소개하고 관련된 통계적 이론을 배우는 것이다. 우선 인공신경망의 기초, 다층 퍼셉트론, 역전파 같은 심층학습의 기본적인 개념들을 배우고, 지도학습(supervised learning)의 관점에서 심층학습을 통계적으로 분석하는 데에 사용되는 이론적인 도구들을 배운다. 그 도구들을 바탕으로 심층학습을 근사 이론(approximation theory) 측면과 동적 분석(dynamical analysis) 측면에서 통계적으로 분석하는 결과들을 배우고, 또한 생성 모형(generative model)에 해당하는 통계적 이론을 배운다. 또한, 비지도 학습(unsupervised learning)의 관점에서 심층학습을 어떻게 사용하고 어떤 통계적 이론 분석을 할 수 있는지 알아본다.

• 키워드: 심층학습(deep learning), 지도학습(supervised learning), 비지도학습(unsupervised learning), 학습 이론(learning theory), 최적화(optimization), 생성 모형(generative models)

수업 목표

• 심층학습(Deep Learning)을 접하고 이해한다.

• 심층학습에 어떤 통계적 도구가 쓰이는지 이해한다.

• 상황에 맞게 적절한 심층학습 모형을 선택할 수 있다.

• 심층학습 모형에 따라 적절한 통계적 분석을 할 수 있다.

교재 및 참고문헌

정해진 교재의 내용을 처음부터 끝까지 따라가진 않지만, 다음 서베이 논문을 주로 참조한다.

• Namjoon Suh, Guang Cheng, A Survey on Statistical Theory of Deep Learning: Approximation, Training Dynamics, and Generative Models, 2024. https://arxiv.org/abs/2401.07187/

또한, 수업 전반적으로 다음 문헌들을 참조할 수 있다.

• Trevor Hastie, Robert Tibshirani, Jerome Friedman, The Elements of Statistical Learning: Data Mining, Inference and Prediction, Second Edition, 2009. https://hastie.su.domains/ElemStatLearn/

• Brian Ripley, Pattern Recognition and Neural Networks, 2006. https://www.cambridge.org/core/books/pattern-recognition-and-neural-networks/4E038249C9BAA06C8F4EE6F044D09C5C/

• Ian Goodfellow, Yoshua Bengio, and Aaron Courville, Deep Learning, 2016. https://www.deeplearningbook.org/

• Shai Shalev-Shwartz and Shai Ben-David, Understanding Machine Learning: From Theory to Algorithms, 2014. https://www.cs.huji.ac.il/~shais/UnderstandingMachineLearning/

• Jianqing Fan, Cong Ma, Yiqiao Zhong, A Selective Overview of Deep Learning, 2021. https://doi.org/10.1214/20-STS783/

그 외에 각 주제에 맞춰서 참조하는 많은 참고문헌들이 있다.

일정표

아래의 일정표는 잠정적으로 작성한 것으로, 최신 일정표는 항상 홈페이지에서 확인한다.

날짜	주제	비고
1주 (9/2, 9/4)	Introduction, Overview of Supervised Learning
2주 (9/9, 9/11)	Overview of Supervised Learning
3주	추석 연휴
4주 (9/23, 9/25)	Additive Models, Deep Learning Frameworks(Multi-layer perceptron, Backpropagation)	과제1 마감 (9/27)
5주 (9/30, 10/2)	Deep Learning Frameworks(Multi-layer perceptron, Backpropagation)
6주 (10/7)	Statistical Learning Theory: Concentration Measure
7주 (10/14, 10/16)	Approximation-based Statistical guarantees	과제2 마감 (10/18)
8주 (10/21, 10/23)	Approximation-based Statistical guarantees
9주 (10/28, 10/30)	Dynamic-based Statistical guarantees: Neural Tangent Kernel	중간고사 (10/29)
10주 (11/4, 11/6)	Dynamic-based Statistical guarantees: Mean Field
11주 (11/11, 11/13)	Statistical guarantees for Generative models: GAN, Diffusion Model, LLM	과제3 마감 (11/15)
12주 (11/18, 11/20)	Statistical guarantees for Generative models: GAN, Diffusion Model, LLM
13주 (11/25, 11/27)	Unsupervised Learning and Deep Learning	과제3 마감 (5/30)
14주 (12/2, 12/4)	Deep Learning in non-Euclidean spaces
15주 (12/9, 12/11)	Other topics	과제4 마감 (12/6)
16주		기말고사 (12/17)