Lec 01. Introduction to Deep Learning

딥러닝의 모든 것: MIT 강의 요약

안녕하세요! 오늘은 MIT에서 진행되는 고급 딥러닝 강의의 첫 시간을 통해 딥러닝의 세계를 깊이 있게 탐험해 볼 거예요. 이 강의는 단순히 기술적인 내용을 넘어, 딥러닝이 어떻게 현재의 모습이 되었고, 앞으로 어떻게 발전해 나갈지에 대한 통찰력을 제공합니다. 아직 MIT 강의를 직접 듣지 않으셨더라도, 이 글을 통해 딥러닝의 핵심 내용을 충분히 이해하실 수 있을 거예요!

왜 지금 딥러닝에 주목해야 할까요?

강의의 시작은 **"우리는 왜 여기에 모였는가?"**라는 질문으로 시작합니다. 딥러닝은 사회 전반에 걸쳐 폭발적인 영향을 미치고 있습니다. 13년 전만 해도 아직 제대로 작동하지 않았던 머신러닝이 이제는 AI 챗봇, 이미지 생성, 3D 재구성, 코딩 보조 등 거의 모든 분야에 스며들었습니다. 우리는 이미 지난주에도 AI를 사용했을 가능성이 높죠. 이런 급격한 발전 덕분에 딥러닝 분야는 그 어느 때보다 흥미로운 시기를 맞고 있습니다.

딥러닝이란 무엇인가? 핵심 구성 요소

그렇다면 딥러닝은 정확히 무엇일까요? 강연자는 딥러닝을 구성하는 두 가지 핵심 요소가 있다고 설명합니다.

1. 신경망 (Neural Networks): 선형 변환과 비선형 활성 함수를 반복적으로 쌓아 올린 머신러닝 아키텍처입니다. 이것이 최근 AI 발전을 이끈 핵심 빌딩 블록이죠.
2. 미분 프로그래밍 (Differential Programming): 프로그램의 일부를 파라미터화하고, 경사면 기반 최적화를 통해 이 파라미터들을 튜닝하여 특정 목적을 달성하는 프로그래밍 패러다임입니다.

이 두 가지 요소가 결합되어 딥러닝이라고 불리는 강력한 도구를 만들어냅니다.

강의는 어떻게 진행될까요? 이론과 실습의 조화

이 강의는 딥러닝 분야의 미래 발전을 위해 이론과 실습 모두가 중요하다는 철학을 바탕으로 합니다. 따라서 강의는 이론적 기반을 탄탄히 다지는 동시에, 직접 구현하고 이해하며 사용하는 실습 경험을 제공합니다.

• 수업 방식: 65%는 문제 세트(Psets), 35%는 최종 프로젝트로 구성됩니다.
• 문제 세트: 5개의 Pset이 있으며, 각 1~2주가 소요됩니다. 코딩과 이론 답변(Overleaf 등)을 포함합니다.
• 최종 프로젝트: 연구 프로젝트이며, 이를 블로그 글 형식으로 발표하도록 권장합니다. 이는 현대 ML 연구에서 중요한 커뮤니케이션 스킬이기 때문입니다. (주의: 대규모 컴퓨팅 자원이 필요한 연구는 권장되지 않습니다. 창의적인 접근이 중요합니다!)
• PyTorch: 문제 세트에서 PyTorch 기반 코드를 사용하도록 권장하며, PyTorch 튜토리얼도 제공될 예정입니다.

딥러닝의 흥망성쇠: 역사 속 딥러닝

딥러닝이 오늘날의 위치에 오기까지는 굴곡이 있었습니다.

• 1950-70년대: 퍼셉트론의 등장과 함께 열광했지만, Minsky와 Papert의 비판으로 AI 겨울을 맞습니다.
• 1980년대: 역전파(Backpropagation) 알고리즘의 등장으로 다층 퍼셉트론 학습이 가능해지며 다시 한번 학계의 관심을 받습니다.
• 1990-2000년대: 한때 "Neural", "Network"라는 단어가 학회 투고 논문에서 기피 단어가 될 정도로 다시 침체기를 겪습니다. (AI 겨울 2.0)
• 2012년 이후: AlexNet의 등장과 함께 GPU를 활용한 **대규모 병렬 처리, 방대한 데이터셋(ImageNet 등)**이 딥러닝의 부활을 이끌며 현재의 르네상스를 열었습니다.

지금도 우리는 또 다른 상승 국면에 있다고 볼 수 있지만, 과거와는 다른 새로운 발전(예: 복잡한 함수를 효율적으로 표현하는 딥 네트워크)이 일어나고 있다고 설명합니다.

현대 딥러닝의 구성 요소

오늘날 딥러닝은 다음과 같은 요소들로 이루어져 있습니다.

• Autograd (PyTorch, TensorFlow): 편미분을 자동으로 계산해 코딩을 편리하게 만듭니다.
• 대규모 데이터셋: 수십억 개의 데이터 포인트가 활용됩니다.
• 수천 개의 GPU를 활용한 병렬 학습: 거대한 모델을 학습시킵니다.
• 수십억 개의 파라미터를 가진 아키텍처: GPT-3/4 같은 모델이 여기에 해당합니다.
• 놀랍도록 좋은 결과: 과거에는 상상할 수 없었던 수준의 성과를 보여줍니다.
• 오픈 소스 커뮤니티 vs. 클로즈드 모델: 많은 발전이 오픈 소스를 통해 이루어졌으나, 최근에는 GPT-4와 같이 가중치와 아키텍처가 공개되지 않는 경우도 늘고 있습니다.

딥러닝의 원리: 신경망의 작동 방식

• 선형 계층과 비선형 활성 함수: 신경망의 기본 단위는 입력에 가중치를 곱하고 편향을 더한 후, 비선형 함수를 적용하는 것입니다. XOR 문제와 같은 선형 분류로 풀 수 없는 문제들도 다층 구조와 비선형 활성 함수(ReLU, Tanh, Sigmoid 등)를 통해 해결할 수 있게 되었습니다. ReLU는 효율성과 수렴 속도 때문에 현재 가장 널리 사용되는 함수 중 하나입니다.
• 심층화 (Stacking Layers): 여러 개의 신경망 계층을 쌓아 올리면, 각 계층은 이전 계층의 출력을 받아 더 추상적이고 복잡한 표현을 학습하게 됩니다. 이는 곧 모델의 '용량(capacity)'을 키우는 것으로, 이론적으로는 어떤 복잡한 함수도 근사할 수 있지만, 실제로는 효율성이 중요합니다. 좁고 깊은 모델이 넓고 얕은 모델보다 효율적인 경우가 많습니다.
• 일반화 (Generalization): 딥러닝 모델은 수많은 파라미터에도 불구하고 훈련 데이터를 단순히 암기하는 것을 넘어, 새로운 데이터에도 잘 작동하는 규칙을 학습합니다. 이는 "과대적합(Overfitting)"의 고전적인 이론과는 다른, 현대 딥러닝의 흥미로운 특징입니다.

딥러닝의 미래와 가능성

• 표현 학습 (Representation Learning): 딥러닝은 데이터를 점진적으로 추상화된 표현으로 변환하며, 이는 재사용 가능하고 전이 가능한 특징을 학습하는 데 도움을 줍니다.
• 생성 모델 (Generative Models): 텍스트, 이미지 등 새로운 데이터를 생성하는 모델에 대한 강의도 예정되어 있습니다.
• 전이 학습 (Transfer Learning): 사전 학습된 모델의 가중치를 재사용하여 새로운 작업에 적용하는 것은 데이터나 컴퓨팅 자원이 부족할 때 매우 효율적입니다.
• 확장성 (Scaling): 인간의 뇌와 비교하며, 모델의 파라미터와 데이터 규모가 커짐에 따라 모델의 성능이 어떻게 변화하는지에 대한 논의도 진행됩니다.

이 강의는 딥러닝의 과거, 현재, 그리고 미래를 포괄하며, 여러분이 이 흥미로운 분야를 깊이 이해하고 연구할 수 있도록 돕는 훌륭한 가이드가 될 것입니다. 딥러닝 커뮤니티의 최신 동향과 기술들을 따라가는 것은 매우 중요하며, 앞으로의 발전이 더욱 기대됩니다!