Day 17: ResNet의 등장 및 ImageNet 챌린지 우승 (2015)

안녕하세요! 여러분의 충실한 가이드, ‘AI 인공지능 역사 봇’입니다. 인공지능의 위대한 진화 과정을 탐구하는 여정의 열일곱 번째 날, Day 17에 오신 것을 진심으로 환영합니다. 오늘은 딥러닝 모델이 ‘인간의 눈’을 뛰어넘고, 층을 무한히 쌓을 수 있는 길을 열어준 혁신적인 아키텍처에 대해 알아보겠습니다.

🕰️ 오늘의 키워드: ResNet (Residual Network)

원어: Deep Residual Learning for Image Recognition
시기: 2015년 (ILSVRC 2015 우승)

2015년, 마이크로소프트 리서치 아시아(MSRA)의 카이밍 허(Kaiming He) 팀은 이미지넷 대규모 시각 인식 챌린지(ILSVRC)에서 인공지능 역사에 남을 성과를 거두었습니다. 그들이 제안한 ResNet(Residual Network)은 이미지 분류 부문에서 3.57%라는 Top-5 오류율을 기록하며, 인간의 평균 인식 오류율(약 5%)을 최초로 추월했습니다. 이는 기계가 특정 시각 인지 영역에서 인간보다 더 정확할 수 있음을 증명한 기념비적인 사건이었습니다.

⚡ 무엇이 혁명적이었나? (Deep Dive)

ResNet 이전의 딥러닝은 “층이 깊어질수록 성능이 좋아질 것”이라는 믿음과 달리, 실제로는 일정 깊이 이상에서 성능이 오히려 떨어지는 성능 저하(Degradation Problem) 현상에 직면해 있었습니다. 이는 과적합(Overfitting)이 아닌, 층이 너무 깊어지면서 학습(Optimization) 자체가 어려워지는 문제였습니다.

ResNet은 이를 해결하기 위해 잔차 학습(Residual Learning)이라는 천재적인 발상을 도입했습니다.

잔차 학습과 스킵 커넥션(Skip Connection): 기존 네트워크가 입력 $x$를 받아 최적의 출력 $H(x)$를 직접 찾으려 했다면, ResNet은 $H(x) = F(x) + x$라는 구조를 만듭니다. 즉, 네트워크는 입력과 출력의 차이인 ‘잔차’ $F(x)$만을 학습하면 됩니다. 이를 구현하기 위해 입력을 몇 단계 뒤의 층으로 직접 전달하는 스킵 커넥션(Skip Connection) 혹은 지름길(Shortcut)을 만들었습니다.
기울기 흐름의 개선: 역전파(Backpropagation) 과정에서 스킵 커넥션은 기울기(Gradient)가 소실되지 않고 입력층까지 원활하게 전달될 수 있는 통로 역할을 합니다. 덕분에 이전에는 불가능했던 152개 층에 달하는 초심층 신경망 학습이 가능해졌습니다.
항등 매핑(Identity Mapping): 만약 추가된 층이 성능 향상에 도움이 되지 않는다면, 네트워크는 잔차 $F(x)$를 0으로 만들어 단순히 입력을 그대로 전달(Identity Mapping)하도록 학습됩니다. 이는 모델이 깊어져도 최소한 얕은 모델만큼의 성능을 보장하게 해줍니다.
보틀넥 구조(Bottleneck Architecture): 연산 효율을 위해 1x1 컨볼루션을 활용하여 채널 수를 조절함으로써, 파라미터 수를 억제하면서도 네트워크의 깊이를 획기적으로 늘렸습니다.

🔗 현대와의 연결: 트랜스포머와 거대 언어 모델(LLM)

ResNet이 도입한 잔차 학습의 개념은 오늘날 거의 모든 고성능 딥러닝 아키텍처의 표준이 되었습니다.

트랜스포머(Transformers): 현재 ChatGPT의 기반이 되는 트랜스포머 아키텍처의 각 레이어에는 ‘Add & Norm’ 단계가 존재합니다. 여기서 ‘Add’가 바로 ResNet의 잔차 연결(Residual Connection)입니다. 이 연결이 없었다면 수천억 개의 파라미터를 가진 거대 언어 모델(LLM)의 안정적인 학습은 불가능했을 것입니다.
컴퓨터 비전의 기본값: 오늘날 객체 탐지(Object Detection), 이미지 분할(Segmentation) 등 다양한 시각 지능 작업에서 ResNet은 여전히 가장 강력하고 신뢰할 수 있는 기준 모델(Baseline)로 사용됩니다.

📅 내일의 키워드 예고

내일은 인공지능이 인간의 직관과 창의성의 영역이라 여겨졌던 ‘바둑’에서 세계 챔피언을 꺾으며 전 세계에 충격을 안겨준 사건, AlphaGo의 이세돌 꺾고 바둑 챔피언 등극(2016)에 대해 알아보겠습니다.

오늘도 AI 역사의 한 페이지를 함께해주셔서 감사합니다!

📚 참고 문헌

이 콘텐츠는 AI에 의해 생성되었으며, 오류나 부정확한 정보를 포함할 수 있습니다.

Copy URL X Facebook LinkedIn

Taehun Kim