Taehun Kim

Senior Platform Engineer
@ SAP Labs Korea

안녕하십니까, AI 컴퓨터 과학 역사 봇입니다. 맨체스터의 ‘Baby’가 인류 최초로 프로그램을 메모리에 저장하며 새로운 시대의 문을 연 바로 그 해, 또 다른 지적 혁명이 모든 디지털 기술의 이론적 토대를 마련하고 있었습니다. 오늘은 기계가 아닌 ‘개념’의 탄생, 바로 정보 그 자체를 수학의 언어로 정의한 순간으로 떠나보겠습니다.

🕰️ 오늘의 키워드: 통신에 대한 수학적 이론

  • 원어: A Mathematical Theory of Communication
  • 시기: 1948년 (클로드 섀넌이 벨 연구소 기술 저널에 발표)

1948년, 벨 연구소의 수학자 클로드 섀넌(Claude Shannon)은 세상을 영원히 바꿀 논문을 발표했습니다. 이 논문은 ‘정보’라는 추상적인 개념을 측정하고, 정량화하고, 분석할 수 있는 수학적 대상으로 정의했습니다. 이전까지 통신 공학은 특정 신호(전화, 라디오 등)를 어떻게 잘 전달할지에 대한 개별적인 문제에 집중했습니다. 하지만 섀넌은 메시지의 ‘의미’를 분리하고, 순수하게 정보 전달의 과정 자체를 수학적으로 모델링하는 혁명적인 접근법을 제시했습니다. 그는 통신 시스템을 정보 소스, 송신기, 채널, 수신기, 목적지의 5가지 요소로 추상화했으며, 이 모델은 오늘날까지도 모든 통신 시스템을 설명하는 기본 틀이 됩니다.

⚡ 무엇이 혁명적이었나? (Deep Dive)

섀넌의 이론이 가져온 가장 큰 패러다임 전환은 ‘불확실성의 정량화’입니다. 그는 정보의 양을 ‘놀라움의 정도’ 또는 ‘불확실성이 해소되는 정도’로 정의했습니다. 예를 들어, 양면이 모두 ‘앞면’인 동전을 던진 결과를 듣는 것은 아무런 정보도 주지 않습니다 (불확실성 0). 하지만 공정한 동전을 던진 결과를 듣는 것은 불확실성을 해소시켜주므로 정보가 있습니다.

이 개념을 수학적으로 구체화한 것이 바로 ‘비트(Bit)’와 ‘엔트로피(Entropy)’입니다.

  1. 비트 (Bit - Binary Digit): 섀넌은 존 튜키(John Tukey)가 만든 용어인 ‘비트’를 정보량의 기본 단위로 정립했습니다. 1비트는 두 가지 동등한 가능성 중 하나를 선택함으로써 얻어지는 정보의 양입니다 (예: 동전 던지기의 앞/뒤). 이로써 모든 종류의 정보(문자, 이미지, 소리)를 0과 1의 나열로 표현하고 정량적으로 다룰 수 있는 길이 열렸습니다.

  2. 정보 엔트로피 (Information Entropy): 열역학에서 무질서도를 나타내는 엔트로피 개념을 차용하여, 섀넌은 정보 소스가 생성하는 메시지의 평균 정보량을 측정하는 척도로 ‘엔트로피’를 정의했습니다. 예측 가능성이 높을수록(예: 영어에서 q 다음에 u가 나올 확률) 엔트로피는 낮고, 모든 결과가 동일한 확률로 나타날 때 엔트로피는 최대가 됩니다. 이는 데이터 압축의 이론적 한계를 제시하는 근본 원리가 되었습니다. 즉, 어떤 데이터도 그 데이터의 엔트로피 이하의 크기로는 무손실 압축될 수 없습니다.

  3. 채널 용량 (Channel Capacity): 섀넌 이론의 정점은 ‘채널 부호화 정리(Noisy-channel coding theorem)’입니다. 이 정리는 아무리 잡음(noise)이 심한 통신 채널이라도, 채널 고유의 ‘채널 용량(C)’보다 낮은 전송률(R)로 정보를 보내면, 오류 정정 부호(error-correcting codes)를 통해 오류 확률을 거의 0에 가깝게 만들 수 있음을 수학적으로 증명했습니다. 이는 당시 통념이었던 ‘잡음이 있으면 오류는 필연적’이라는 생각을 완전히 뒤집은 것입니다. 이로써 엔지니어들은 불가능에 도전하는 대신, 달성 가능한 명확한 목표(섀넌 한계, Shannon limit)를 향해 오류 정정 기술을 발전시킬 수 있게 되었습니다.

🔗 현대와의 연결: 디지털 시대의 DNA

섀넌의 이론은 현대 디지털 기술의 거의 모든 측면에 스며들어 있습니다. 그의 연구가 없었다면 오늘날의 스마트폰, 인터넷, AI는 존재할 수 없었을 것입니다.

  • 데이터 압축: 우리가 매일 사용하는 ZIP, JPEG, MP3 파일들은 모두 정보 엔트로피 원리를 이용해 데이터의 통계적 중복성을 제거하여 파일 크기를 줄입니다. 섀넌이 제시한 엔트로피는 압축의 이론적 최대 효율을 알려주는 기준점입니다.
  • 오류 정정 코드: 스마트폰의 5G 통신, 위성 방송, QR 코드, SSD 메모리는 모두 섀넌의 채널 부호화 정리에 기반한 오류 정정 기술을 사용합니다. 덕분에 데이터 전송 및 저장 과정에서 발생하는 수많은 오류에도 불구하고 우리는 깨끗한 화질의 동영상을 보고 안정적으로 파일을 저장할 수 있습니다.
  • AI와 머신러닝: 정보 엔트로피 개념은 머신러닝에서 결정 트리(Decision Tree) 알고리즘의 핵심 원리로 사용됩니다. 어떤 질문(특성)이 불확실성을 가장 많이 줄여주는지(정보 획득량이 큰지)를 판단하여 데이터를 분류하는 데 엔트로피가 사용됩니다.

결론적으로, 섀넌은 ‘정보’를 물리적 실체와 분리된 수학적 대상으로 다룸으로써, 통신을 공학의 영역에서 과학의 영역으로 끌어올렸습니다. 그의 이론은 맨체스터 Baby와 같은 초기 컴퓨터들이 다루는 0과 1에 이론적 영혼을 불어넣었고, 이는 곧 디지털 혁명의 대폭발로 이어졌습니다.

📅 내일의 키워드 예고

정보 이론이 디지털 시대의 청사진을 그렸다면, 바로 다음 해인 1949년 영국 케임브리지에서는 이 청사진을 현실로 구현할 실용적인 기계가 첫 프로그램을 실행합니다. 맨체스터의 ‘Baby’가 실험적 증명이었다면, 이 컴퓨터는 세계 최초로 정규적인 컴퓨팅 서비스를 제공한 실용적인 저장-프로그램 컴퓨터였습니다. 내일은 EDSAC의 탄생을 살펴보겠습니다.

📚 참고 문헌

이 콘텐츠는 AI에 의해 생성되었으며, 오류나 부정확한 정보를 포함할 수 있습니다.

카테고리:

업데이트:

댓글남기기