20강. AI 데이터센터의 병목은 GPU일까? 광인터커넥트가 필요한 이유
광인터커넥트가 필요한 이유
GPU가 빨라질수록 왜 데이터 이동이 더 중요해질까?
19강에서는 하나의 광섬유 또는 광도파로에서 여러 파장의 데이터를 동시에 전송하는 WDM(Wavelength Division Multiplexing) 기술을 살펴봤습니다.
그렇다면 한 가지 질문이 남습니다.
“GPU의 연산 성능이 계속 빨라지면 AI 데이터센터의 모든 문제가 해결될까?”
그렇지는 않습니다.
AI 반도체의 성능이 빠르게 증가하면서 오히려 새로운 병목이 나타나고 있습니다. 바로 데이터 이동(Data Movement)입니다.
생성형 AI와 대규모 언어 모델은 수많은 GPU와 AI 가속기를 동시에 사용합니다. 각각의 GPU가 계산한 결과를 다른 GPU로 전달해야 하고, 메모리와 프로세서 사이에서도 대량의 데이터가 계속 이동합니다.
결국 AI 시스템의 성능은 단순히 얼마나 빠르게 계산하느냐뿐만 아니라 얼마나 빠르고 효율적으로 데이터를 이동시키느냐에 의해 결정될 수 있습니다.
최근 Nature Reviews Electrical Engineering에서는 AI와 HPC의 증가하는 작업량이 기존 전기식 I/O의 전송 거리, 에너지 효율, 대역폭 밀도에 한계를 만들고 있으며, CMOS와 결합된 실리콘 포토닉스가 이를 해결할 중요한 경로라고 분석했습니다.
AI 데이터센터에서는 어떤 데이터가 이동할까?
AI 모델을 학습시키려면 엄청난 양의 데이터를 여러 연산 장치가 나누어 처리해야 합니다.
예를 들어 하나의 거대한 AI 모델을 여러 GPU가 함께 학습한다고 생각해 보겠습니다.
GPU A가 계산한 결과를 GPU B로 보내야 하고, GPU B의 결과는 GPU C로 전달될 수 있습니다.
또한 여러 GPU가 동일한 모델 파라미터나 중간 계산 결과를 공유해야 하는 경우도 있습니다.
단순하게 표현하면 다음과 같습니다.
GPU 1 ↔ GPU 2
GPU 2 ↔ GPU 3
GPU 3 ↔ GPU 4
GPU 4 ↔ GPU 5
그리고 실제 AI 클러스터에서는 이러한 연결이 수십, 수백, 수천 개의 연산 장치로 확장됩니다.
따라서 GPU의 계산 능력이 증가할수록 GPU 사이에서 이동해야 하는 데이터의 양도 커질 수 있습니다.
GPU가 빠른데 왜 데이터 이동이 병목이 될까?
컴퓨터에서 계산은 매우 빠르게 이루어질 수 있습니다.
하지만 계산 결과를 다른 칩으로 보내려면 반드시 통신 과정을 거쳐야 합니다.
문제는 전기 신호가 이동하는 데에도 에너지가 필요하다는 것입니다.
특히 칩과 칩 사이의 거리가 길어질수록 전기 배선에서 발생하는 손실과 신호 무결성 문제가 중요해집니다.
속도를 높이기 위해 더 높은 주파수의 신호를 사용하면 회로 설계가 더욱 어려워질 수 있습니다.
결국 AI 시스템에서는 다음과 같은 문제가 나타날 수 있습니다.
연산 성능 증가
↓
GPU 수 증가
↓
GPU 간 데이터 증가
↓
인터커넥트 대역폭 부족
↓
전력 소비 증가
↓
전체 시스템 성능 제한
이것이 바로 인터커넥트 병목(Interconnect Bottleneck)입니다.
전기식 인터커넥트의 한계
현재 컴퓨터 시스템에서는 대부분 전기 신호를 이용해 데이터를 이동시킵니다.
PCB의 구리 배선이나 패키지 내부의 전기 연결이 대표적입니다.
전기식 연결은 짧은 거리에서는 매우 강력합니다.
특히 칩 내부나 매우 가까운 칩 사이에서는 높은 집적도와 낮은 비용이라는 장점이 있습니다.
하지만 거리가 길어지고 데이터 속도가 높아지면 문제가 커집니다.
대표적인 문제는 다음과 같습니다.
신호 손실
전력 소비
열 발생
배선 밀도
신호 무결성
전자기 간섭
따라서 모든 연결을 단순히 더 빠른 전기 신호로 해결하는 것은 점점 어려워지고 있습니다.
빛을 이용하면 무엇이 달라질까?
여기에서 광인터커넥트(Optical Interconnect)가 등장합니다.
광인터커넥트는 전기 신호 대신 빛을 이용해 데이터를 전달하는 기술입니다.
기본적인 과정은 다음과 같습니다.
전기 데이터
↓
광변조기
↓
빛에 데이터 저장
↓
광도파로 또는 광섬유
↓
광검출기
↓
전기 데이터
빛은 광섬유를 통해 매우 높은 데이터 전송량을 전달할 수 있습니다.
또한 WDM을 이용하면 서로 다른 파장에 각각 다른 데이터를 실어 하나의 광경로에서 동시에 전달할 수도 있습니다.
19강에서 살펴본 WDM이 바로 이 부분에서 중요한 역할을 합니다.
광인터커넥트의 핵심은 ‘속도’만이 아니다
광인터커넥트를 설명할 때 흔히 “빛이 빠르기 때문에 빠른 통신이 가능하다”고 생각하기 쉽습니다.
하지만 실제 산업적 의미는 조금 더 복잡합니다.
핵심은 대역폭 밀도와 에너지 효율입니다.
하나의 광경로에서 여러 파장을 동시에 사용할 수 있기 때문에 동일한 물리적 공간에서 더 많은 데이터를 전달할 가능성이 있습니다.
또한 칩과 칩 사이의 거리가 증가하더라도 광통신은 전기식 배선과 다른 방식으로 신호를 전달할 수 있습니다.
최근 Nature Photonics에 발표된 3D 광·전자 집적 연구에서는 0.3mm²의 작은 면적에 80개의 광 송수신기를 집적해 800Gb/s급 데이터 링크와 5.3Tb/s/mm²의 채널 밀도를 시연했습니다. 송신·수신 프런트엔드의 에너지 효율도 각각 50fJ/bit와 70fJ/bit 수준으로 보고됐습니다.
이 연구가 중요한 이유는 단순히 높은 전송속도를 보여줬기 때문이 아닙니다.
AI 칩 사이의 데이터 이동 자체를 광학적으로 해결할 가능성을 보여줬다는 데 의미가 있습니다.
실리콘 포토닉스가 중요한 이유
광인터커넥트를 구현하려면 레이저, 변조기, 광도파로, 광검출기 등의 다양한 광소자가 필요합니다.
문제는 이러한 부품을 각각 따로 만들어 연결하면 시스템이 너무 커지고 복잡해진다는 것입니다.
그래서 등장한 것이 실리콘 포토닉스(Silicon Photonics)입니다.
실리콘 포토닉스는 반도체 제조 기술을 활용해 광학 소자를 하나의 칩에 집적하는 기술입니다.
대표적인 구성 요소는 다음과 같습니다.
레이저
→ 빛을 생성
광변조기
→ 빛에 데이터를 입력
광도파로
→ 빛을 이동
WDM
→ 여러 파장의 데이터 처리
광검출기
→ 빛을 전기 신호로 변환
이러한 기능을 하나의 작은 광집적회로에 구현하는 것입니다.
2024년 npj Nanophotonics 리뷰에서는 생성형 AI의 확산으로 데이터센터 트래픽이 증가하면서 1.6Tb/s를 넘어서는 다중 채널 광트랜시버의 필요성이 커지고 있다고 분석했습니다.
GPU 바로 옆에 광통신을 넣는다면?
여기서 중요한 개념이 등장합니다.
바로 Optical I/O입니다.
기존 데이터센터에서는 GPU나 CPU에서 나온 전기 신호가 일정 거리를 이동한 후 광트랜시버에서 빛으로 변환되는 방식이 일반적입니다.
즉,
GPU
↓
전기 배선
↓
전기 신호 이동
↓
광트랜시버
↓
광섬유
라는 구조입니다.
하지만 데이터 속도가 계속 증가하면 GPU에서 광트랜시버까지 이동하는 전기 신호의 거리가 문제가 될 수 있습니다.
그래서 새로운 접근 방식은 광학 인터페이스를 GPU 또는 패키지 가까이에 배치하는 것입니다.
이렇게 하면 전기 신호가 이동해야 하는 거리를 줄일 수 있습니다.
CPO(Co-Packaged Optics)란 무엇인가?
여기서 CPO(Co-Packaged Optics)라는 기술이 등장합니다.
CPO는 쉽게 말하면 전자 칩과 광통신 소자를 하나의 패키지에 가깝게 통합하는 구조입니다.
기존에는 스위치 칩과 광트랜시버가 떨어져 있었습니다.
CPO에서는 광소자를 스위치 ASIC이나 AI 가속기와 훨씬 가까운 위치에 배치합니다.
개념적으로 보면 다음과 같습니다.
기존 구조
GPU/ASIC
↓
전기 배선
↓
광트랜시버
↓
광섬유
CPO 구조
GPU/ASIC + 광소자
↓
짧은 전기 연결
↓
광섬유
즉 전기 신호가 이동하는 거리를 줄이고 빛으로 전환하는 지점을 칩 가까이 가져가는 것입니다.
2025년 npj Nanophotonics의 산업 전망 논문은 CPO를 포함한 광기술이 AI 데이터센터의 대역폭, 지연시간, 전력소비 문제를 해결하기 위한 주요 후보라고 설명합니다.
CPO가 왜 AI 데이터센터에서 중요할까?
AI 데이터센터에서는 GPU의 수가 계속 증가하고 있습니다.
GPU 하나의 성능만 높이는 것보다 여러 GPU를 하나의 거대한 시스템처럼 연결하는 것이 중요해지고 있습니다.
이때 GPU 사이의 연결이 느리다면 GPU의 계산 능력을 충분히 활용하지 못할 수 있습니다.
따라서 AI 데이터센터에서는
Compute
Memory
Interconnect
가 함께 발전해야 합니다.
GPU가 아무리 빠르더라도 인터커넥트가 이를 따라가지 못하면 전체 시스템의 성능이 제한될 수 있습니다.
CPO는 이러한 문제에서 광통신을 연산 칩 가까이 가져오는 방법이라고 볼 수 있습니다.
AI 클러스터에서는 Scale-Up과 Scale-Out이 중요하다
AI 데이터센터를 이해하려면 Scale-Up과 Scale-Out이라는 개념도 알아야 합니다.
Scale-Up
하나의 AI 시스템 내부에서 더 많은 GPU 또는 가속기를 연결하는 방식입니다.
예를 들어
GPU 1
↕
GPU 2
↕
GPU 3
↕
GPU 4
처럼 하나의 거대한 계산 시스템을 구성하는 것입니다.
Scale-Out
여러 개의 서버나 GPU 클러스터를 네트워크로 연결하는 방식입니다.
즉
GPU Cluster A
↓
네트워크
↓
GPU Cluster B
↓
네트워크
↓
GPU Cluster C
처럼 시스템을 확장합니다.
AI 모델이 커질수록 두 가지 방식 모두 중요해집니다.
최근 npj Nanophotonics에서는 전통적인 전기식 연결이 대규모 XPU 클러스터의 확장에 제약을 줄 수 있으며, CPO와 광회로 스위치(OCS)가 랙 수준의 연결성을 확장하기 위한 주요 접근법으로 연구되고 있다고 설명합니다.
광회로 스위치(OCS)는 무엇일까?
광인터커넥트가 발전하면서 OCS(Optical Circuit Switch)도 중요해지고 있습니다.
일반적인 전자 스위치는 전기 신호를 이용해 데이터의 경로를 결정합니다.
반면 OCS는 빛의 경로 자체를 바꾸는 방식입니다.
예를 들어
GPU Cluster A
→ Switch
→ GPU Cluster B
또는
GPU Cluster A
→ Switch
→ GPU Cluster C
와 같이 필요한 연결을 광학적으로 구성할 수 있습니다.
AI 작업마다 필요한 통신 패턴이 달라질 수 있기 때문에 네트워크 연결을 유연하게 변경할 수 있는 광스위치가 중요한 연구 분야가 되고 있습니다.
2025년 npj Nanophotonics의 전망 논문에서는 실리콘 포토닉 OCS가 서브밀리초 수준의 재구성 시간과 낮은 포트 간 지연을 목표로 연구되고 있다고 설명합니다.
800Gb/s급 3D 광인터커넥트 연구
20강에서 반드시 살펴볼 최신 연구 가운데 하나가 3D photonic integration입니다.
2025년 Nature Photonics에 발표된 연구에서는 전자회로와 광소자를 3차원으로 집적했습니다.
연구진은 80개의 광 송신기와 수신기를 약 0.3mm²의 칩 면적에 집적했습니다.
이를 통해
800Gb/s 데이터 링크
와
5.3Tb/s/mm²의 높은 채널 밀도
를 시연했습니다.
또한 상용 CMOS 파운드리의 300mm 웨이퍼 제조와 호환되는 접근법을 제시했습니다.
이것은 앞으로 AI 칩을 연결하는 방식이 단순히 “칩 옆에 광트랜시버를 놓는 것”에서 더 발전해 전자와 광자를 하나의 3차원 시스템으로 집적하는 방향으로 갈 수 있음을 보여줍니다.
왜 3D 집적이 중요한가?
반도체에서 2D 구조만으로 모든 문제를 해결하기 어려워지면서 3D 집적 기술이 중요해지고 있습니다.
광인터커넥트에서도 마찬가지입니다.
광소자와 전자소자를 위아래로 적층하면 제한된 칩 면적 안에 더 많은 기능을 넣을 수 있습니다.
이를 통해
더 높은 채널 밀도
짧은 연결 거리
낮은 에너지 소비
높은 집적도
를 동시에 추구할 수 있습니다.
2025년 Nature Photonics 연구는 이러한 3D 광·전자 집적을 실제 데이터 링크로 구현했다는 점에서 중요한 의미를 갖습니다.
WDM과 CPO가 만나면 어떻게 될까?
19강에서 WDM을 살펴봤습니다.
WDM은 여러 파장의 빛을 이용해 여러 데이터 채널을 동시에 전달합니다.
20강의 CPO는 이 광통신 인터페이스를 컴퓨팅 칩 가까이 가져옵니다.
따라서 두 기술을 연결하면 다음과 같은 구조를 생각할 수 있습니다.
AI GPU
↓
CPO
↓
실리콘 포토닉스
↓
WDM
↓
여러 파장의 광신호
↓
광섬유
↓
다른 GPU
이 구조의 핵심은 데이터를 가능한 한 빨리, 많은 양으로, 적은 에너지로 이동시키는 것입니다.
3.2Tbps WDM과 AI 데이터센터
19강에서 소개했던 2025년 연구도 다시 연결해 볼 수 있습니다.
연구진은 실리콘 포토닉 slow-light 기술과 AI 기반 신호처리를 이용해 8채널 WDM, 총 3.2Tbps 데이터 전송을 시연했습니다.
각 파장당 데이터 속도는 400Gbps였습니다.
이런 연구들이 중요한 이유는 AI 데이터센터에서 필요한 광인터커넥트의 방향과 일치하기 때문입니다.
앞으로
400Gbps/λ
↓
800Gbps/λ
↓
1.6Tbps/λ
처럼 하나의 파장이 전달할 수 있는 데이터량이 증가한다면 전체 광인터커넥트의 용량도 크게 증가할 수 있습니다.
광인터커넥트의 가장 큰 장점은 무엇일까?
광인터커넥트의 장점을 정리하면 크게 네 가지로 볼 수 있습니다.
높은 대역폭
WDM을 이용하면 하나의 광경로에서 여러 데이터 채널을 동시에 전송할 수 있습니다.
높은 대역폭 밀도
작은 칩 면적에서도 여러 광채널을 집적할 수 있습니다.
낮은 에너지/bit 가능성
전자식 장거리 연결의 부담을 줄이고 광학적 전송을 이용함으로써 링크 에너지 효율을 개선할 가능성이 있습니다.
확장성
GPU와 AI 가속기가 수천 개 수준으로 증가하는 미래 AI 클러스터에서 칩 간 연결을 확장하는 방법으로 활용될 수 있습니다.
다만 이것이 모든 상황에서 광인터커넥트가 전기 연결보다 무조건 우수하다는 의미는 아닙니다.
짧은 거리에서는 전기식 연결이 여전히 매우 효율적일 수 있습니다.
따라서 앞으로는 전자와 광자의 역할을 거리와 시스템 구조에 따라 나누는 하이브리드 방식이 중요할 가능성이 높습니다.
광인터커넥트가 해결해야 할 문제
광인터커넥트에도 여러 가지 과제가 있습니다.
첫 번째는 열 관리입니다.
AI GPU 자체가 엄청난 열을 발생시키기 때문에 GPU 가까이에 광소자를 집적하면 광소자의 온도 안정성이 문제가 될 수 있습니다.
특히 마이크로링 공진기처럼 온도에 민감한 소자를 사용하면 열 제어가 더욱 중요합니다.
두 번째는 제조 수율입니다.
전자회로와 광소자를 하나의 패키지 또는 웨이퍼에 집적할수록 제조 과정이 복잡해질 수 있습니다.
세 번째는 패키징입니다.
광섬유와 칩을 정확하게 연결해야 하기 때문에 광결합 기술이 필요합니다.
네 번째는 비용입니다.
AI 데이터센터에 대규모로 적용하려면 성능뿐만 아니라 제조 비용과 유지보수 비용도 낮아져야 합니다.
2025년 Nature Reviews Electrical Engineering 리뷰에서도 실리콘 포토닉스의 다음 단계에서 열 관리, 제조 수율, 비용, 대역폭 밀도 사이의 균형이 중요한 과제로 제시됩니다.
광인터커넥트에서 나노레이저가 다시 등장한다
여기서 12강과 13강에서 배운 나노레이저와 반도체 레이저가 다시 연결됩니다.
광인터커넥트에는 반드시 빛을 만들어내는 광원이 필요합니다.
따라서
나노기술
↓
나노레이저
↓
실리콘 포토닉스
↓
WDM
↓
광인터커넥트
라는 기술적 연결이 만들어집니다.
그리고 이 광인터커넥트가
↓
GPU
↓
AI 클러스터
↓
광컴퓨팅
으로 이어집니다.
즉 지금까지 우리가 1강부터 차례대로 살펴본 반도체 기술들이 하나의 큰 시스템 안에서 연결되기 시작하는 것입니다.
AI 반도체의 경쟁은 연산에서 연결로 확대되고 있다
초기 AI 반도체 경쟁에서는 누가 더 많은 연산을 할 수 있는지가 중요했습니다.
하지만 AI 모델이 거대해지면서 상황이 달라지고 있습니다.
이제는
연산 성능
뿐만 아니라
메모리 대역폭
칩 간 연결
네트워크 대역폭
전력 효율
패키징
까지 함께 고려해야 합니다.
그래서 미래 AI 반도체의 경쟁은 단순한 GPU 성능 경쟁을 넘어 전체 시스템 아키텍처 경쟁으로 확대될 가능성이 높습니다.
2025년 npj Nanophotonics의 AI 데이터센터 분석에서도 광기술이 패키지, 랙, 데이터센터 네트워크 등 여러 계층에서 AI 시스템의 확장성을 지원할 수 있는 기술로 분석되고 있습니다.
20강 핵심 정리
AI 데이터센터에서 중요한 것은 GPU의 연산 성능만이 아닙니다.
GPU가 계산한 데이터를 다른 GPU와 메모리로 얼마나 효율적으로 전달할 수 있는지도 중요합니다.
이 문제를 데이터 이동 병목이라고 볼 수 있습니다.
전기식 인터커넥트는 짧은 거리에서 매우 강력하지만, 데이터 속도와 연결 거리가 증가할수록 전력과 신호 무결성 문제가 중요해집니다.
이러한 문제를 해결하기 위한 기술 가운데 하나가 광인터커넥트입니다.
그리고 광인터커넥트의 핵심 기술들이 서로 연결됩니다.
나노레이저
↓
실리콘 포토닉스
↓
광변조기
↓
광도파로
↓
WDM
↓
광인터커넥트
↓
CPO
↓
AI GPU 클러스터
이 흐름은 앞으로 우리가 살펴볼 광컴퓨팅과 포토닉 AI로 자연스럽게 이어집니다.
다음 21강에서는 한 단계 더 나아가겠습니다.
“빛으로 데이터를 보내는 것에서 더 나아가, 빛으로 계산할 수 있을까?”
바로 광컴퓨팅(Photonic Computing)의 세계입니다.
20강 참고문헌
- Zhou, X. et al. “Silicon photonics for high-speed communications and photonic signal processing.” npj Nanophotonics (2024).
- “Industry insight: photonics to scale AI data centers.” npj Nanophotonics (2025).
- Wan, Y. et al. “Integrating silicon photonics with complementary metal–oxide–semiconductor technologies.” Nature Reviews Electrical Engineering (2026).
- Daudlin, S. et al. “Three-dimensional photonic integration for ultra-low-energy, high-bandwidth interchip data links.” Nature Photonics 19, 502–509 (2025).
- Wu, Y. et al. “Exploring 400 Gbps/λ and beyond with AI-accelerated silicon photonic slow-light technology.” Nature Communications 16, 6547 (2025).
- “Massively scalable Kerr comb-driven silicon photonic link.” Nature Photonics (2023).
유트
