생성 AI(Generative AI)는 딥러닝에 신경망을 결합한 머신러닝(기계 학습)의 일종으로, 최근 수년 간 등장한 여타 인공지능(AI)과 비슷한 기제로 운영된다. 하지만 구세대 AI 칩으로는 생성 AI를 운영하기가 힘들다. 너무 느리고 비효율적이며, 설계방식과 메모리도 적합하지 않기 때문이다.

따라서 주요 반도체 회사들은 생성 AI에 최적화된 칩을 만들고 있다. 2023년 봄 기준 생성 AI에 특화된 첨단 칩 가격은 개당 약 4만달러(약 5320만원)에 달했다. 수요량은 100만 개가 넘을 정도였는데, 생산량이 부족해 공급이 부족했다. 첨단 패키징 병목현상이 주요 원인이었다. 이에 따라 수천 개 기업이 생성 AI 서비스와 소프트웨어를 출시하는데 애를 먹었다. 생성 AI 칩을 생산할 수 있는 기업 대다수는 여전히 수주 물량을 맞추지 못해 허덕이고 있고, 이러한 수급난은 2024년에도 지속될 것으로 전망된다.

이처럼 수요는 많은데 공급이 달리면 가격이 높아질 수밖에 없다. 지정학적 요인이 생성 AI 칩 수급에 더욱 큰 영향을 미칠 수도 있다. 생성 AI 특화칩을 생산하려면 전 세계의 첨단 기술이 집약돼야 하는데, 현재로서는 대부분 공정이 아시아에 집중돼 있고 앞으로도 이러한 상황은 지속될 가능성이 크다. 더군다나 이러한 첨단 칩은 미국과 유럽뿐 아니라 여타 아시아 동맹국들의 무역 제한 조치에 포함되는 경우가 많아지고 있다.

중국은 생성 AI 데이터 세트와 소프트웨어를 자체 개발할 수 있지만, 여러 제재를 뚫고 중국이 칩 생산능력을 얼마나 첨단화했는지는 불확실하다. 다만, 2023년 9월에 중국 반도체 회사가 7㎚(나노미터) 프로세스 노드를 기반으로 만들어 내놓은 스마트폰용 칩은 첨단 생성 AI 칩에 사용되는 칩보다 용량이 적고 2~3세대 뒤처졌지만, 여러 무역 제재 상황을 반영한다면 의외로 선전했다는 서방 전문가들의 평가를 받았다.

생성 AI 칩 관련 핵심 기술 이슈 세 가지

1︱최첨단 생성 AI 하드웨어의 핵심은 다양한 칩과 연결망으로 이뤄진 랙스케일 보드(rack-scale board)라 할 수 있다. 랙스케일 보드는 중앙처리장치(CPU)와 최첨단 프로세스 노드 기반의 대규모 그래픽처리장치(GPU)를 결합한 것인데, 이러한 GPU는 특수 고속 메모리로 특수 패키징 프로세스를 거쳐 양산된다. 예를 들어 칩으로서는 대규모에 해당하는 800㎟ 이상의 실리콘 칩에 800억 개의 트랜지스터를 탑재하고 2.5D 첨단 패키징이라 불리는 고대역폭메모리(HBM)3 패키징 프로세스를 거쳐 생성 AI를 운영할 수 있는 GPU가 만들어진다. 이 공정은 파운드리에서의 마지막 프로세스 또는 아웃소싱 업체가 실행하는 백엔드 공정의 첫 프로세스로 작업할 수 있다.

2︱이러한 생성 AI 가속기 대부분이 배치되는 데이터센터에서는 대량의 데이터를 가능한 한 빠른 속도로 단거리 이동시켜야 하는 경우가 있는데, 이때 특수 네트워킹 칩이 필요하다. 네트워킹 칩은 생성 AI 애플리케이션(앱)에만 사용되는 것은 아니지만, 지금으로서는 생성 AI에 가장 많이 사용되며 2024년 수십억달러의 매출이 기대되는 분야다.

3︱마지막으로, 생성 AI 칩은 보드당 약 10㎾(킬로와트)가 필요할 정도로 양산 시 에너지 소비량이 막대하다. 또한 여러 개의 칩으로 이뤄져 있어 냉각기가 감당할 수 있는 것보다 많은 열을 낸다. 따라서 데이터센터 액체냉각(liquid cooling) 시장이 2024년 전년 대비 약 25% 성장해 20억~30억달러(약 3조~4조원) 규모에 달할 것으로 전망된다. 이처럼 대용량 전력을 충당하려면 에너지 효율성이 높은 고압 전력 시설의 신설이 필요하다. 이로인해 소형 업체들을 중심으로 연간 수억달러 규모의 고압 전력 시장도 형성될 것으로 전망된다.

생성 AI, 반도체 시장에 순풍⋯여러 변수 가능성

딜로이트는 2024년 반도체 시장에서 생성 AI로 창출되는 매출이 약 500억달러(약 67조원)에 달할 것으로 전망한다. 2022년 0달러에 가까웠던 시장이 무섭게 성장해, 2024년 AI 칩 총매출의 3분의 2를 차지하는 것이다. 이에 따라 2024년에는 글로벌 칩 매출액 5760억달러(약 766조원·전망치)에서 AI 칩 총매출이 11%를 차지할 것으로 전망된다. 그리고 2027년에 이르면 글로벌 AI 칩 시장 규모가 최대 4000억달러(약 532조원)에 달할 것으로 추산된다.

이는 꽤 탄탄한 근거가 있는 전망이고 전 세계 반도체 업계도 이러한 전망을 중요하게 여긴다. 하지만 현재의 높은 수요와 칩 가격이 공급 증대와 새로운 공급 업체의 등장으로 해소된다면 전망은 불확실해진다. 글로벌 AI 칩 시장 규모의 성장세가 지나치게 낙관적인 전망이라는 이들은 다음과 같은 근거를 제시한다.

첫째, 생성 AI GPU 시장은 2023년 여름 기준 단 한 개의 기업이 독점해, 공급이 부족할 수밖에 없었다. 한편 구매자들은 소비자 및 기업용 생성 AI 학습과 추론에 쓰일 칩이 더 많이 필요할 것이라는 전망에 되도록 많은 칩을 확보하려 사재기에 나섰다. 그 결과 칩 가격이 천정부지로 치솟았다. 하지만 현재 시장을 독점한 기업의 생산량이 늘거나 새로운 경쟁사가 등장한다면 생성 AI 칩 가격은 하락할 가능성이 크다. 그렇게 되면 이들 기업의 매출은 2025년부터 감소할 수 있다.

둘째, 칩을 구매하는 고객사들은 충분한 물량을 공급받지 못할 때 필요보다 많이 주문한다. 예를 들어, 주문한 물량의 25%밖에 공급받지 못할 것이라는 계산에 실제로 필요한 물량은 2만5000개 인데 10만 개를 주문하는 것이다. 수요량이 7만 5000개 부풀려지는 셈이다. 하지만 AI 칩 생산량이 늘어 수요-공급 균형이 회복될 경우, 구매 기업들이 이전대로 주문하면 필요 이상의 칩을 떠안게 되기 때문에 주문량을 줄일 것이다. 과거 반도체 산업의 급격한 주기 변동을 야기한 ‘채찍 효과’1)가 발생하는 것이다.

셋째, 현재 생성 AI 학습과 추론은 모두 데이터센터용 생성 AI 칩과 동일한 칩으로 운영된다. 하지만 앞으로 생성 AI 추론의 상당 부분이 에지프로세서에서 이뤄질 가능성이 크다. 에지프로세서 생성 AI는 데이터센터용보다 성능이 낮은 GPU 및 CPU, 또는 새로운 앱 특화 집적회로(IC)로도 운영이 가능하다. 따라서 관련 시장에는 기존 생성 AI 칩 제조사뿐 아니라 기존 에지프로세싱 칩 회사와 반도체 설계를 하지 않았던 기업들까지 새로운 경쟁사들이 진입할 수 있다. 에지프로세서에서 처리되는 생성 AI의 추론이 늘어날수록, 시장 규모가 커지거나 데이터센터용 생성 AI 칩 가격이 하락할 것이다.

마지막으로, 앞서 언급했듯 생성 AI 칩 시장이 2023~2024년 폭발적으로 성장하다가 2025년 거품이 붕괴할 것이라는 우려가 있다. 이는 대세 전망은 아니지만, 반도체 시장의 난폭한 등락 가능성을 익히 알고 있다면 완전히 무시할 수 있는 견해는 아니다. 확실히 전망하기는 어렵지만 AI 칩 공급이 늘고 다각화되는 한편 수요가 예상보다 저조하고 에지프로세서에서 이뤄지는 AI 추론이 늘어나 가격이 하락하면, 2027년 AI 칩 시장 규모는 앞서 언급한 1100억~4000억달러의 하단에 그칠 가능성이 있다. 그렇다 하더라도 2024년 규모(전망치)에서 두 배 성장하는 수준이다.

하지만 시장 규모가 1000억달러든 4000억달러든 기업들이 AI 칩, 특히 생성 AI 칩을 필요로 할 것이라는 점은 변함이 없다. 또한 안정적이고 신뢰할 수 있는 공급망을 확보해야만 혁신, 경제적 성공, 국가 안보를 사수할 수 있다는 기업들의 인식도 변하지 않을 것이다.

미국·유럽, ‘패키징·메모리 생산 역량’ 과제

이 대목에서 미국과 유럽의 해결 과제가 이슈로 등장한다. 미국과 유럽에서 다수의 반도체 회사가 AI 및 생성 AI 운영에 필요한 첨단 CPU와 GPU를 생산할 수 있는 노드 제조 시설을 구축하고 있지만, 프론트엔드(front-end)2)와 백엔드(back-end)3)를 통틀어 패키징 역량이 현재로서는 부족하다.

이뿐만 아니라 AI 칩 필수인 HBM이나 HBM3e 공장도 기존으로는 터무니없이 부족한데 신설 계획도 충분치 않다. 따라서 미국과 유럽은 AI 칩을 자체 생산할 수는 있어도, 결국 HBM3 메모리 탑재와 첨단 패키징 공정을 위해 한국, 대만, 동남아시아 등 아시아에 의존할 수밖에 없는 실정이다. 유럽반도체법(European Chips Act)과 미국 반도체 칩과 과학법(CHIPS and Science Act·칩스법)모두 첨단 패키징 및 메모리 기술 개발과 생산능력 강화를 위한 예산을 책정했으나, 이것만으로 생성 AI 칩 패키징의 자급자족이 가능해질지는 불확실하다.