핵심 요약
- 구글은 그동안 데이터센터용 TPU를 주로 클라우드로 빌려줬다. 2026년에는 고객이 자기 시설에 두는 TPU 시스템 공급을 시작했고, 2분기부터 관련 매출도 잡히기 시작했다.
- 현재 공개된 대표적인 대형 고객은 앤트로픽이다. 구글 클라우드 사용과 TPU 서버 임대로 대규모 장기 계약을 맺었으며, 구글의 관련 매출도 발생하기 시작했다.
- 엔비디아의 데이터센터 매출은 여전히 빠르게 성장하고 있다. 당장은 두 회사 모두 성장할 여지가 있지만, TPU를 선택하는 고객이 늘어나면 엔비디아의 가격과 이익률에도 영향을 줄 수 있다.
무엇이 바뀌었나
AI 칩이라고 하면 보통 엔비디아를 떠올린다. 챗GPT나 클로드 같은 AI를 개발하고 운영하는 데 엔비디아 GPU가 널리 사용되기 때문이다.
그런데 구글도 10년 넘게 자체 AI 칩을 개발해 왔다. 이름은 TPU다.
지금까지 구글의 TPU는 주로 구글 내부에서 사용되거나, 외부 고객에게 구글 클라우드를 통해 제공됐다. 구글 클라우드는 고객이 서버와 컴퓨팅 자원을 직접 구매하지 않고 빌려 쓰는 서비스다. 예를 들어 AI 기업이 TPU를 이용하려면 구글 클라우드에 접속해 필요한 만큼 사용하고 요금을 내는 방식이었다. 반면 엔비디아의 GPU는 기업이 직접 구매해 자신의 데이터센터에 설치할 수도 있다.
하지만 최근 이 구조가 달라지기 시작했다.
구글의 모회사인 알파벳은 10월 말 제출한 분기 보고서에서 자체 데이터센터 시설이 필요한 고객에게 TPU 시스템을 공급하는 계약을 맺었다고 밝혔다(알파벳 10-Q).
이제 고객은 반드시 구글 클라우드 안에서만 TPU를 써야 하는 것은 아니다. 자기 데이터센터에 TPU 시스템을 들일 수 있게 됐다. 오라클도 2027년부터 자사 클라우드에서 TPU를 제공하기로 했다(오라클 보도자료). 다만 오라클에서 TPU를 쓸 고객은 아직 공개되지 않았다.
어느 쪽이든, TPU를 쓰려고 꼭 구글 클라우드를 거칠 필요가 없어지고 있다. TPU가 엔비디아 GPU처럼 외부 기업이 고를 수 있는 AI 장비가 되기 시작했다는 뜻이다.
그렇다면 TPU는 GPU와 무엇이 다르고, 실제로 엔비디아와 경쟁할 수 있을까.
TPU는 GPU와 뭐가 다른가
GPU는 원래 게임 그래픽을 처리하려고 만든 칩이다. 수많은 계산을 한꺼번에 처리할 수 있어서 AI에도 널리 쓰이게 됐다. 반면 TPU는 처음부터 AI 계산을 위해 설계된 칩이다.
AI가 작동할 때는 엄청나게 많은 숫자를 곱하고 더하는 계산이 반복된다. TPU는 이 계산을 빠르고 적은 전력으로 처리하는 데 집중한다.
핵심은 데이터를 옮기는 횟수다. 보통 반도체는 메모리에서 데이터를 가져와 계산하고, 결과를 다시 메모리에 저장하는 일을 반복한다. 데이터를 옮길 때마다 시간과 전력이 든다. TPU는 칩 안의 계산 장치들이 데이터를 옆으로 넘겨 가며 이어서 계산하도록 설계해, 메모리를 오가는 횟수를 줄였다.
사람들이 각자 우물까지 걸어가 물을 떠 오는 대신, 줄을 서서 물동이를 옆 사람에게 전달하는 것과 비슷하다. 불필요한 이동을 줄이는 것이다.
이런 구조 덕분에 특정 AI 작업에서는 TPU가 더 적은 비용으로 계산을 처리할 수 있다. 다만 GPU처럼 다양한 종류의 작업에 유연하게 대응하는 데는 제약이 있다.
구글에는 또 다른 이점도 있다. 칩을 직접 설계하기 때문에, GPU를 살 때 엔비디아에 돌아가는 이익을 내지 않아도 된다.
엔비디아의 2026 회계연도 매출총이익률은 71.1%였다(엔비디아 10-K). 제품을 판매하고 생산 원가를 제외했을 때 매출의 약 71%가 남았다는 뜻이다. GPU를 구매하는 고객은 엔비디아의 판매가격을 지불해야 한다. 반면 구글은 엔비디아에 그 이익을 남겨줄 필요가 없다.
물론 구글도 칩을 설계하고 생산하는 데 돈이 든다. 엔비디아의 이익률만큼 비용이 그대로 절약되는 것은 아니다. 다만 자체 설계와 생산 규모에서 이점을 확보한다면 GPU를 구매하는 것보다 비용을 낮출 가능성이 있다.
특히 이런 비용 차이가 커지는 지점은, AI를 실제 서비스하는 때다. AI에는 크게 두 가지 작업이 있다. 하나는 AI가 방대한 데이터를 공부하는 ‘학습’이고, 다른 하나는 학습을 마친 AI가 사용자의 질문에 답하는 ‘추론’이다. 학습은 모델을 만드는 데 필요한 대규모 작업이다. 반면 추론은 누군가 챗GPT나 클로드에 질문할 때마다 계속 발생한다. 사용자가 수백만 명, 수천만 명으로 늘어나면 추론에 필요한 계산량도 커진다. 이때 계산 한 번에 드는 비용을 조금만 줄여도 전체 운영비에서는 상당한 차이가 날 수 있다.
그렇다면 TPU가 비용을 줄일 수 있는데도 왜 대부분의 AI 기업은 엔비디아 GPU를 사용할까.
그런데 왜 다들 엔비디아를 쓰나
이유는 AI 칩을 선택할 때 성능과 가격만 보는 것이 아니기 때문이다.
AI를 개발하려면 반도체뿐 아니라 그 위에서 작동하는 프로그램도 필요하다. 대표적인 것이 PyTorch와 CUDA다. PyTorch는 개발자들이 AI 모델을 만들고 학습시키는 데 사용하는 도구다. CUDA는 이 프로그램이 엔비디아 GPU에서 효율적으로 돌아가게 돕는 소프트웨어다.
엔비디아는 CUDA 생태계 개발자가 750만 명을 넘는다고 밝혔다. 그동안 수많은 개발자가 엔비디아 GPU에 맞춰 프로그램을 만들었고, 기업들은 그 위에 AI 서비스를 구축했다.
따라서 TPU가 더 저렴하다고 해서 하루아침에 장비를 바꾸기는 어렵다.
엑셀보다 저렴한 프로그램이 나왔다고 생각해 보자. 가격이 싸더라도 회사에서 수년간 만들어 놓은 파일과 매크로가 엑셀에 맞춰져 있다면 쉽게 바꾸기 어렵다.
AI 기업도 마찬가지다. GPU에서 사용하던 프로그램을 TPU로 옮기려면 코드를 수정하거나 성능을 다시 최적화해야 할 수 있다. 개발자를 교육하고 운영 환경을 바꾸는 데도 비용이 든다.
구글도 이런 문제를 해결하려고 노력하고 있다.
2026년 10월에는 메타와 함께 TorchTPU를 공개했다. 개발자들이 익숙한 PyTorch 환경에서 TPU를 더 쉽게 사용할 수 있도록 하는 도구다(구글 클라우드).
이 도구가 발전하면 TPU로 전환하는 부담은 줄어들 수 있다.
하지만 기존 시스템을 옮기는 데 드는 비용까지 고려하면 모든 고객이 당장 TPU를 선택할 이유는 없다.
결국 TPU를 사용해 절약할 돈이 충분히 크고, 시스템을 전환할 기술 인력이 있는 대형 기업부터 관심을 가질 가능성이 높다.
실제로 지금 가장 눈에 띄는 TPU 고객도 그런 기업이다.
실제로 누가 쓰나
현재 이름이 공개된 TPU 고객 가운데 규모가 가장 큰 곳은 클로드를 개발하는 앤트로픽이다.
앤트로픽이 11월 10일 증권거래위원회에 낸 상장 신청 서류에는 구글과 연결된 두 가지 대규모 약정이 등장한다(S-1/A).
하나는 구글 클라우드를 빌려 쓰는 약정이다. 2033년까지 실제 사용량과 상관없이 최소 1,213억 달러를 쓰기로 했다. 이 돈 가운데 TPU 사용분이 얼마인지는 서류에 나오지 않는다.
다른 하나는 TPU 서버를 빌리는 계약이다. TPU는 구글이 설계하지만, 실제 칩으로 완성해 공급하는 곳은 브로드컴이다. 앤트로픽은 브로드컴을 통해 TPU 서버를 5년 동안 빌리기로 했고, 이자를 뺀 임대료는 약 1,612억 달러다. 이 서버는 구글 클라우드가 아니라 앤트로픽 전용 데이터센터에 들어간다.
중요한 것은 앤트로픽이 TPU를 대규모로 쓰기 위해 장기 계약을 맺었다는 점이다.
구글의 재고에서도 외부 공급 확대를 준비하는 움직임이 나타난다.
구글의 재고는 2025년 말 24억 달러에서 2026년 9월 말 133억 달러로, 9개월 사이 다섯 배 넘게 늘었다. 회사는 재고가 주로 판매용 TPU 하드웨어와 픽셀 같은 소비자 기기로 구성되어 있다고 설명했다. 구글이 재고를 따로 공시해 온 기간을 보면 이전 최고치는 2022년 9월 말 약 32억 달러였다.
구글 클라우드 CEO는 실적 컨퍼런스 콜에서, TPU 시스템 재고는 고객과 계약을 맺은 뒤에만 쌓이며 모두 확정된 계약과 연결되어 있다고 설명했다(실적 컨퍼런스 콜).
또 구글은 고객 시설용 TPU 공급 매출이 2026년 2분기부터 실적에 반영되기 시작했고, 관련 매출의 대부분은 2027년에 반영될 것이라고 밝혔다.
정리하면 TPU의 외부 공급은 이미 시작됐다. 대규모 장기 계약도 확보했고, 앞으로 관련 매출이 본격적으로 발생할 것으로 예상된다.
다만 계약 규모까지 공시로 확인되는 대형 고객은 아직 앤트로픽뿐이다. 애플과 메타도 TPU를 쓰지만 규모는 공개되지 않았다. TPU가 엔비디아의 실질적인 경쟁자로 성장하려면, 앤트로픽 외에도 이를 선택하는 고객이 늘어나는지가 중요하다.
엔비디아는 손해를 보나
구글이 TPU 공급을 확대하고 있다면 엔비디아의 GPU 매출은 줄어들고 있을까.
현재까지 발표된 실적에서는 그런 변화가 나타나지 않는다.
엔비디아의 데이터센터 매출은 5~7월 분기에 약 890억 달러를 기록했다. 1년 전 같은 기간 약 410억 달러에서 117% 증가한 수치다(엔비디아 10-Q).
물론 매출이 늘어났다는 사실만으로 TPU와의 경쟁이 없다고 단정할 수는 없다. 다만 현재 AI 인프라 시장은 두 기업이 함께 성장할 수 있는 환경에 가깝다.
그 이유는 AI 칩에 대한 수요가 크고, 이를 생산할 수 있는 능력에는 한계가 있기 때문이다.
지금은 AI 칩 수요가 공급보다 많다. 만들어지는 칩은 거의 다 팔리고, GPU를 충분히 구하지 못한 고객은 TPU도 함께 쓴다. 그래서 구글이 TPU를 더 공급해도 당장 엔비디아 매출이 줄지는 않는다.
다만 공급 쪽에서는 이야기가 달라질 수 있다. GPU와 TPU는 서로 다른 칩이지만, 생산 과정에서 첨단 패키징과 HBM 같은 부품을 함께 쓴다. 첨단 패키징은 여러 반도체를 정밀하게 연결해 하나의 고성능 시스템처럼 작동하도록 만드는 기술이다. HBM은 AI 칩이 대량의 데이터를 빠르게 읽고 처리할 수 있도록 돕는 고성능 메모리다. 이 부품들이 부족해지면 두 칩은 같은 생산 능력을 놓고 경쟁하게 될 수도 있다.
이와 별개로, 공급이 수요를 따라잡기 시작하면 상황도 달라질 수 있다.
지금은 AI칩 자체가 부족해서 GPU건 TPU건 생산하는 족족 다 팔려나가지만, 앞으로 GPU 또는 TPU의 공급이 수요에 비해 충분해진다면 가격과 운영 비용을 더 꼼꼼하게 비교할 가능성이 높다.
이때 TPU의 경쟁력이 본격적으로 시험받게 된다.
예를 들어 어떤 기업이 엔비디아 GPU로 AI 서비스를 운영하고 있다고 생각해 보자.
TPU를 사용하면 매년 계산 비용을 상당히 줄일 수 있다고 해도, 기존 프로그램을 옮기고 시스템을 바꾸는 데 많은 돈이 든다면 전환할 이유가 크지 않을 수 있다.
반대로 AI 서비스를 운영하는 규모가 매우 커서 매년 절약할 수 있는 비용이 전환 비용을 훨씬 웃돈다면 TPU가 매력적인 선택지가 될 수 있다.
결국 핵심은 TPU가 GPU보다 무조건 저렴한지가 아니라, 기존 GPU 환경을 바꿀 만큼 충분한 경제적 이점이 있는가다.
전환 비용보다 절감액이 커서 TPU를 고르는 고객이 늘어나면, 엔비디아도 영향을 받을 수 있다.
고객에게 TPU라는 대안이 생기면 엔비디아는 기존 가격을 유지하기 어려워질 수 있고, 이는 장기적으로 이익률에 압박을 줄 수 있다.
반대로 구글이 TPU를 외부 시장에 공급하더라도 실제로 전환하는 고객이 제한적이라면 엔비디아의 경쟁력은 유지될 가능성이 높다.
무엇을 보면 알 수 있나
앞으로 TPU가 엔비디아의 실질적인 경쟁자로 성장하는지 판단하려면 네 가지를 살펴볼 필요가 있다.
첫째, 계약 규모가 확인되는 두 번째 대형 고객이 나오는가.
가장 중요한 지표다.
앞으로 다른 AI 기업이나 대규모 데이터센터 운영사도 TPU를 도입한다면 고객 기반이 실제로 확대되고 있다는 뜻이다.
특히 기존에 엔비디아 GPU를 많이 사용하던 기업이 TPU를 추가하거나 일부 작업을 TPU로 옮기는 사례가 중요하다.
오픈AI의 TPU 구매 가능성은 보도된 바 있지만, 아직 양사가 공식적으로 확인한 계약은 아니다(CNBC).
둘째, 오라클의 TPU 제공이 2027년에 실제로 시작되는가.
오라클은 2027년부터 자사 클라우드에서 TPU를 제공하고, 여러 해에 걸쳐 규모를 늘려 가겠다고 밝혔다. 계획대로 시작되고 이를 쓰는 고객 이름이 나온다면, 구글 클라우드 밖에서도 TPU를 쓸 수 있는 통로가 생겼다는 뜻이다.
셋째, 구글의 재고가 실제 매출로 이어지는가.
구글의 재고는 133억 달러까지 늘었다. 구글은 고객 시설용 TPU 공급 매출이 2026년 2분기부터 잡히기 시작했고, 대부분은 2027년에 잡힐 것이라고 밝혔다. 내년에 재고가 매출로 바뀌어 가는지 보면, TPU가 실제로 외부에 팔리고 있는지 확인할 수 있다.
넷째, 엔비디아의 이익률에 변화가 나타나는가.
TPU를 선택하는 고객이 늘어나면 엔비디아의 가격 협상력에도 영향을 줄 수 있다.
지금까지는 엔비디아 GPU를 원하는 고객이 많고 공급이 부족한 환경이었다. 하지만 대체할 수 있는 선택지가 늘어나면 고객이 가격 인하를 요구하기 쉬워진다.
그 결과 엔비디아의 이익률이 낮아질 가능성이 있다.
물론 이익률 하락이 곧 TPU 때문이라는 뜻은 아니다. 신제품 출시나 생산 원가, 판매하는 제품의 구성 등 여러 요인이 영향을 미친다.
따라서 TPU 고객 확대와 엔비디아의 가격 및 이익률 변화가 함께 나타나는지 살펴볼 필요가 있다.
이 숫자들을 곧 확인할 수 있는 시점은 엔비디아의 11월 17일 실적 발표와 브로드컴의 12월 9일 실적 발표다.
결국 중요한 것은 고객의 선택이다
구글 TPU는 더 이상 구글 클라우드 안에서만 사용되는 칩이 아니다. 외부 고객의 데이터센터에도 공급되기 시작했고, 대규모 장기 계약도 등장했다.
이는 구글이 자체 AI 칩을 활용하는 방식을 넘어, 외부 AI 인프라 시장으로 사업을 확대하고 있다는 의미다.
하지만 아직 엔비디아의 시장 지위가 흔들리고 있다고 단정하기는 어렵다.
계약 규모까지 공시로 확인되는 대형 고객은 아직 앤트로픽뿐이고, 엔비디아의 데이터센터 매출은 여전히 빠르게 성장하고 있다.
앞으로의 관건은 TPU의 생산량 자체보다 고객 기반의 확대다.
앤트로픽을 넘어 여러 기업이 TPU를 선택하고, 기존 GPU 환경을 바꾸는 비용까지 감수할 만큼 경제적 이점이 확인된다면 경쟁 구도도 달라질 수 있다.
이제 확인해야 할 것은 얼마나 많은 기업이 엔비디아 GPU 대신, 또는 GPU와 함께 TPU를 선택하느냐다.
※ 본 글은 개인적인 기업 공부 및 투자 아이디어를 기록한 것으로, 특정 종목의 매수·매도를 권유하는 내용이 아닙니다. 투자 판단과 그에 따른 책임은 투자자 본인에게 있습니다.
