인공지능 시대에는 메모리가 왕이 된다
반도체 공급 과잉의 공식이 바뀌고 기억과 연산의 경계가 무너진다

책의 첫 장면은 2024년 1월 평택으로 온 한 남자의 이야기에서 시작된다. 그 남자는 바로 샘 올트먼 오픈AI 최고경영자로 한국을 방문하자마자 제일 먼저 경기도 평택의 삼성전자 반도체 공장을 찾았다. 챗GPT로 세계적인 인공지능 열풍을 일으킨 기업의 최고경영자가 한국의 반도체 생산 현장을 찾아온 것이다. 2025년 10월에는 엔비디아의 젠슨 황 최고경영자가 한국을 방문했다. 그는 인공지능 전쟁에 무기를 공급하는 무기상으로 불린다. 세계의 주요 기업들이 엔비디아의 인공지능 반도체를 확보하기 위해 경쟁하는 상황이었다. 그런데 정작 엔비디아는 한국 반도체 기업들과의 협력을 필요로 하고 있었다. 그가 그 뛰어난 기술을 현실에서 구현하기 위해서는 막대한 반도체 생산능력과 고성능 메모리가 필요하기 때문이다.

이 책의 저자는 그 두 장면에서 인공지능 시대 반도체 산업의 본질적인 변화를 읽어낸다. 과거에는 소비자의 수요가 반도체 시장의 크기를 결정했다. PC와 스마트폰 판매가 증가하면 반도체 수요가 늘어났고 시장이 포화 상태에 이르면 공급 과잉과 가격 하락이 뒤따랐다. 반도체 산업이 수십 년 동안 호황과 불황을 반복했던 이유다. 그러나 인공지능 시대에는 상황이 달라질 가능성이 있다. 인공지능의 발전 속도를 좌우하는 것이 수요의 부족이 아니라 반도체 공급능력의 한계일 수 있기 때문이다.

인공지능은 더 많은 데이터를 학습하고 더 복잡한 문제를 해결하는 방향으로 발전하고 있다. 또한 기업의 업무를 수행하고 개인의 일상을 돕는 인공지능 서비스가 확산되면서 활용 영역도 넓어지고 있다. 저자는 이러한 변화가 반도체 산업의 오래된 공급 과잉 공식을 바꿀 수 있다고 본다. 반도체 생산이 늘어나더라도 인공지능 활용 비용이 낮아지면 이전에는 경제성이 없었던 새로운 서비스와 시장이 만들어질 수 있기 때문이다. 기술의 효율성이 높아지면서 오히려 전체 사용량이 증가하는 현상이 인공지능 시장에서도 나타날 수 있다는 설명이다.

특히 인공지능과 휴머노이드를 ‘제2의 인간’이라는 관점에서 바라본다. 지금까지 컴퓨터와 스마트폰은 인간이 사용하는 도구였다. 하지만 앞으로의 인공지능은 사람과 대화하고, 업무를 대신 수행하고, 개인의 취향과 경험을 기억하고, 때로는 물리적인 공간에서 직접 행동하는 존재로 발전할 가능성이 있다. 휴머노이드는 공장과 물류센터, 병원과 가정에서 인간의 일을 나누어 맡을 수 있다. 개인용 인공지능은 업무를 관리하고 정보를 정리하며 일상의 의사결정을 지원할 수 있다.

저자는 이러한 변화가 지금까지의 전자기기 시장과는 다른 차원의 반도체 수요를 만들어낼 것으로 전망한다. 또한 인공지능 반도체의 경쟁이 연산 성능에서 기억의 영역으로 확장될 것이라고 주장한다. 지금까지 인공지능 산업에서 가장 주목받은 반도체는 엔비디아의 그래픽처리장치GPU였다. 복잡한 계산을 빠르게 수행하는 능력이 인공지능 모델의 학습과 추론을 좌우했기 때문이다. 그러나 아무리 빠른 연산 장치를 사용하더라도 필요한 데이터를 제때 공급받지 못하면 성능을 충분히 발휘할 수 없다. 데이터를 저장하고 불러오는 메모리의 성능이 인공지능 시스템 전체의 효율성을 결정하는 중요한 요소가 되는 것이다.

이미 고대역폭 메모리HBM는 이러한 변화를 보여주는 대표적인 사례다. 인공지능 연산에 필요한 대량의 데이터를 빠르게 전달하는 고대역폭 메모리HBM는 첨단 인공지능 가속기의 핵심 부품으로 자리 잡았다. 하지만 저자가 주목하는 변화는 고대역폭 메모리HBM에서 끝나지 않는다. 앞으로는 메모리와 연산 장치를 가까이 배치하는 것을 넘어 메모리 안에서 일부 연산을 직접 처리하는 기술까지 중요해질 수 있다고 본다.

그 배경에는 데이터 이동에 따른 시간과 전력의 문제가 있다. 기존 컴퓨터는 연산 장치와 메모리를 구분해 데이터를 주고받는 방식으로 작동했다. 하지만 처리해야 할 데이터가 방대해지면서 이를 계속 이동시키는 데 필요한 시간과 에너지가 큰 부담이 되고 있다. 세계 각국에서 인공지능 데이터센터에 필요한 전력 확보가 중요한 산업적 과제로 떠오른 것도 이러한 문제와 연결된다. 저자는 인간의 뇌에서 새로운 방향을 찾는다. 인간의 뇌는 기억과 연산을 컴퓨터처럼 완전히 분리된 장치에서 처리하지 않는다. 기억과 정보 처리가 긴밀하게 연결돼 있기 때문에 비교적 적은 에너지로 복잡한 활동을 수행할 수 있다. 반도체 역시 기억과 연산을 더 가까이 결합하는 방향으로 발전할 수 있다는 것이다.

대표적인 기술이 프로세싱인메모리PIM다. 데이터를 연산 장치로 계속 옮기는 대신 메모리 내부 또는 가까운 곳에서 연산을 처리해 데이터 이동을 줄이는 방식이다. 아직 모든 AI 연산을 대체하는 범용 기술로 자리 잡은 것은 아니지만, 특정 작업에서 전력 효율과 처리 성능을 개선할 수 있다는 점에서 주목받고 있다. 저자는 고대역폭 메모리HBM, 프로세싱인메모리PIM, 차세대 패키징 기술의 발전을 통해 메모리와 로직의 경계가 점차 흐려질 것으로 전망한다. 이러한 변화가 실현되면 메모리는 더 이상 연산 장치에 종속된 단순한 저장 부품에 머물지 않게 되고 연산 기술과 메모리 기술의 결합이 새로운 경쟁의 중심으로 떠오를 수 있다.

삼성의 다음 승부는 ‘원스톱’에서 시작된다
엔비디아·TSMC·SK하이닉스의 연합과 삼성의 종합 반도체 역량이 맞붙는다

차세대 인공지능 반도체에서는 분업의 방식에 새로운 과제가 생긴다. 메모리와 로직을 따로 개발한 뒤 결합하는 것보다 처음부터 하나의 시스템으로 설계하고 생산하는 방식이 유리해질 수 있다. 인공지능 반도체의 성능은 개별 칩의 성능뿐 아니라 칩 사이에서 데이터를 얼마나 빠르게 전달하고 전력 소모를 얼마나 줄이느냐에 따라 달라진다. 여러 반도체를 하나의 패키지 안에서 연결하는 첨단 패키징 기술이 중요해지는 이유도 여기에 있다. 특히 6세대 고대역폭 메모리HBM4에서는 메모리의 기능을 제어하는 베이스다이에 고도화된 로직 공정이 적용되면서 메모리와 파운드리 기술의 연계가 더욱 중요해지고 있다. 이는 메모리 회사가 메모리만 잘 만들면 되는 시대에서 벗어나고 있음을 보여준다. 메모리와 로직, 제조 공정과 패키징을 함께 고려해야 고객이 요구하는 성능과 전력 효율을 구현할 수 있다.

삼성전자는 이러한 기술을 연결할 수 있는 사업 기반을 구비하고 있다. 메모리 반도체를 생산하고 시스템반도체를 설계하며 첨단 반도체를 제조하는 파운드리 사업과 패키징 역량도 보유하고 있다. 이 4개 영역을 한 기업 안에서 운영한다는 점이 삼성의 차별적인 자산이다. 각각의 사업 경쟁력에서는 다른 전문기업에 뒤처지는 분야가 있더라도 기술들을 통합해 하나의 제품을 완성하는 과정에서는 새로운 가능성이 열릴 수 있다는 것이다. 저자는 이를 삼성의 ‘원스톱’ 경쟁력으로 설명한다.

이 책은 인공지능 시대에 반도체 산업의 경쟁력이 무엇으로 결정되는지를 새로운 시각에서 설명한다. 인공지능이 발전할수록 왜 기억이 중요해지는지, 메모리와 연산이 결합하면 어떤 변화가 일어나는지, 여러 기술을 한 기업 안에 보유한 것이 어떻게 경쟁력이 될 수 있는지를 하나의 논리로 연결한다. 삼성의 미래를 중심에 놓고 있지만 그 안에는 엔비디아와 TSMC, SK하이닉스 등 세계 반도체 기업들의 전략과 글로벌 산업 질서의 변화가 함께 담겨 있다.

삼성 1.0의 시대가 창업과 산업화의 시대였고 삼성 2.0이 세계적인 제조기업으로 도약한 시대였다면, 삼성 3.0은 축적된 기술과 사업 역량을 새로운 산업의 질서에 맞게 통합해야 하는 시대다. 그 승부가 성공할지는 아직 결정되지 않았다. 다만 인공지능이 반도체 산업의 경쟁 방식을 바꾸고 있다는 점은 분명하다. 이 변화 속에서 삼성의 강점과 약점은 이전과 다른 의미를 갖게 될 수 있다. 분명한 것은 삼성의 다음 승부가 대한민국의 다음 승부가 된다는 것이다.