AI 시대의 차세대 메모리 기술: 메모리 혁신 HBF(High Bandwidth Flash)

AI 시대의 핵심 병목 구간을 뚫어줄 차세대 메모리 기술, HBF(High Bandwidth Flash)의 등장 배경과 원리를 KAIST 김정호 교수가 명쾌하게 해설합니다. GPU의 성능 향상이 정체된 지금, 인공지능의 '뇌' 역할을 하는 암호책(프라이어)의 용량과 속도를 혁신적으로 개선할 HBF가 왜 메모리 산업의 판도를 뒤집고 엔비디아의 다음 행보까지 결정할 핵심 변수가 되는지 구체적인 기술적 통찰과 함께 제시합니다. 이 글을 통해 메모리 계층 구조의 변화를 이해하고, 다가올 AI 반도체 시장의 새로운 투자 기회와 산업 예측을 선점할 수 있습니다.

 

---

1. AI 시대, 메모리 혁신: HBM을 넘어 HBF(High Bandwidth Flash)의 등장

1) AI 시대의 핵심 동력은 메모리
○ 최근 삼성전자와 SK하이닉스 등 반도체 기업의 주가 상승은 AI 시대 도래와 메모리 중요성 증가에 기인한다.
○ AI 붐에서 돈을 버는 것은 반도체이며, 그중에서도 메모리가 가장 유망하다는 주장이 제기된다.
○ 이는 캘리포니아 금광 시대에 청바지를 판 사람이 돈을 번 것과 유사한 맥락이다.

2) 차세대 메모리 기술, HBF(High Bandwidth Flash) 소개
○ 기존의 고대역폭 메모리(HBM)를 넘어 HBF(High Bandwidth Flash)라는 새로운 기술이 부상할 것이라고 예측된다.
○ HBF의 'F'는 플래시 메모리(Flash Memory)를 의미한다.
○ HBM이라는 단어가 귀에 익숙해진 지 3년 후(현재 시점 기준) HBF의 첫 제품이 나올 것으로 예상되며, 10년쯤 지나면 HBM보다 HBF가 더 자주 언급되고 삼성전자나 하이닉스 주가에 더 큰 영향을 미칠 것이라고 전망된다.

3) 메모리가 GPU보다 더 중요해지는 이유
○ 인공지능이 질문에 대한 단어를 쏟아내는 속도가 메모리에 의해 결정된다.
○ 이는 학습할 때뿐만 아니라 추론(생성)할 때 더욱 두드러지는 현상이다.
○ 모델 사이즈가 커지고 사용자 수가 늘어나며 시장을 지배하기 위해서는 성능이 좋아져야 하는데, 이는 다음 두 가지 요인에 의해 좌우된다.
- 데이터를 쏟아내는 속도가 메모리에 의해 좌우된다.
- 학습 및 다양한 데이터 처리에 필요한 용량이 커진다.
○ 메모리는 생크림 케이크의 생크림과 같고 GPU는 카스텔라와 같으며, 더 좋은 케이크를 만들려면 생크림을 업그레이드하거나 많이 넣어야 하듯이 메모리가 GPU보다 더 많은 투자가 이어져야 한다.
○ GPU의 성능 향상이 정체된 상황에서, 메모리 용량과 속도 개선이 경쟁력의 차이를 가져올 수 있다.

4) 젠슨 황 엔비디아 CEO의 한국 방문 의미 해석
○ 젠슨 황이 한국에 방문하여 삼성 및 SK 회장을 만나는 것은 메모리의 중요성을 인지하고 겸손해지기 시작했다는 신호로 해석될 수 있다.

---

2. AI 거대화와 메모리 압박: 암호책(프라이어)의 역할

1) 생성 AI의 생산성 혁신과 규모의 싸움
○ 생성 AI는 살바도르 달리의 얼굴을 가진 로봇 얼굴을 몇 초 만에 그려내는 등 인간의 생산성을 100배 이상 높인다.
○ AI는 개인에게 스피어, 피카소, 베토벤을 손안에 둔 것과 같은 경쟁력을 제공하며, 기업과 개인 모두에게 엄청난 생산성 차이를 가져온다.
○ AI가 생성한 동영상(소라)은 실제 영상과 구별이 어려우며, 간단한 스크립트로 한 시간짜리 영화를 1분 내에 만드는 시대가 올 것으로 예상된다.
○ 이러한 AI의 거대화는 필연적이며, AI 데이터 센터 투자는 현재 천조 단위에서 곧 경 단위까지 증가할 것으로 보인다.
○ 미래에는 유튜브 콘텐츠 대부분이 AI로 생성될 것이며, 인간의 지식, 이념, 관념, 종교조차 AI의 지배를 받게 될 수 있다.

2)AI 거대화의 기술적 요인 (스케일링 로)
○ COT (Chain of Thought): AI가 단답형이 아닌 주관식처럼 설명을 해주는 기능으로, 인공지능의 규모를 키운다.
○ MOE (Mixture of Experts): 국어, 수학, 물리 등 전문가 인공지능으로 분업화되어 인공지능의 수가 많아진다.
○ RAG (Retrieval-Augmented Generation): 검색 강화 생성으로, 사전 학습 정보 외에 최근 인터넷 자료를 보면서 답을 생성하는 방식이다.
○ 멀티모달 (Multimodal): 문서뿐 아니라 작곡, 영화 등 다양한 형태의 콘텐츠를 생성한다.
○ 에이전틱 AI 및 피지컬 AI: 비서 역할이나 로봇에 인공지능이 들어가며, 로봇 학습을 위한 동영상 데이터는 문서에 비해 훨씬 많은 데이터가 필요하다.
○ 응용 분야(X) 확장 및 사용자 수 증가: 응용 분야가 넓고 사용자 수가 늘어나면서 규모의 싸움이 된다.
○ 데이터 용량 증가: 텍스트에서 이미지, 비디오로 넘어가면서 정보량이 기하급수적으로 증가한다.
○ 스케일링 로(Scaling Law)의 지속: 모델 사이즈(파라미터), 사용자 수(배치), GPU/HBM/HBF의 숫자가 모두 증가하는 추세가 지속될 것이다.
○ 비용 문제: 메모리 용량, 전력 소모, 비용 증가로 인해 AI 버블론이 나오기도 하지만, 의료 보험비처럼 매달 일정 금액을 지불하는 방식으로 해결될 가능성도 있다.

3) 생성 AI의 작동 원리와 '암호책(프라이어)'의 역할
○ 트랜스포머 모델 구조: 현재 생성 AI는 인코더(Encoder)와 디코더(Decoder) 구조를 갖고 있다.
○ 인코더의 역할: 인간의 언어(텍스트 인풋)를 인코더가 암호화하여 프라이어(Prior)라는 암호책을 만든다.
○ 프라이어(암호책): 이는 컴퓨터만 아는 언어, 신의 언어, 또는 외계인 언어와 같은 블랙박스이며, 학습의 결과가 담겨 있는 AI의 뇌와 같다.
○ 디코더의 역할: 디코더(인공지능 망)는 이 암호책을 해석하여 그림이나 단어를 생성한다.
○ 생성 과정: 단어 하나(예: '나는')를 쏟아낼 때마다 암호책을 읽어본 후 다음 단어('소년')를 쏟아내는 과정을 반복한다.
○ 메모리 압박: 암호책을 만드는 과정에 엄청난 계산과 메모리가 필요하며, 암호책(프라이어)의 용량이 클수록 AI가 똑똑하고 다양한 지식을 갖게 된다.
○ HBM과 프라이어: 기존 HBM은 계산 및 쓰기 속도는 빠르지만 용량이 크지 않아 인코더와 디코더에 주로 필요하다.
○ HBF의 필요성: 암호책(프라이어)은 자주 읽지만 한 번 쓸 때는 엄청난 용량이 필요하며, 이 프라이어를 저장하고 빨리 제공하는 목적으로 HBF가 필요하게 된다.

---

3. HBF의 구조와 메모리 계층 구조의 변화

1) HBF의 구성 및 역할
○ HBF는 디램(DRAM) 대신 낸드 플래시(NAND Flash)를 쌓은 형태이다.
○ 현재는 낸드 플래시가 SSD 형태로 데이터 센터 뒷단에 연결되어 있어, GPU까지 데이터를 끌어오려면 통신망을 거쳐야 하므로 시간이 많이 걸리고 느리다.
○ HBF는 GPU 바로 옆에 붙어 있어야 하며, HBM이 프라이어 역할을 감당하기에 용량이 작아지면서 HBF가 필요하게 되었다.

2) HBF의 물리적 구조와 용량 이점
○ HBF는 HBM 위에 쌓거나 옆에 아파트 타운처럼 배치하는 등 다양한 아키텍처가 가능하다.
○ GPU 옆에 HBM이 붙어 있는 것처럼, HBF도 GPU 바로 뒤에 쌓이게 된다.
○ HBF는 HBM과 동일하게 16층을 쌓는다고 가정했을 때, 용량이 약 10배 정도 크다.
○ 낸드 플래시 자체도 이미 128층, 256층 등으로 쌓여 있는 3D 낸드 구조이므로, 이를 16층으로 쌓으면 2,000층에서 3,000층까지도 가능하다.
○ 이 암호책(프라이어)을 HBF에 설치한 후, 필요할 때마다 GPU에 직접 보내거나 HBM에 채워주는 계층적 구조를 갖는다.

3) 메모리 계층 구조의 확장 및 역할 분담
○ HBM: 책상 옆의 서재와 같으며, 자주 보는 책을 꽂아 놓는 곳이다.
○ HBF: 아파트 지하의 창고나 근처의 나만의 도서관과 같으며, 자주 볼 만한 책을 갖다 놓는 곳이다.
○ 네트워크 스토리지 (SSD): 서울시 도서관과 같으며, 광통신 등을 통해 공급되는 대도서관 역할을 한다.
○ S램: GPU 안에 들어가 있는 가장 빠른 메모리지만 용량이 작다.
○ 효율화의 문제: 자주 볼 만한 책을 HBF에 꽂아 놓는 것이 실력이며, 이는 소프트웨어의 힘(통계적 처리)으로 구현된다.
○ 미래의 변화: 3년 후부터 GPU 옆에 HBF가 붙는 사진이 등장하기 시작할 것이며, 대도서관과의 연결에 광통신 기술이 중요해질 것이다.

4) HBF의 기술적 특징 및 활용 분야
○ 디램(DRAM)의 특징: 물통에 물을 채우는 것과 같아 데이터를 잃어버리기 쉬워 리프레시가 필요하며, 읽기/쓰기 속도가 빠르고 무한대 사용이 가능하다.
○ 낸드 플래시(NAND Flash)의 특징: 감옥과 같아 데이터를 잃어버리지 않으며, 강력한 전압을 걸어 양자역학적 터널링 현상으로 전자를 가두어 기록한다.
○ HBF의 장단점:
- 장점: 용량이 디램보다 약 10배 크고, 전력 소모가 디램보다 낮을 수 있다.
- 단점: 쓰기 횟수가 10만 번 정도로 제한되어 수명이 짧다.
○ 주요 활용 분야: HBF는 주로 추론용 암호책 저장에 사용된다.
- 질문 유형별 암호책 저장 및 불러오기.
- 최근 정보를 조사해 와서 생성을 할 때 자료를 옆에 쌓아두는 용도.

---

4. HBF 시대의 산업 경쟁 구도와 엔비디아의 다음 행보

1) HBF 개발의 동력과 시기
○ 기술적 가능성: HBM을 쌓아본 경험이 있으므로 낸드 플래시도 쌓을 수 있다는 발상이 가능해졌다.
○ 수요 증가: AI 스케일 업으로 인해 더 많은 암호책(프라이어)이 필요하다는 것을 깨닫기 시작했다.
○ 시장 진입 시기: 전 세계 낸드 플래시 기업들은 2027년(늦으면 2028년)에 HBF를 상품에 넣는 계획을 세우고 있다.
○ GPU 정체: GPU 발전은 거의 정체되었으며, 메모리 혁신을 통해 성능이 높아질 것이다.

2) 경쟁 구도와 한국 기업의 장점
○ 참여 기업: 엔비디아, 하이닉스, 삼성, TSMC 외에 낸드 플래시 전문 기업인 샌디스크가 경쟁에 참여할 수 있다.
○ 삼성의 전략: 삼성은 GPU(파운드리), HBM, HBF를 모두 자체적으로 해결하는 토탈 솔루션을 추구할 수 있으며, 이때 AMD, 브로드컴, 구글 등 엔비디아의 경쟁사와 손잡을 수 있다.
○ 한국 기업의 유리함: HBM을 쌓아본 경험이 있는 삼성과 하이닉스가 HBF 개발에 유리하며, 낸드 플래시 시장 점유율도 삼성(1위, 30%대)과 SK하이닉스(2위, 20%대)가 높다.
○ HBM과의 연계: HBF에서 HBM으로 데이터를 전달하려면 같은 기판 위에 올라가야 하므로, HBM을 잘하는 회사가 HBF에서도 유리할 수 있다.
○ 샌디스크의 부상: 샌디스크 주가가 최근 3개월간 세 배 오른 이유 중 절반은 데이터 센터의 낸드 수요 증가에 기인한다.

3) 엔비디아의 다음 행보 예측
○ 엔비디아의 우려: 엔비디아는 HBM과 HBF를 같이 쓰는 시나리오를 선호하지 않을 수 있는데, 이는 삼성전자와 하이닉스에 대한 의존도가 높아지기 때문이다.
- 대안 모색: 엔비디아는 샌디스크와 손을 잡거나, HBM 대신 GDDR 같은 다른 메모리를 사용하는 방안을 고려할 수 있다.
- 궁극적 예측: 엔비디아는 메모리 회사를 인수할 가능성이 높다.
○ 메모리가 너무 중요해졌기 때문에, 엔비디아는 마이크론이나 샌디스크를 인수하여 토탈 솔루션을 확보하려 할 수 있다.
○ 오픈 AI 역시 GPU보다 메모리가 더 중요하다고 판단하면 메모리 회사를 인수할 가능성도 있다.
○ 샌디스크는 웨스턴 디지털에서 독립했으며, 현재 시가총액이 40~50조 원대로 인수하기에 적합한 규모로 추정된다.

5) 메모리 산업의 미래 전망
○ 무어의 법칙을 넘어서: 메모리 수요는 폭발적으로 늘어날 것이며, 2년마다 용량이 두 배씩 증가하는 추세가 20년간 지속되면 1,000배 커지게 된다.
○ 경제적 파급 효과: 메모리 매출액이 100조 원일 경우 1,000배 증가하면 10경 원이 되며, 수익률 10% 가정 시 1경 원의 수익이 발생한다.
○ 기술적 영속성: 실리콘, AI, HBM, HBF는 영원할 것이며, 양자 컴퓨팅에도 메모리가 필요하고 실시간 처리가 어렵다는 한계가 있다.
○ 메모리 중심의 사고: 스티브 잡스의 "Stay Hungry, Stay Foolish"를 인용하여 "Memories Hungry, Memories Foolish"라는 정신으로 일해야 한다고 강조한다.

---

5. AI 시대의 인재상과 교육 방향

1) 미래 인재의 조건:
○ 융합 인재: 하드웨어, AI 알고리즘, 데이터 통계 등 여러 분야를 두루 아는 사람이 중요한 인재가 된다.
○ 추천 학부 과정: 다시 대학을 간다면 학부를 수학과로 나와서 대학원을 AI로, 취업은 반도체 회사로 하는 것이 바람직하다.
○ 의공학 결합: 카이스트에 의대를 세워 학부는 공대(수학과, 전산과 등)로 나오고 의학전문대학원(의전원)을 거쳐 의사 면허를 받은 후 다시 카이스트에서 박사를 하는 의공학 인재를 양성해야 한다.
○ AI와 의학의 결합: AI를 알고 의학을 알면 제약 분야 등 엄청난 부가가치가 있는 산업을 창출할 수 있다.

2) 학생들의 역량과 교육 현황
○ 대학원 수업 성과: 카이스트 대학원 생성 인공지능 수업에서 학생들이 AI 이론을 배우고 직접 AI를 설계하여 공학 문제를 해결하는 턴 프로젝트를 수행한다.
○ 높은 수준: 학생들은 통신 코딩, 반도체 설계 자동화, 로봇 AI 등 다양한 분야에서 두 달 만에 데모를 보일 정도로 높은 역량을 보여준다.
○ 국가적 행복: 개인이 잘 사는 것보다 잘 사는 나라를 만드는 것이 중요하며, 이는 결국 국민 전체의 행복으로 이어진다.