테슬라 도조(Dojo) 슈퍼컴퓨터와 D1칩 성능과 생산 계획

정말 계속 테슬라 소식만 계속 전하게 된다. 이러다, 테슬라 전문 블로그로 거듭날 것 같다. 

그런데, 요즘 테슬라만큼 변화의 속도가 빠른 기업이 있을까 싶다.

 

최근에 슈퍼차저 NACS 충전 방식에 GM과 포드, 리비안까지 생태계에 합류되었고, 앞으로 usb-c type이 아니라 주유소를 독점하는 효과라고 말한 적이 있었다.  그만큼 지금 테슬라 투자는 변혁기를 예고하고 있다.

 

이제는 테슬라의 주가 상승 타임! GM과 파트너로 북미 슈퍼차저 천하통일

 

그 다음 변혁기는 당연히 FSD이지만, FSD를 더 완벽하게 만들어주는 도조 슈퍼컴퓨터 시스템이다.

그럼, 정확하게 Dojo(도조)는 무엇인지 한번 자세히 알아보고, 생산계획이 얼마나 큰 비전을 가지고 있는지 알아보자.

 

1. 도조(Dojo) 슈퍼컴퓨터

 

출처: 테슬라

공식적으로 2022년 AI Day에서 공개한 테슬라가 만든 자체 슈퍼컴퓨터다.  그 목적은 대규모 인공지능(AI)과 자율주행 신경망 훈련을 위해 개발되었다.

 

정확하게 말하자면, 도조는 AI 머신 러닝(ML), 특히 차량에서 나오는 비디오 데이터를 사용한 비디오 훈련(Training)을 위해 구축된 테슬라의 맞춤형 슈퍼컴퓨터 플랫폼이라고 할 수 있다.  그래서 도조는 자율주행을 지원하는 컴퓨터 비전 기술에 중요한 비디오 데이터를 사용해 신경망을 훈련하는 테슬라의 능력을 향상할 것으로 예상된다.

또한, 기존의 슈퍼컴퓨터와 달리 특정 머신 러닝 알고리즘을 대규모로 실행할 목적으로 컴퓨팅, 네트워킹 및 I/O(입/출력) 실리콘에서 ISA(명령 세트 아키텍처), 전력 공급, 포장 및 냉각까지 포괄하는 맞춤형 아키텍처로 구축되었다. 

2. 트레이닝 타일과 D1 Chip

테슬라의 트레이닝 타일

테슬라는 독립형 컴퓨팅 클러스터인 도조 훈련 타일(training tile)을 개발했다. 각 타일에는 11GB의 SRAM이 장착되어 있으며 전체 스택에서 맞춤형 전송 프로토콜을 사용하여 9TB/s 패브릭을 통해 연결된다.
가네시 벤카타라마난(Ganesh Venkataramanan) 테슬라 하드웨어 엔지니어링 수석 이사는 "이 훈련 타일은 컴퓨터에서 메모리, 전력 공급, 통신에 이르기까지 비교할 수 없는 통합을 제공한다"라고 말했다.

 

훈련 타일의 핵심은 TSMC의 7nm 공정을 기반으로 하는 500억 개의 트랜지스터 다이(die)인 테슬라의 D1 칩이다. 

그리고 D1 칩의 성능을 비교한 그래프는 다음과 같다. 

 

출처: TeslarkMan 님

TeslarkMan (@TeslarkMAN) / 트위터

자, 위의 내용들은 전문적으로 파고들면 매우 어렵기 때문에, 어쨌든 이렇게 요약을 해보자.

테슬라는 자율주행 훈련과 대규모 인공지능을 위해서 슈퍼컴퓨터를 만들었고, 훈련타일을 통해서 트레이닝시킬 수 있다. 그 트레이닝 타일에는 D1 Chip이 들어가 있다.

 

3. 도조(Dojo) 생산과 성능향상 목표

테슬라의 도조 컴퓨터는 테슬라 차량이 주행하면서 모으는 매우 다양한 실제 데이터를 가지고 모델을 교육한다고 강조해 왔다. 그리고, 테슬라의 AI 트위터 계정에서는 내달 7월에 생산을 시작한다고 밝혔다.

아래의 그래프를 보면 생산계획에 대해서 알려준다.

7월 23일부터 생산을 시작해서 2024년 상반기에는 전세계 5위 안에 드는 성능의 슈퍼컴퓨터가 될 것이다고 하였다. (참고로 단위로 나타내는 A100은 NVIDIA의 A100 GPU를 얘기한다. )

 

더 나아가서, 2024년 하반기에는 무려 100 엑사플롭스를 달성하겠다는 목표를 제시한다.

• FLOPS:  초당 수행할 수 있는 부동소수점 연산의 횟수를 의미, 컴퓨터의 연산속도를 나타내는 척도.
• 한때 세계최고 1위 성능의 슈퍼컴퓨터인 미국 오크리지 국립연구소가 보유한 서밋은 실측 성능이 143.5 페타플롭스(PF, 1초에 1000조 번 연산)

1EB(엑사바이트) = 1,024PB(페타바이트) 인 것을 볼 때 엑사플로스는 페타플롭스보다 약 1,000배 항상 된 것으로 환산할 수 있다.  그렇다면 100EF(엑사플롭스)는 얼마나 대단한 성능인지 가늠할 수 있다.

무려, 서밋의 약 713.5배 정도 성능이다.

 

4. 결론

자, 오늘 내용은 좀 어렵기 때문에 다시 한번 더 정리해보고자 한다.

• 테슬라 자체 슈퍼컴퓨터 도조는 자율주행 신경망 훈련과 대규모 AI를 위해 개발되었다.
• 도조의 훈련에 쓰이는 타일에는 D1 칩이 내장되어 있다.
• 그리고 도조의 생산은 2023년 7월 23일 시작할 예정이다.
• 도조의 첫 목표는 2024년 상반기에 세계 5대 슈퍼컴퓨터 성능이 되는 것이다.
• 두 번째 목표는 2024년 하반기에 100EF(엑사플롭스) 성능을 갖추는 슈퍼컴퓨터가 되는 것이다.

한마디로 더 줄이자면 2024년 하반기에 그냥 현존 세계최고 슈퍼컴퓨터의 약 700배 성능을 갖추겠다는 것이다. 단, 1년 만에.

 

테슬라가 이래도 전기차만으로 평가할 수 있을까? 난 아니라고 본다. 전기차는 현재는 매출원을 대다수 차지하지만 공부할수록 테슬라는 AI와 로보틱스 회사라고 계속 생각이 든다.