Joe Rogan 팟캐스트의 최근 에피소드에서 NVIDIA CEO Jensen Huang은 딥 러닝의 기원과 회사의 운명에 관한 주요 전환점을 회상했습니다.딥 러닝의 획기적인 발전은 2012년에 시작되었으며 AI용으로 설계되지 않은 두 개의 GTX 580 그래픽 카드의 SLI 듀얼 카드 상호 연결 구성에 의존했습니다.
Huang Renxun은 오늘날 AI의 핵심 딥 러닝과 기본 네트워크의 첫 번째 작동에 사용되는 하드웨어가 Fermi 아키텍처를 기반으로 하고 512 CUDA 코어를 갖춘 고급 게이밍 그래픽 카드인 GTX 580이라고 밝혔습니다.
이 그래픽 카드는 원래 최고 수준의 게임용으로 설계되었지만 강력한 병렬 컴퓨팅 기능은 의도치 않게 신속한 딥 러닝 훈련의 초석이 되었습니다.
2012년에 토론토 대학의 연구원 Alex Krizhevsky, Ilya Sutskever 및 Geoffrey Hinton은 3GB GTX 580 그래픽 카드 한 쌍을 사용하여 유명한 AlexNet 모델을 훈련했습니다.
약 6천만 개의 매개변수를 포함하는 이 딥러닝 네트워크는 그 해 ImageNet 이미지 인식 대회에서 당시 수동으로 설계된 알고리즘에 비해 70%라는 놀라운 이점을 발휘하여 두각을 나타냈습니다.
Huang Renxun은 AlexNet의 개발자가 두 대의 GTX 580에서 병렬로 실행되도록 알고리즘을 최적화하여 필요한 경우에만 데이터를 교환함으로써 훈련 시간을 크게 단축했다고 지적했습니다. 이로 인해 GTX 580은 딥 러닝/머신 러닝 AI 네트워크를 실행하는 세계 최초의 그래픽 카드가 되었습니다.
흥미롭게도 이 이정표에 도달했을 때 NVIDIA의 AI 분야에 대한 투자는 미미했으며 대부분의 연구 개발은 여전히 3D 그래픽과 게임에 집중되었습니다.
NVIDIA가 딥 러닝의 엄청난 잠재력을 깨닫게 된 것은 GTX 580에 AlexNet을 성공적으로 적용한 것이었습니다. Huang Renxun은 회사가 2012년에 즉시 자금 조달, 개발 및 연구 노력을 딥 러닝 기술로 전환했다고 말했습니다.
이러한 변화는 궁극적으로 2016년 최초의 NVIDIA DGX 슈퍼컴퓨터, 1세대 Tensor 코어를 갖춘 Volta 아키텍처 및 후속 DLSS 기술로 이어졌습니다.
