[AI타임즈] GPT3 충격 가시기도 전, GPT4 논란 점화

#KeyPoint: GPT3는 1750억개, GPT4는 100조(兆)개 파라미터 사전학습
MIT 랙스 프리드먼 "2032년 GPT4 학습 비용 500만 달러" 추산

MIT AI연구원 렉스 프리드맨(Lex Fridman) 박사에 따르면 "인간의 뇌 수준인 약 100조개 시냅스(연접 : 뉴런과 뉴런 사이 신호를 전달하는 연결지점)를 가진 모델이 GPT-4"로 정의됐다.
+ "GPT3의 계산 속도 기준을 3.14E +23플롭스로 잡으면 사전 학습 비용은 약 460만 달러(한화 약 55억 원)"
+ "2020년 출시를 가정하면 GPT4의 학습 비용은 약 26억 6000만 달러(한화 약 3조 867억원)에 달하지만, 컴퓨팅(하드웨어 및 소프트웨어) 기술 발달로 24년에는 3억 2500만 달러, 28년 4000만 달러, 32년에는 500만 달러로 그 비용이 줄어들 것"(지난 7년간 인공신경망 훈련 효율이 16개월마다 2배씩 증가했다는 점을 반영한 계산 방식.)
+ "2032년이전에 5백만 달러 수준의 학습비용으로 GPT-3의 1000배 수준인 100조 단위의 파라미터를 사전학습 시킨 GPT-4 출시가 가능하다"

# 느낀점: transformer을 사용한 모델인 GPT의 특성상 파라미터가 많으면 많을수록 좋다고는 하지만, 인간의 뇌 수준까지 도달하다니 정말 OpenAI를 창립한 일론머스크의 말이 "5년 내 AI가 인간을 추월할 것"가 일리있는 것 같다.
그리고 사전학습은 그냥 길어봐야 몇일 기다리면 되겠지라고 생각한 내 생각이 짧았던 것 같다. 지금 수준의 기술로도 학습하는데 억단위의 돈이 깨질줄은 상상도 못했다. 이젠 SW기술이 점점 발전하니 HW의 밑천이 들어나는 느낌이다. 이게 다 충족되기까지는 상당한 시간이 필요하겠지만, 10년뒤 정도면 현재 상상할 수 없던 수준까지 발전해있을 것 같다.

# 참고: www.aitimes.com/news/articleView.html?idxno=131416

GPT3 충격 가시기도 전, GPT4 논란 점화 - AI타임스