AI in 2024 (2) - Foundation Model 현황 (수정)

https://spectrum.ieee.org/ai-index-2024 의 인덱스에 나타난 AI 산업의 현황을 정리해 보고 공부해 보려고 한다.

 

24/4/23 - 국내 파운데이션 모델 목록 추가

 

Foundation Model

 

구글 / 메타 / MS / Open AI 가 주도 하고 있다.

 

국내는 AI 반도체에 집중한 투자가 이루어 지고 있고, 네이버 / 카카오가 파운데이션 모델을 가지려고 하나 세계적인 줄기에 따르지 못하는 것 같다. 

 

돈...이 문제다.

 

초기 Transformer 모델 학습에 930달러가 필요했는데 지금 GPT-4를 학습하는데 7800백만 달러가 든다.

 

 

여기서 돈은 전기다... GPU 혹은 AI 가속기를 실행했을 때 이런 비용이 든다는 것이다.

 

 

Foundation Model 이해

 

파운데이션 모델은 매우 초거대 AI 모델로 방대한 데이터셋을 사전 학습된 것으로, 일종의 반제품이다.

 

파운데이션 모델은 프로그래밍 모델에서 Class 선언과 비슷하다. 상속, 오버라이드, 오버로드 등을 통해서 Class의 확장이 가능한 것과 유사하다.

 

그래서  방대한 양의 데이터로 포괄적으로 학습시킨 후 특정 목적에 따라 미세 조정을 하면, 새로운 작업에 적용하는 노력을 최소화할 수 있다.

 

https://blogs.nvidia.com/blog/what-are-foundation-models/

 

 

AI는 2010년대에 들어서며 컴퓨팅 파워가 지원이 되며 machine learning 이 주목 받게 되었고

 

Deep learning 으로 아키텍처 / 네트워크를 구성하게 되었으며

 

Foundation models 로 사용할 수 있는 모델로 발전해 가고 있다.

 

https://deview.kr/data/deview/session/attach/2_Bring%20Your%20Own%20Data%20Business%20AI%20%E1%84%80%E1%85%A9%E1%84%86%E1%85%B5%E1%86%AB%20HyperCLOVA%E1%84%8B%E1%85%A6%E1%84%80%E1%85%A6%20%E1%84%86%E1%85%AE%E1%84%8B%E1%85%A5%E1%86%BA%E1%84%8B%E1%85%B5%E1%84%83%E1%85%B3%E1%86%AB%20%E1%84%86%E1%85%AE%E1%86%AF%E1%84%8B%E1%85%A5%E1%84%87%E1%85%A9%E1%84%89%E1%85%A1%E1%86%AF.pdf

 

 

생성형 AI 기술 스택

생성형 AI는 인프라(HW) 기반에서 Foundation Model 이 미들웨어로서 Application 에 기반 API 같은 역할을 한다.

생성형 AI생태계 / TTA저널 207호

 

이런 Foundation 모델을 개발하는 곳은  Closed 플랫폼에서 Open API 같이 제공하는 Proprietary model 과 Open source 로 공개하는 모델을 사업 모델로 삼고 있다.

 

 

 

Close Platform

• OpenAI 의 ChatGPT
• Google BARD AI
• MS 의 CoPilot / Bing
• Naver 하이퍼클로바를 중심으로 생성형 AI 스택을 구축하고 있다.

 

Open source 모델

Meta의 LLaMA 발표

 - 스탠포드대학에서 Alpaca 모델 공개해 GPT4 대비 76% 수준 향상

 - Vicuna-13B 모델에서 GPT4 대비 92% 성능 달성.

 - 국내서도 경량 KoApaca, KoVicuna 시

 

 

한국 - 파운데이션 모델

https://n.news.naver.com/mnews/article/014/0005174886

 

 

Naver의 Foundation Model 현황

네이버 하이퍼클로바 / 하이퍼클로바X 

 - 한국형 모델로 2040억개 파라미터 지원

 

 

네이버의 CROCO 3D vision foundation model 로 디지털 트윈을 구현한 예이다.

- https://channeltech.naver.com/contentDetail/49

 

 

Kakao 의 KoGPT 

- Open API 로 카카오톡과 연계 검색/데이터 추출/요약 등

 

 

---

 

https://channeltech.naver.com/contentDetail/49

AI를 물리 세계로 연결하는 파운데이션 모델

 

 

https://channeltech.naver.com/contentDetail/83

로봇이 사람처럼 세상을 볼 수 있도록

 

https://www.tta.or.kr/tta/publicationHosuView.do?key=80&rep=1&searchKindNum=1&searchHosu=207

TTA저널 - TTA 대표홈페이지

 

https://www.aitimes.com/news/articleView.html?idxno=158825

지난해 전 세계 파운데이션 모델 149개 출시..."한국, 특출난 기초 모델 없어" - AI타임스

 

머릿 이미지 

https://www.xenonstack.com/blog/foundation-models

Introduction to Foundation Models| A Complete Guide