https://spectrum.ieee.org/ai-index-2024 의 인덱스에 나타난 AI 산업의 현황을 정리해 보고 공부해 보려고 한다.
생성형 AI에 투자가 하늘을 찌른다.
https://spectrum.ieee.org/ai-index-2024
보통은 챗GPT, OpenAI 로 많이 알려지게 되었다. LLM 이라는 거대언어모델을 이용한 최신 AI 기술이다. AI 가 학습한 경험을 토대로 Generative 할 수 있다는 의미다. 생성형 AI 기술를 정리해 보자.
생성형 AI
생성형 AI는 데이터의 확률분포를 추정하고 이에 기반해서 유사한 특징을 가지는 새로운 데이터를 생성하는 AI 기술이다. (이경선, 2023. 10)
생성형 AI는 인간과 유사한 방식으로 데이터에서 학습/지식을 습득해 데이터 사이의 관계를 파악해 그럴듯한 답을 생성한다. 멀티모달 AI를 통해 쉽게 접근하고 상호작용한다.
멀티모달 AI 인터페이스
텍스트, 이미지, 영상, 음성 등 다양한 데이터 모달리티에서 서로의 관계성을 학습 및 표현하는 기술이다.
이미지로 텍스트를 검색, 텍스트에서 이미지를 생성하고, 이미지를 보고 텍스트를 생성하거나 이미지와 텍스트를 같이 이해하는 멀티 모달 검색, 텍스트를 기반
프롬프트 엔지니어링
생성형AI 는 멀티모달AI 인터페이스에 입력을 전달해야 하므로 AI 모델이 이해할 수 있는 효과적인 프롬프트를 개발해야 하고 이를 프롬프트 엔지니어링이라 한다.
테슬라 AI 디렉터 Andrej Karpathy 가 트위터에 이제 프로그래밍 지식 없이도 프로그래밍이 가능한 시대가 열렸다고 트윗.
인간과 같은 방식으로 소통
생성형 AI는 인간과 같이 멀티모달로 데이터를 이해하여 사람의 의도/맥락을 파악하고 프롬프트를 통해 자연어 대화를 통해 개개인과 상호작용할 수 있다.
초 거대 모델
AI모델은 실제 사용환경에서 성능이 급격히 떨어지는 데이터 쉬프트 현상이 기존 AI 모델의 단점이다.
OpenAI 연구자들은 언어모델의 성능은 모델 파라미터 수, 데이터 셋 크기, 컴퓨팅 양에 의존 연구 결과 발표
대부분의 생성형 AI는 초거대 모델, 초거대 데이터세트, 초거대 파라미터로 학습함.
파운데이션 모델
파운데이션 모델은 매우 초거대 AI 모델로 방대한 데이터셋을 사전 학습된 것으로, 일종의 반제품이다.
파운데이션 모델은 프로그래밍 모델에서 Class 선언과 비슷하다. 상속, 오버라이드, 오버로드 등을 통해서 Class의 확장이 가능한 것과 유사하다.
그래서 방대한 양의 데이터로 포괄적으로 학습시킨 후 특정 목적에 따라 미세 조정을 하면, 새로운 작업에 적용하는 노력을 최소화할 수 있다.
다음 네이버의 CROCO 3D vision foundation model 로 디지털 트윈을 구현한 예이다.
- https://channeltech.naver.com/contentDetail/49
범용인공지능 AGI 시대 기대
생성형AI 가 예상을 넘어선 답변, 학습데이터에 기반한 한계를 넘어서는 답변을 생성하는 생성형 AI는 스스로 발전하고 능력이 향상되는 강인공지능, AI 기술이 특정 업무를 넘어 범용적으로 활용가능한 범용인공지능(Artificial General Intelligence:AGI)**시대로의 전환을 이끌 것으로 기대되고 있음
향후 생성형 AI 기술은 특정 업무를 넘어 범용적으로 확장가능한 범용인공지능의 형태로 진화해갈 것으로 전망
https://eiec.kdi.re.kr/policy/domesticView.do?ac=0000183676&pg=&pp=&search_txt=&issus=&type=&depth1=
생성형 AI 기술의 진화방향과 정책과제 | 국내연구자료 | KDI 경제정보센터
정보통신정책연구원은 생성형 AI 기술의 진화방향과 정책과제에 대해 분석한 보고서를 발표하였다. - 생성형 AI 기술은 인간과 유사한 방식으로 지식을 습득하고 방대한 데이터간 관계를 파악해
eiec.kdi.re.kr
생성형 AI 기술
멀티 모달을 기반으로 생성형 AI는 현재 아래 분야에서 각광:
- 텍스트 생성 : Chat GPT LLM
- 이미지 생성: Midjourney의 Text-to-Image
- 비디오생성: Runaway Gen의 Text-to-Video
1. 이미지 생성 기술
2021/1월 DALL-E 모델
- 2021/1월 OpenAI 에서 Text-to-Image 로 이미지를 생성하는 DALL-E 모델 발표
- 달리는 텍스트에서 이미지 생성이 가능함을 보여 주었다.
2022/4월 DALL-E 2
- 달리2에서 이미지 품질이 향상되었고, 부분 수정하는 inpaint, 이미지 외부 영역을 확장 생성하는 outpaint 등으로 발전
2023/9월 DALL-E 3
- 높은 품질의 이미지 품질 향상하고 ChatGPI와 연동했다.
- MS와 연계해 빙 이미지 생성에 사용되었다.
상용서비스 미드저니Midjourney
- 2022/7월에 월 10달러에 텍스트에서 이미지를 생성하는 서비스를 디스코드를 통해 제공
- VC투자 거부하고 유니콘으로 성장.
StabilityAI
- StabilityAI는 오픈소스로 이미지 생성모델 스테이블 디퓨전 공개 후에 Leonardo, Bluewillow 등 여러 생성 서비스가 출시되고 여러 확장 논문/기술 발전.
- https://stability.ai/
- 미드저니에 뒤지다 2023/11월에 SDXL-turbo 로 실시간 이미지 생성 선보였다.
- 이후 2023/10월 Adobe Firefly 2, 12월에 Google Imagen 2
2. 텍스트 생성 기술
2022/11월 ChatGPT 충격!
- ChatGPT 출시후 사람과 채팅하는 느낌의 결과에 큰 반향.
- ChatGPT 활용 도서, 일반인 관심이 크게 증가
- 그러나 LLM모델의 문제점인 환각(hallucination)/거짓이 생성 가능한데, 한 변호사가 ChatGPT가 작성한 판례를 검증없이 법원에 제출해 문제가 되기도 했다.
- 2023/3월 ChatGPT 4
- 2024년 들어 멀티모달인 GPT4-V(Vision), GPT-4 Turbo image/speech multimodal API 발표
- MS의 빙에 통합 -> MS Copilot
Google / Meta
ChatGPT에 자극받은 빅테크의 LLM 발표:
- 구글 Bard, PaLM 2 발표했으나 실패
- 메타는 LLama, LLama 2를 오픈소스화
- 머스크 xAI의 Grok-1
- Apple의 자체 LLM
- 2023/12월 구글 Gemini 공개, 이후 Ultra 버전이 GPT-4 이상 성과로 발표
- 알리바바 Qwen-7B 오픈소스
비디오 생성 기술
비디오 생성은 2023년 이후 나타났다.
- 2023/2월 Runway 에서 Text-to-Video 모델인 Gen을 발표
- Pika Labs에서 상용 서비스 시작해 2023/11월 정식 서비스
- AnimateDiff 라는 오픈소스 등장
- Meta의 Emu 비디오
- Google의 VideoPoet, Lumiere 발표
- Stability AI도 Stable Video 발표
- 알리바바의 Modelscope/I2Vgen-Xl
- OpenAI가 2024년 Sora 발표로 충격
국내 현황
- 2023년 8월 네이버 하이퍼클로바X 발표 - LLM기반 Text 생성모델
- 카카오 KoGPT 2.0 준비중
- 삼성 가우스 LLM과 text-to-image 기능 발표
- KT는 믿:음 발표
- LG유플러스 익시젠 준비중
- Upsatge 의 오픈 모델 Solar 은 오픈LLM 리더보드 1위 달성
- 카카오 Text-to-image 모델로 Karlo 2.0 발표
시계열 예측 파운데이션 모델
Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting
https://github.com/time-series-foundation-models/lag-llama
GitHub - time-series-foundation-models/lag-llama: Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting
Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting - time-series-foundation-models/lag-llama
github.com
국내외 과학기술동향, 정책, 문화 등 과기계 이슈 정보 제공. 매주 금요일 뉴스레터 발송
국내외 과학기술동향, 정책, 문화 등 과기계 이슈 정보 제공. 매주 금요일 뉴스레터 발송
www.sciencetimes.co.kr
ITFIND - Hot Issue
생성형 AI 현황 및 전망 구분산업 등록일2024-03-27 원문정보 : 생성형 AI 현황 및 전망 [정보통신기획평가원2024.03.27] 생성형 AI는 텍스트, 이미지, 비디오 생성으로 크게 나누어 볼 수 있고, 이 기술
itfind.or.kr
https://channeltech.naver.com/contentDetail/83
로봇이 사람처럼 세상을 볼 수 있도록
로봇을 위한 AI, 크로코(CROCO)와 더스터(DUSt3R)
channeltech.naver.com
https://www.kisdi.re.kr/report/view.do?key=m2102058837181
생성형 AI, 대신증권, 박세라, https://money2.daishin.com/PDF/Out/intranet_data/Product/ResearchCenter/Report/2023/12/48689_23_GenerativeAI_fullreport_final.pdf
'Industries' 카테고리의 다른 글
| NVIDIA Blackwell GPU (1) | 2024.04.21 |
|---|---|
| 2024-04-22 우리 장 시작 전. (0) | 2024.04.21 |
| 환율 상승, 실질실효환율 REER 로 보면? (수정) (0) | 2024.04.20 |
| 달러-엔, 달러-원 약세 (0) | 2024.04.18 |
| [재무재표] IFRS 재무제표 (1) - 재무제표 체계 (0) | 2024.04.12 |
댓글