Inside Copilot
인프라 이야기
Dec 27, 2024
|
Today’s speakers
박찬욱
Researcher
성민지
Tech Strategist
Agenda
Copilot 제품군 소개
Copilot Behind - Infrastructure
Infrastructure behind - AI memory era
ELT layout
Copilot 의 현재
Copilot 은 계속 진화 중..
M365 Copilot
GitHub Copilot
기타
(Security Copilot. Sales copilot 등 출시 중)
Foundation Models
Azure OpenAI Series (o1-preview, o1 mini, GPT 4o, GPT 4o mini, Embeddings … )
Cf. Copilot 제품군들
Copilot은 SaaS 제품으로써 다양한 용도에 맞는 SaaS 제품군을 출시하고 있음.
이러한 다양한 서비스를 구분하는 큰 차이는 어떤 종류의 데이터 소스 에 액세스할 수 있고 어떤 기능을 제공하고 최적화되어 있는 지에 대한 차이임
M365 Copilot - PowerPoint Copilot
M365 Copilot - Word Copilot
M365 Copilot(web)
직장과 웹모드를 선택할 수 있음
출처 표시 : 검색 결과와 가까운 내부 문서
챗 기록
예시. M365 Copilot 사용자 시나리오
정채상 교수님을 검색한다면?
Cf. 시맨틱 인덱스
* https://www.youtube.com/watch?v=mdq3VILq86Q
라이선스 비용(정가)
연간 라이스선 비용 인당 48만 6천원. 임직원 1000명 사용 시 연간 1억
M365 Copilot Behind : Copilot Stack
Copilot은 크게 Front App, Orchestrator, AI model, Contents filtering 시스템으로 구성
Copilot의 흥행 == 인프라 비용의 증가?
참고.
Bing Chat Rebranding
Bing Chat 서비스 종료
Copilot Pro / M365 Copilot
참고. (구)Bing chat의 Business model : 광고
검색 플랫폼의 캐시카우는 광고
M365 Copilot Behind : Architecture
지금도 Copilot은 최적화 중..
M365 Copilot Behind : Architecture
M365 Copilot Behind : How to work
Approach – Prompt cache
Approach : Model selection(1)
https://msandbu.org/how-microsofts-different-copilot-offerings-actually-work/
ChatGPT의 모델 선택 기능
Approach : Model selection(2)
https://msandbu.org/how-microsofts-different-copilot-offerings-actually-work/
문서 요약 프롬프트를 실행한다면?
Approach : Model selection(3)
https://msandbu.org/how-microsofts-different-copilot-offerings-actually-work/
문서 요약이 아닌 검색이 포함될 경우, RAG가 적용
User Prompt
Orchestrator
(Intent 파악, User prompt 벡터로 변환)
Semantic Index
(벡터 단위, Onedrive, SharePoint, Outlook 등에서 먼저 검색)
Plugin(Bing 검색, 3rd Paty 검색)
1) 관련 내용을 충분히 못 찾았다면
2) 명시적으로 웹 검색에 대해 명령
Approach : Workflow optimization
Chat Init
User 요청
Chat session
Middleware
- Filter
- Plugin
Pipeline Orchestrator
Response
생성
Service API
Filter
- Offensive filter
Plugins
Meta prompt / Memory
RAI model
Dynamic Prompt
Approach : 모델 경량화
모델명 | 컨텍스트 길이 | 주요 용도 | 입력 비용 (1M 토큰당) | 출력 비용 (1M 토큰당) |
GPT-4 Turbo | 128K | 고급 자연어 처리, 복잡한 문제 해결, 멀티모달 입력 지원 | 약 13,950원 | 약 41,850원 |
GPT-3.5-Turbo-0125 | 16K | 일반적인 자연어 처리, 챗봇, 코드 생성 등 | 약 693원 | 약 2,079원 |
GPT-4 | 8K/32K | 고급 자연어 처리, 챗봇, 코드 생성 등 | 약 41,593원 / 약 83,187원 | 약 83,187원 약 166,374원 |
GPT-4o | 128K | 실시간 대화형 상호작용, 음성 출력 지원 | 약 3,466원 | 약 13,864원 |
GPT-4o mini | 128K | 비용 효율적인 자연어 처리, 빠른 응답이 필요한 애플리케이션 | 약 208원 | 약 832원 |
Global 배포(11월 29일 기준)
Beyond Copilot
Training & Inference
Q. 몇몇 선택된 회사들만 training을 scratch 부터 할 수 있고, 나머지는 inference를 위한 cost인데요, 둘다 중요한 관점이고 이슈인데, 두 환경이 태생적으로 처한 상황이 다를텐데 나누어서 챙겨 봐 주시겠어요?
Source : https://possibility.teledyneimaging.com/from-training-to-inference-creating-a-neural-network-for-image-recognition/
Inference (추론)
이미 학습된 모델을 사용하여 입력 데이터에 대해 예측을 생성하거나, 출력을 생성하는 과정으로 오로지 Forward propagation 만 사용됨.
Training (학습)
데이터를 통해 모델을 점진적으로 개선시키는 과정
Forward propagation : 입력데이터를 모델에 통과시켜 출력값을 계산, 이후 실제 값과의 비교를 통해 손실(loss)를 계산
Backward propagation : 계산된 손실을 기준으로, 가중치에 대한 그래디언트를 계산함. Loss function의 gradient값을 각 layer의 가중치에 전파
Training
Q. 몇몇 선택된 회사들만 training을 scratch 부터 할 수 있고, 나머지는 inference를 위한 cost인데요, 둘다 중요한 관점이고 이슈인데, 두 환경이 태생적으로 처한 상황이 다를텐데 나누어서 챙겨 봐 주시겠어요?
Inference (추론)
<1년 간 사용하는 전력>
선택된 회사들만 training을 할 수 있는 이유
1
Source : epoch AI
Training을 위해서는 엄청난 량의 컴퓨팅 리소스가 필요함.
Gemini Ultra model 학습을 위해서
(가정 : 1회의 Forward-Backward학습, Efficiency 100%)
M4 10 Core (FP32 4.26TFLOPS) 1조 개 (10^12)
NVIDIA H100 (FP32 51.22TFLOPS) 기준 770억 개
2
고성능 하드웨어와 이를 위한 데이터 센터, 전력공급 시스템 필요
“규모의 경제를 실천할 수 있는 회사들만 from the scratch 가능”
Investment but memory bottleneck
AI 모델 크기의 급속한 성장 속도는 데이터 처리 인프라 수요 증가를 촉진하여 투자가 빠르게 확대되고 있으나,
하드웨어 메모리 발전 속도를 초월하여 “Memory bottleneck” 을 야기함.
‘16
‘17
‘18
‘19
‘20
‘21
‘22
‘23
’24(E)
35.7
129.9
Source : Statista, IDC, 삼정 KPMG 경제 연구원 재구성
Global batch
HBM2
HBM2e
Source : UC Berkeley et al. AI and memory wall
AI 모델과 AI Hardware의 발전 속도
Transformer 기반 AI 모델 크기가 2년마다 410배씩 증가하고 있으나, AI 하드웨어의 발전속도는 2년에 2배씩 증가하고 있음.
글로벌 클라우드 인프라 투자 규모
다양한 대규모 언어 모델을 활용한 서비스가 빠르게 증가함에 따라,
주요 글로벌 빅테크 기업의 데이터 센터 인프라 투자가 증가하고 있음.
Why memory bottleneck
Multiple Matrix Multiplication (MMM) 을 주로 사용하기에 CPU 연산보다는 GPU/TPU 연산이 유리하며 이로 인한 메모리 의존성 존재. 회피하기 위한 다양한 접근 방법이 제시 되었으나 Performance와의 Trade-off 발생
Workaround 1. Escape from MatMul
MatMul (Matrix multiplication)
높은 정밀도 연산과 파라미터 수 증대에 따라 필요 메모리량은 기하급수적으로 증가함.
<Common LLMs을 위한 필요 메모리>
Source : https://medium.com/analytics-vidhya/gpu-for-deep-learning-7f4ef099b702
행렬 곱셈 대신 덧셈과 Hadamard 곱(원소별 곱셈)으로 대체하여 효율성을 크게 개선
Workaround 2. Lightweighted model
대형 AI 모델 : 학습에 집중하는 형태
경량화 모델 :Stand-alone 으로 동작하기 보다는 대형 AI 모델의 성능 향상 지원이 주 역할임.
What cloud service provider(CSP) needs
파운데이션 모델을 개발함에 있어 가장 중요한 항목은 높은 수준의 TFLOPS이며 이를 위해선 높은 Bandwidth의 메모리가 선행되어야 함. 운영 효율화에 있어서는 새로운 형태의 폼팩터에 대한 니즈가 증가하고 있음.
대형 모델 학습을 위해서는 높은 수준의 TFLOPS (Tera floating point operation per second) 가 달성되어야 하며, 이를 위해서는 대량의 데이터 처리가 필요함.
AI 모델 구성
Operation structure of cloud service
파운데이션
모델
대형 AI
모델
컴퓨팅 인프라
Cloud
서비스 운영
End-user
AI Application
Device
CSP Requirements 2. Efficiency enhancement
CSP Requirements 1. Cost reduction
“Memory bound 방지를 위한 높은 Bandwidth의 memory”
전력 효율화
리소스 효율화
“효율적인 New form factor development”
Solution. Higher bandwidth
AI 반도체는 고속, 효율적 전력소비를 중심으로 하는 GDDR과, 넓은 대역폭을 가지고 있는 HBM으로 나눌 수 있음. 물리적 한계로 인해 속도를 더 올리는 것은 어려워, 쌓으면 더 높은 대역폭을 가질 수 있는 HBM이 핵심으로 부상
HBM (High Bandwidth Memory)
AI Semiconductor
대규모 데이터 수요에 대응하기 위해 반도체는 빠른 속도로 데이터를 전송할 수 있는 기술과, 한번에 전달 가능한 데이터의 폭을 넓히는 두가지 방법으로 발전 중
GDDR(Graphic Double Data Rate) : 그래픽용 DRAM이며, 고속 데이터 처리 역량과 효율적 전력 소비가 강점으로 평가됨.
HBM (High Bandwidth Memory) : 수직 적층한 DRAM을 통해 다량의 데이터를 처리할 수 있음.
Higher speed
More bandwidth
HBM2
3.2Gbps
HBM
1.0Gbps
HBM3
8.0Gbps
HBM4
TBD..
HBM2
256GB/s
HBM
128GB/s
HBM3
819GB/s
HBM4
2,000GB/s (E)
Solution. Higher bandwidth
HBM은 크게, DRAM 영역인 Core die와, Bus Interconnect 역할을 하는 Base die 로 나뉘어지는데, Base die에는 상대적으로 넓은 공간이 있어, 이 공간을 고객들에게 제공하여, 다양한 benefit을 취할 수 있게함.
Incremental innovation : Custom HBM
AS-IS -> TO-BE
Training & Inference
Q. 몇몇 선택된 회사들만 training을 scratch 부터 할 수 있고, 나머지는 inference를 위한 cost인데요, 둘다 중요한 관점이고 이슈인데, 두 환경이 태생적으로 처한 상황이 다를텐데 나누어서 챙겨 봐 주시겠어요?
Source : https://possibility.teledyneimaging.com/from-training-to-inference-creating-a-neural-network-for-image-recognition/
Inference (추론)
이미 학습된 모델을 사용하여 입력 데이터에 대해 예측을 생성하거나, 출력을 생성하는 과정으로 오로지 Forward propagation 만 사용됨.
Training (학습)
데이터를 통해 모델을 점진적으로 개선시키는 과정
Forward propagation : 입력데이터를 모델에 통과시켜 출력값을 계산, 이후 실제 값과의 비교를 통해 손실(loss)를 계산
Backward propagation : 계산된 손실을 기준으로, 가중치에 대한 그래디언트를 계산함. Loss function의 gradient값을 각 layer의 가중치에 전파
Inference
Q. 몇몇 선택된 회사들만 training을 scratch 부터 할 수 있고, 나머지는 inference를 위한 cost인데요, 둘다 중요한 관점이고 이슈인데, 두 환경이 태생적으로 처한 상황이 다를텐데 나누어서 챙겨 봐 주시겠어요?
Inference (추론)
Inference에서 가장 중요한 것은 무엇인가?
비용 효율성 / 자원 최소화
규모 확장성
모델명 | 컨텍스트 길이 | 주요 용도 | 입력 비용 (1M 토큰당) | 출력 비용 (1M 토큰당) |
GPT-4 Turbo | 128K | 고급 자연어 처리, 복잡한 문제 해결, 멀티모달 입력 지원 | 약 13,950원 | 약 41,850원 |
GPT-3.5-Turbo-0125 | 16K | 일반적인 자연어 처리, 챗봇, 코드 생성 등 | 약 693원 | 약 2,079원 |
GPT-4 | 8K/32K | 고급 자연어 처리, 챗봇, 코드 생성 등 | 약 41,593원 / 약 83,187원 | 약 83,187원 약 166,374원 |
GPT-4o | 128K | 실시간 대화형 상호작용, 음성 출력 지원 | 약 3,466원 | 약 13,864원 |
GPT-4o mini | 128K | 비용 효율적인 자연어 처리, 빠른 응답이 필요한 애플리케이션 | 약 208원 | 약 832원 |
NVLink : 고속 인터커넥트 기술
NVSwitch : 대규모의 GPU Cluster를 구성하기 위해 개발된 고성늠 칩
Solution. New form factor
폰 노이만 구조의 한계를 극복하기 위해 RISC_V 아키텍쳐와 같은 새로운 Architecture의 사용이나,
새로운 형태의 chip들이 출현 중.
짐 켈러
(Tensortorrent CEO)
Celebras – 새로운 형태의 chip
Tenstorrent : 새로운 Architecture
NVIDIA의 GPU는 AI가 크게 증가하는 시기에 적절히 대응했습니다. 그러나 GPU는 AI 처리에 최적화되어 있지 않습니다. RISC-V를 CPU로 통합한 Blackhole 세대는 이러한 병목현상을 제거합니다. 전력 효율적이고 저비용의 AI 컴퓨터를 실현할 수 있습니다.
Conclusion
현재 기술 수준으로는 모델 경량화와, HW 개발은 평행한 개발 Timeline을 달릴 수 밖에 없으나,
국내외적으로 CSP-HW Co-op 이 활성화되고 있으며, 추후 CSP-HW Dev Win-Win biz model 개발 기대
CSP – HW Dev Co-optimization in US
CSP – HW Dev Co-optimization in Korea