State of AI Report

October 11, 2022

#stateofai

stateof.ai

Ian Hogarth

Nathan Benaich

AI 현황 보고서

2022년 10월 11일

#stateofai

stateof.ai

이안 호가스

네이선 베나이치

구글번역기 번역, AI프렌즈 수정

번역 참여자

번역 & 수정

• 구글 번역기
• 유용균 (AI 프렌즈 대표/원자력연구원 인공지능응용전략실장)
• 정진이 (에이벤처스 팀장, 투자부분 담당)

​

해설:https://youtu.be/IbxR9TCKxIc

• 유용균, 이영빈(모두의연구소)

​

저자 소개

Nathan은 AI 우선 기술 및 생명 과학 회사에 투자하는 벤처 캐피털 회사인 Air Street Capital 의 제너럴 파트너입니다. 그는 RAAIS와 London.AI(산업 및 연구를 위한 AI 커뮤니티), RAAIS 재단(오픈 소스 AI 프로젝트 자금 지원) 및 Spinout.fyi(대학 스핀아웃 생성 개선)를 설립했습니다. 그는 Williams College에서 생물학을 공부하고 Cambridge에서 암 연구로 박사 학위를 받았습니다.

네이선 베나이치

이안 호가스

Ian은 Plural 의 공동 설립자입니다. Plural 은 경험 많은 설립자가 가장 야심찬 유럽 스타트업을 돕는 투자 플랫폼입니다. 그는 Mariana Mazzucato 교수와 함께 일하는 UCL의 객원 교수입니다. Ian은 콘서트 서비스인 Songkick의 공동 설립자이자 CEO였습니다. 그는 2005년에 기계 학습을 공부하기 시작했으며, 그의 석사 프로젝트는 유방암 생검 이미지를 분류하는 컴퓨터 비전 시스템이었습니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

#stateofai | 2

stateof.ai 2022

인공 지능(AI)은 지능적인 기계를 만드는 것을 목표로 하는 과학 및 공학의 다학문 분야입니다.

​

우리는 AI가 점점 더 디지털화되고 데이터 중심적인 세상에서 기술 발전의 원동력이 될 것이라고 믿습니다. 문화에서 소비재에 이르기까지 오늘날 우리 주변의 모든 것이 지능의 산물이기 때문입니다.

​

AI 현황 보고서가 올해로 5년째를 맞았습니다. 이 보고서를 AI의 상태와 미래에 대한 의미에 대한 정보에 입각한 대화를 촉발하는 것을 목표로 우리가 본 가장 흥미로운 것들의 모음이라고 생각하십시오.

​

보고서에서 다음과 같은 주요 차원을 고려합니다.

• 연구 : 기술 혁신과 그 기능.
• 산업 : AI의 상용 응용 분야 및 비즈니스 영향.
• 정치 : AI 규제, 경제적 의미 및 AI의 진화하는 지정학.
• 안전성 : 고도로 유능한 미래 AI 시스템이 우리에게 제기할 수 있는 치명적인 위험을 식별하고 완화합니다.
• 예측 : 앞으로 12개월 동안 일어날 것이라고 믿고 있는 일과 2021년 성과 검토를 통해 정직하게 유지합니다.

​

Nathan Benaich ( @nathanbenaich), Ian Hogarth (@soundboy), Othmane Sebbouh (@osebbouh) 및

Nitarshan Rajkumar (@nitarshan).

stateof.ai 2022

#stateofai | 삼

소개 | 연구 | 산업 | 정치 | 안전 | 예측

고맙습니다!

#stateofai | 4

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

정의

stateof.ai 2022

#stateofai | 5

인공 지능(AI): 인간과 동물이 보여주는 자연 지능과 달리 지능형 기계를 만드는 것을 목표로 하는 광범위한 분야입니다.

​

인공 일반 지능(AGI): 경제적으로 가치 있는 모든 작업에서 인간의 인지 능력의 전체 범위와 일치하고 초과할 수 있는 미래의 기계를 설명하는 데 사용되는 용어입니다.

​

AI 안전: 미래의 AI가 인류에게 가할 수 있는 치명적인 위험을 연구하고 완화하려는 분야입니다.

​

머신 러닝(ML): 통계 기술을 사용하여 머신이 명시적으로 수행 방법에 대한 지침을 받지 않고도 데이터에서 "학습"할 수 있는 기능을 제공하는 AI의 하위 집합입니다. 이 프로세스는 특정 작업에 대한 모델 성능을 점진적으로 향상시키는 학습 "알고리즘"을 사용하여 "모델"을 "훈련"하는 것으로 알려져 있습니다 .

​

강화 학습(RL): 소프트웨어 에이전트가 목표 달성을 위한 행동("정책"이라고 함)에 대한 응답으로 보상 또는 처벌을 제공하는 환경에서 시행착오를 통해 목표 지향적인 행동을 학습하는 ML 영역입니다.

​

딥 러닝(DL): 데이터의 복잡한 패턴을 인식하는 방법을 배우기 위해 뇌의 뉴런 층에서 활동을 모방하려고 시도하는 ML 영역입니다. "깊은"은 더 나은 성능 향상을 달성하기 위해 데이터의 풍부한 표현을 학습하는 데 도움이 되는 현대 모델의 많은 수의 뉴런 레이어를 나타냅니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

정의

stateof.ai 2022

#stateofai | 6

모델: ML 알고리즘이 데이터에 대해 교육되면 프로세스의 출력을 모델이라고 합니다. 그런 다음 이를 예측하는 데 사용할 수 있습니다.

​

자기 지도 학습(SSL): 수동으로 레이블이 지정된 데이터가 필요하지 않은 비지도 학습의 한 형태입니다. 대신 원시 데이터는 학습할 인공 레이블을 생성하기 위해 자동화된 방식으로 수정됩니다. SSL의 예는 문장에서 임의의 단어를 마스킹하고 누락된 단어를 예측하여 텍스트를 완성하는 방법을 학습하는 것입니다.

​

(대형) 언어 모델(LM, LLM): 텍스트 데이터에 대해 훈련된 모델입니다. LM의 가장 일반적인 사용 사례는 텍스트 생성입니다. "LLM"이라는 용어는 수십억 개의 매개변수 LM을 지정하는 데 사용되지만 이는 움직이는 정의입니다.

​

컴퓨터 비전(CV): 기계가 이미지와 비디오를 분석, 이해 및 조작할 수 있도록 합니다.

​

Transformer: SOTA(최첨단 기술) ML 연구의 핵심에 있는 모델 아키텍처입니다. 주어진 작업에서 입력 데이터의 어느 부분이 가장 중요한지 학습하는 여러 "주의" 레이어로 구성됩니다. 트랜스포머는 언어 모델링에서 시작하여 컴퓨터 비전, 오디오 및 기타 양식으로 확장되었습니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

연구

• Diffusion 모델은 인상적인 텍스트-이미지 생성 기능으로 컴퓨터 비전 세계를 폭풍으로 몰아넣었습니다.
• AI는 플라스틱 재활용, 핵융합로 제어, 천연물 발견에 이르기까지 더 많은 과학 문제를 공격합니다.
• 스케일링 법칙은 데이터에 다시 초점을 맞춥니다. 아마도 모델 스케일이 필요한 전부는 아닐 것입니다. 모든 것을 지배하는 단일 모델로 나아가십시오.
• 커뮤니티 중심의 대규모 모델 오픈 소싱은 엄청난 속도로 이루어지며 집단이 대규모 실험실과 경쟁할 수 있도록 합니다.
• 신경과학에서 영감을 받은 AI 연구는 접근 방식에서 인지 과학처럼 보이기 시작했습니다.

산업

• 신생 AI 반도체 스타트업이 NVIDIA와 비교하여 움츠러들었나요? AI 연구의 사용 통계는 NVIDIA가 20-100배 앞서 있음을 보여줍니다.
• 빅 테크 기업은 AI 클라우드를 확장하고 A(G)I 스타트업과 대규모 파트너십을 형성합니다.
• 고용이 동결되고 AI 연구소의 해체는 DeepMind 및 OpenAI를 비롯한 거대 기업의 많은 신생 기업의 형성을 촉진합니다.
• 주요 AI 신약 개발 회사는 18개의 임상 자산을 보유하고 있으며 자율 의료 영상 진단에 대한 첫 번째 CE 마크가 부여됩니다.
• 코드 연구를 위한 최신 AI는 거대 기술 및 스타트업에 의해 상용 개발자 도구로 빠르게 번역됩니다.

정치

• 대규모 AI 작업에서 학계와 산업계 간의 격차는 잠재적으로 복구할 수 없습니다. 거의 0%의 작업이 학계에서 수행됩니다.
• 학계는 비전통적인 출처에서 자금을 지원하는 분산된 연구 집단에 지휘봉을 넘기고 있습니다.
• 미국 반도체 능력의 위대한 리쇼어링(Great Reshoring)이 본격화되고 있지만 지정학적 긴장은 하늘 높이 치솟고 있다.
• AI는 계속해서 더 많은 국방 제품 범주에 주입되고 있으며 국방 AI 스타트업은 더 많은 자금을 지원받습니다.

안전

• AI Safety 연구는 인지도, 인재 및 자금이 증가하고 있지만 여전히 기능 연구에 비해 한참 뒤쳐져 있습니다.

요약

stateof.ai 2022

#stateofai | 7

소개 | 연구 | 산업 | 정치 | 안전 | 예측

스코어카드: 2021년의 예측 검토

stateof.ai 2022

#stateofai | 8

소개 | 연구 | 산업 | 정치 | 안전 | 예측

#stateofai | 9

소개 | 연구 | 산업 | 정치 | 안전 | 예측

저자는 개인적으로 또는 펀드를 통해 이 보고서에 인용된 여러 민간 및 공기업의 투자자 및/또는 고문의 결과로 다수의 이해 상충을 선언합니다.

​

Ian은 이 보고서에 언급된 Anthropic 및 Helsing AI의 엔젤 투자자입니다.

​

Nathan은 다음 회사의 투자자입니다. airstreet.com/portfolio

이해 상충

stateof.ai 2022

#stateofai | 111

소개 | 연구 | 산업 | 정치 | 안전 | 예측

#stateofai | 10

보너스! 예측, 재검토 - 안 하는 것보다 늦는 것이 낫다! (늦었지만 예측이 맞았다?)

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

섹션 1: 연구

stateof.ai 2022

#stateofai | 11

소개 | 연구 | 산업 | 정치 | 안전 | 예측

2021년에 우리는 "DeepMind가 물리학의 주요 연구 돌파구를 발표할 것"이라고 예측했습니다. 그 이후로 회사는 수학과 재료 과학 모두에서 상당한 발전을 이루었습니다.

stateof.ai 2022

• 수학에서 결정적인 순간 중 하나는 관심 변수 간의 관계에 대한 추측 또는 가설을 공식화하는 것입니다. 이것은 종종 이러한 변수 값의 많은 인스턴스를 관찰하고 잠재적으로 데이터 기반 추측 생성 방법을 사용하여 수행됩니다. 그러나 이들은 저차원, 선형 및 일반적으로 단순한 수학적 객체로 제한됩니다.

#stateofai | 12

2021년 예측: 물리학에서 DeepMind의 혁신(1/3)

• Nature 기사에서 DeepMind 연구원은 수학자 및 감독된 ML 모델(일반적으로 NN)이 포함된 반복적인 워크플로를 제안했습니다. 수학자들은 두 변수(입력 X(z) 및 출력 Y(z))와 관련된 함수를 가정합니다. 컴퓨터는 변수의 많은 인스턴스를 생성하고 NN은 데이터에 적합합니다. 기울기 돌출 방법은 X(z)에서 가장 관련성이 높은 입력을 결정하는 데 사용됩니다. 수학자들은 자신의 가설을 수정하거나 추측이 많은 양의 데이터를 보유할 때까지 더 많은 데이터를 생성할 수 있습니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

2021년에 우리는 "DeepMind가 물리학의 주요 연구 돌파구를 발표할 것"이라고 예측했습니다. 그 이후로 회사는 수학과 재료 과학 모두에서 상당한 발전을 이루었습니다.

stateof.ai 2022

• DeepMind 연구원들은 시드니 대학교 및 옥스포드 대학교의 수학 교수들과 협력하여 프레임워크를 사용하여 (i) 표상 이론(representation theory)에서 40년 동안 지속되어 온 추측을 풀 수 있는 알고리즘을 제안하고 (ii) 다음에서 새로운 정리를 증명할 수 있습니다. 매듭의 연구.

#stateofai | 13

• DeepMind는 재료 과학에서도 중요한 기여를 했습니다. 전자 에너지를 계산하는 데 필수적인 도구인 밀도 함수 이론의 정확한 함수는 신경망을 사용하여 효율적으로 근사할 수 있음을 보여주었습니다. 특히, 연구원들은 DFT 기능의 수학적 제약을 확인하기 위해 신경망을 제한하는 대신 NN에 맞는 훈련 데이터에 간단히 통합합니다.

2021년 예측: 물리학에서 DeepMind의 혁신(2/3)

소개 | 연구 | 산업 | 정치 | 안전 | 예측

출처: 나무위키

초끈이론

​

​

​

​

DNA

2021년에 우리는 "DeepMind가 물리학의 주요 연구 돌파구를 발표할 것"이라고 예측했습니다. 그 이후로 회사는 수학과 재료 과학 모두에서 상당한 발전을 이루었습니다.

stateof.ai 2022

• DeepMind는 AlphaZero(Chess, Go 및 Shogi의 최고의 인간 플레이어를 이기기 위해 훈련된 RL 모델)를 행렬 곱셈을 수행하도록 용도를 변경했습니다. 이 AlphaTensor 모델은 두 행렬을 곱하기 위한 새로운 결정론적 알고리즘을 찾을 수 있었습니다. AlphaZero를 사용하기 위해 연구원들은 행렬 곱셈 문제를 각 움직임이 알고리즘 명령에 해당하는 싱글 플레이어 게임으로 재구성하고 목표는 예측된 알고리즘이 얼마나 정확한지 측정하는 텐서를 제로아웃하는 것입니다.
• 겉보기에 간단하고 잘 연구된 문제인 더 빠른 행렬 곱셈 알고리즘을 찾는 것은 수십 년 동안 진부한 일이었습니다. DeepMind의 접근 방식은 현장 연구의 속도를 높이는 데 도움이 될 뿐만 아니라 행렬 곱셈 기반 기술, 즉 AI, 이미징 및 기본적으로 휴대폰에서 발생하는 모든 것을 향상시킵니다.

#stateofai | 14

2021년 예측: 물리학에서 DeepMind의 혁신(3/3)

소개 | 연구 | 산업 | 정치 | 안전 | 예측

• 핵융합을 달성하는 대중적인 경로는 토카막을 사용하여 충분한 시간 동안 극도로 뜨거운 플라즈마를 가두는 것을 필요로 합니다.
• 주요 장애물은 플라즈마가 불안정하고 열을 잃으며 토카막의 벽에 닿을 때 재료가 저하된다는 것입니다. 이를 안정화하려면 초당 수천 번 자기 코일을 조정해야 합니다.
• DeepMind의 딥 RL 시스템은 처음에는 시뮬레이션된 환경에서 수행한 다음 로잔의 TCV에 배포할 때 수행했습니다. 이 시스템은 또한 ITER의 설계와 호환되도록 하는 것을 포함하여 새로운 방식으로 플라즈마를 형성할 수 있었습니다.

DeepMind는 로잔의 TCV(Variable Configuration tokamak)의 자기 코일을 조정하기 위해 강화 학습 시스템을 훈련했습니다. 이 시스템의 유연성은 프랑스에서 건설 중인 유망한 차세대 토카막인 ITER에서도 사용할 수 있음을 의미합니다.

stateof.ai 2022

#stateofai | 15

강화 학습은 차세대 융합 혁신의 핵심 구성 요소가 될 수 있습니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

https://youtu.be/FZF5Q0ERGGY

https://youtu.be/bY0NpBxoBwA

stateof.ai 2022

알려진 전체 프로테옴의 구조 예측: 다음으로 무엇을 열 수 있습니까?

오픈 소싱 이후 DeepMind의 AlphaFold 2는 수백 편의 연구 논문에 사용되었습니다. 이 회사는 이제 식물, 박테리아, 동물 및 기타 유기체에서 알려진 2억 개의 단백질의 3D 구조를 예측하는 시스템을 배포했습니다. 약물 발견에서 기초 과학에 이르기까지 이 기술이 가능하게 하는 다운스트림 혁신의 범위는 실현되기까지 몇 년이 걸릴 것입니다.

​

• 오늘날 Protein Data Bank에는 190,000개의 경험적으로 결정된 3D 구조가 있습니다. 이들은 X선 결정학 및 극저온 전자 현미경을 통해 파생되었습니다.
• 2022년 7월 AlphaFold DB의 첫 번째 릴리스에는 1M 예측 단백질 구조가 포함되었습니다.
• 이 새로운 릴리스 200x는 데이터베이스 크기입니다. 190개국에서 500,000명 이상의 연구원이 데이터베이스를 사용했습니다.
• AI 연구 문헌에서 AlphaFold에 대한 언급은 크게 증가하고 있으며 매년 3배로 증가할 것으로 예상됩니다(오른쪽 차트).

#stateofai | 16

소개 | 연구 | 산업 | 정치 | 안전 | 예측

• 이는 ESMFold가 AlphaFold 2 및 RoseTTAFold와 같은 MSA(다중 서열 정렬) 및 템플릿 사용에 의존하지 않고 대신 단백질 서열만 사용하기 때문입니다.

stateof.ai 2022

연구원들은 모델 매개변수를 스케일링하면서 단백질 생성 및 구조 예측 문제에 언어 모델을 독립적으로 적용했습니다. 둘 다 모델을 확장할 때 큰 이점을 보고합니다.

​

단백질을 위한 언어 모델: 오픈 소스 및 확장 모델에 대한 친숙한 이야기

• Salesforce 연구원은 LM을 확장하면 단백질 서열의 훈련 분포(당황으로 측정)를 더 잘 포착할 수 있다는 것을 발견했습니다.
• 6B param ProGen2를 사용하여 그들은 천연 단백질과 유사한 접힘을 갖지만 실질적으로 다른 서열 동일성을 갖는 단백질을 생성했습니다. 그러나 규모의 잠재력을 최대한 활용하기 위해 저자는 데이터 배포에 더 중점을 두어야 한다고 주장합니다.

#stateofai | 17

• Metaet al. 크기가 8M에서 15B(ESM-2라고 함) 매개변수 범위인 ESM 계열의 단백질 LM을 도입했습니다. ESM-2를 사용하여 ESMFold를 구축하여 단백질 구조를 예측합니다. 그들은 ESMFold가 AlphaFold 2 및 RoseTTAFold와 유사한 예측을 생성하지만 훨씬 더 빠르다는 것을 보여줍니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

연구원들은 CRISPR 기반 내인성 태깅(단백질 기능의 특정 측면을 조명하여 유전자 수정)을 사용하여 세포에서 단백질 위치를 결정했습니다. 그런 다음 그들은 클러스터링 알고리즘을 사용하여 단백질 커뮤니티를 식별하고 특성화되지 않은 단백질에 대한 기계론적 가설을 공식화했습니다.

​

OpenCell: 기계 학습의 약간의 도움으로 단백질 위치 파악 이해

• 게놈 연구의 중요한 목표는 단백질이 위치하는 위치와 특정 기능을 활성화하기 위해 세포에서 단백질이 상호 작용하는 방법을 이해하는 것입니다. ~5,900개의 3D 이미지에 걸쳐 1,310개의 태그가 지정된 단백질 데이터 세트를 통해 OpenCell 이니셔티브를 통해 연구자는 단백질의 공간적 분포, 기능 및 상호 작용 간의 중요한 연결을 그릴 수 있었습니다.
• 단백질 상호 작용 그래프의 Markov 클러스터링은 기능적으로 관련된 단백질을 성공적으로 묘사했습니다. 이것은 연구자들이 지금까지 특성화되지 않은 단백질을 더 잘 이해하는 데 도움이 될 것입니다.
• 우리는 종종 ML이 확실한 예측을 제공할 것으로 기대합니다. 그러나 여기에서 수학과 마찬가지로 ML은 먼저 부분적인 답변(여기서는 클러스터)을 제공하고 인간은 최종 답변을 제공하기 전에 가설을 해석, 공식화 및 테스트합니다.

#stateofai | 18

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

UT Austin의 연구원들은 전 세계 고형 폐기물의 12%를 차지하는 플라스틱 유형인 PET를 분해할 수 있는 효소를 조작했습니다.

​

플라스틱 재활용은 꼭 필요한 ML-엔지니어링 효소를 얻습니다.

• FAST-PETase라고 하는 PET 가수분해효소는 기존의 것보다 다양한 온도와 pH 수준에 더 강력합니다.
• FAST-PETase는 1주일 만에 51가지 다른 제품을 거의 완전히 분해할 수 있었습니다.

#stateofai | 19

• 그들은 또한 FAST-PETase 분해로부터 회수된 단량체로부터 PET를 재합성할 수 있다는 것을 보여주었으며, 잠재적으로 산업적 규모의 폐쇄 루프 PET 재활용의 길을 열었습니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

양적 과학에서 ML의 사용이 증가함에 따라 ML의 방법론적 오류가 이러한 분야로 누출될 수 있습니다. Princeton의 연구원들은 데이터 유출이라는 방법론적 오류 중 하나가 부분적으로 주도하는 ML 기반 과학의 재현성 위기가 증가하고 있다고 경고합니다.

​

복잡한 오류에 주의하십시오. 과학에서 ML은 입력하고 쓰레기는 출력합니까?

• 데이터 유출(Data leakage)은 실제로 모델에서 사용할 수 없어야 하는 데이터가 있는 모든 경우를 포괄하는 포괄적인 용어입니다. 가장 일반적인 예는 테스트 데이터가 훈련 세트에 포함될 때입니다. 그러나 누출은 더 치명적일 수 있습니다. 모델이 결과 변수의 프록시인 기능을 사용하거나 테스트 데이터가 과학적 주장이 이루어진 것과 다른 분포에서 오는 경우입니다.

#stateofai | 20

• 저자들은 ML 기반 과학에서 뒤따르는 재현성 실패가 체계적이라고 주장합니다. 그들은 ML 기반 과학의 오류를 조사하는 17개 과학 분야에 걸쳐 20개의 리뷰를 연구하고 리뷰 범위에 걸쳐 있는 329개의 논문 모두에서 데이터 누출 오류가 발생했음을 발견했습니다. ML에서 점점 더 인기를 얻고 있는 모델 카드에서 영감을 받아 저자는 연구원들이 데이터 유출 문제를 방지하도록 설계된 모델 정보 시트를 사용할 것을 제안합니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

• OpenAI는 마우스 및 키보드 동작으로 레이블이 지정된 2,000시간 분량의 비디오를 수집하고 IDM(역동역학 모델)을 훈련하여 주어진 과거 및 미래 프레임의 동작을 예측합니다. 이것이 PreTraining 부분입니다.
• 그런 다음 IDM을 사용하여 과거 비디오 프레임만 주어진 동작을 예측하도록 모델을 훈련시킨 70시간 분량의 비디오에 레이블을 지정했습니다.
• 그들은 모델이 처음부터 RL을 사용하여 도달하기 너무 어려운 성능을 달성하기 위해 모방 학습 및 강화 학습(RL)으로 미세 조정될 수 있음을 보여줍니다.

stateof.ai 2022

OpenAI는 레이블이 지정된 소량의 마우스 및 키보드 상호 작용을 사용하여 비디오 프레임에서 Minecraft를 재생하도록 모델(Video PreTraining, VPT)을 훈련했습니다. VPT는 "보통 숙련된 사람이 20분 이상(24,000개 작업) 수행해야 하는 작업” 다이아몬드 세공을 배운 첫번째 ML 모델입니다.

#stateofai | 21

OpenAI는 Minecraft를 컴퓨터 사용 에이전트의 테스트베드로 사용합니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

GitHub Copilot을 구동하는 OpenAI의 Codex는 여러 줄로 또는 자연어 지침에서 직접 코드를 완성할 수 있는 기능으로 컴퓨터 과학 커뮤니티에 깊은 인상을 남겼습니다. 이 성공은 Salesforce, Google 및 DeepMind를 포함하여 이 분야에서 더 많은 연구에 박차를 가했습니다.

​

• CodeGen 을 통해 Salesforce 연구원은 LLM에 대한 언어 이해를 활용하여 다중 언어 상호 작용에서 코딩 요구 사항을 지정합니다. Codex와 경쟁할 수 있는 유일한 오픈 소스 모델입니다.
• Codex와 유사한 성능을 달성하지만 훈련 데이터에서 50배 적은 코드를 사용하는 Google의 LLM PaLM에 의해 더 인상적인 위업이 달성되었습니다(PaLM은 더 큰 비코드 데이터 세트에서 훈련되었습니다). Python 코드에서 미세 조정 했을 때 PaLM은 코드 복구 작업인 Deepfix에서 82% 대 71.7% SOTA 피어를 능가했습니다.
• AlphaCode 는 경쟁 프로그래밍 작업에 대한 전체 프로그램 생성이라는 다른 문제를 해결합니다. 코딩 대회 플랫폼인 코드포스(Codeforces)에서 상위 절반에 랭크됐다. GitHub 데이터에 대해 사전 훈련되었고 Codeforces 문제 및 솔루션에 대해 미세 조정되었습니다. 그런 다음 수백만 개의 가능한 솔루션을 샘플링, 필터링 및 클러스터링하여 10개의 최종 후보 제출물을 얻습니다.

#stateofai | 22

기업 AI 연구소, 코드 연구(생성)를 위해 AI에 뛰어들다

소개 | 연구 | 산업 | 정치 | 안전 | 예측

https://youtu.be/SQxsP1lCMF4

stateof.ai 2022

트랜스포머 모델의 코어에 있는 어텐션 레이어는 입력에 대한 2차 의존성으로 유명합니다. 이 문제를 해결하기 위해 수많은 문서가 약속되었지만 채택된 방법은 없습니다. SOTA LLM은 다양한 방식(자동인코딩, 자동회귀, 인코더-디코더)으로 제공되지만 모두 동일한 주의 메커니즘에 의존합니다.

​

트랜스포머가 나온지 5년이 지나면 뭔가 효율적인 대안이 있을 텐데... 맞죠?

• Googol의 Transformer는 지난 몇 년 동안 훈련되어 전 세계의 실험실과 회사에 수백만 달러(수십억?)의 비용이 들었습니다. 그러나 소위 "효율적인 Transformer"는 대규모 LM 연구에서 찾을 수 없습니다(가장 큰 차이를 만드는 곳!). GPT-3, PaLM, LaMDA, Gopher, OPT, BLOOM, GPT-Neo, Megatron-Turing NLG, GLM-130B 등은 모두 Transformer에서 원래 주의 레이어를 사용합니다.
• 몇 가지 이유가 이러한 채택 부족을 설명할 수 있습니다. (i) 잠재적인 선형 속도 향상은 큰 입력 시퀀스에만 유용합니다. (ii) 새로운 방법은 아키텍처를 덜 보편적으로 만드는 추가 제약을 도입합니다. (iii) 보고된 효율성 측정은 다음과 같습니다. 실제 계산 비용과 시간을 절약할 수 있습니다.

#stateofai | 23

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

Google의 540B 매개변수인 LM PaLM을 기반으로 구축된 Google의 Minerva는 MATH 벤치마크에서 50.3% 점수(이전 SOTA보다 43.4% 포인트 향상)를 달성하여 2022년 최고 점수(13%)에 대한 예측가의 예상을 능가합니다. 한편, OpenAI는 두 가지 수학 올림피아드 문제(IMO)를 풀기 위해 네트워크를 훈련했습니다.

​

• Google은 LaTeX 및 MathJax를 사용하여 arXiv 및 웹 페이지의 추가 118GB 과학 논문 데이터 세트에 대해 사전 훈련된 LLM PaLM을 훈련했습니다. Minerva는 일련의 사고 유도(최종 답변이 아닌 프롬프트의 중간 추론 단계 포함) 및 다수결 투표와 같은 기타 기술을 사용하여 대부분의 데이터 세트에서 SOTA를 최소 두 자리 pct 포인트만큼 향상시킵니다.
• Minerva는 언어 모델만 사용하며 형식 수학을 명시적으로 인코딩하지 않습니다. 더 유연하지만 전체 추론이 아닌 최종 답변에 대해서만 자동으로 평가될 수 있으므로 일부 점수 인플레이션을 정당화할 수 있습니다.
• 대조적으로 OpenAI는 형식수학(formal math) 린 형식 환경에서 구축된 (Transformer 기반) 정리 증명자를 구축했습니다. 그들의 모델의 다른 버전은 AMC12(26), AIME(6) 및 IMO(2)(난이도 증가)의 여러 문제를 해결할 수 있었습니다.

#stateofai | 24

언어 모델의 수학적 능력은 기대를 크게 상회합니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

https://youtu.be/SQxsP1lCMF4

stateof.ai 2022

머신 러닝 벤치마크의 66%만이 서로 다른 시점에서 3개 이상의 결과를 얻었고, 대부분은 출시 직후 해결되거나 포화 상태입니다. 132개 기관의 444명의 저자가 설계한 새로운 벤치마크인 BIG(Beyond Imitation Game)는 현재와 미래의 언어 모델에 도전하는 것을 목표로 합니다.

​

• University of Vienna, Oxford, FHI의 연구에서는 406개의 AI 작업에 대한 1,688개의 벤치마크를 조사하고 다양한 제출 역학을 확인했습니다(오른쪽 참조).
• 그들은 특히 언어 벤치마크가 빠르게 포화되는 경향이 있다는 점에 주목합니다.

#stateofai | 25

LLM 연구의 빠른 진행은 벤치마크를 쓸모없게 만들지만 BIG가 도움이 될 것입니다.

• 빠른 LLM 진행과 새로운 기능은 현재 벤치마크를 능가하는 것 같습니다. 결과적으로 이러한 진행 상황의 대부분은 데모 또는 일회성 혁신과 같은 정황 증거를 통해서만 캡처되고/되거나 이질적인 전용 벤치마크에서 평가되므로 실제 진행 상황을 식별하기 어렵습니다.
• 새로운 BIG 벤치마크에는 암기에서 다단계 추론에 이르는 대규모 LLM 기능 세트를 평가하는 강력한 인간 전문가 기준이 포함된 204개의 작업이 포함되어 있습니다. 그들은 현재로서는 최고의 모델이라도 BIG 벤치마크에서 제대로 수행하지 못한다는 것을 보여줍니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

DeepMind는 LM 스케일링 법칙을 재검토하여 현재 LM이 상당히 훈련되지 않았음을 발견했습니다. 큰 크기에 비해 충분한 데이터에 대해 훈련되지 않았습니다. 그들은 Gopher의 4배 더 작은 버전인 Chinchilla를 4.6배 더 많은 데이터로 훈련하고 BIG-bench에서 Chinchilla가 Gopher 및 기타 대형 모델보다 성능이 우수함을 발견했습니다.

​

• 경험적 LM 스케일링 법칙은 고정된 컴퓨팅 예산에 대해 사용해야 하는 모델 및 교육 데이터 크기를 결정합니다. OpenAI의 과거 작업은 컴퓨팅 예산이 증가함에 따라 모델 크기가 훈련 데이터 크기보다 더 빠르게 증가해야 한다는 것을 확립했습니다.
• DeepMind는 모델 크기와 훈련 토큰 수가 대략 같은 비율로 증가해야 한다고 주장합니다.
• OpenAI의 작업과 비교할 때 DeepMind는 더 큰 모델을 사용하여 확장 법칙을 도출합니다. 그들은 데이터 스케일링이 수십억 개의 매개변수 모델에서 더 나은 예측으로 이어진다는 점을 강조합니다.

#stateofai | 26

언어 모델 스케일링 법칙을 피하려면(Ducking, 피하다?)?: 더 많은 데이터가 필요해요

• 이 새로운 스케일링 법칙에 따라 Chinchilla(70B 매개변수)는 1.4T 토큰으로 훈련됩니다. 300B의 고퍼(230B).
• 동일한 컴퓨팅 예산으로 교육을 받았지만 더 가벼운 친칠라는 실행 속도가 더 빨라야 합니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

• Emergence 은 완전히 이해되지 않았습니다. 다단계 추론 작업의 경우 추론 단계를 인코딩하기 위해 모델이 더 깊어야 할 수 있습니다. 암기 작업의 경우 더 많은 매개변수를 갖는 것이 자연스러운 해결책입니다. 추론 작업에 대한 답변은 결론이 올바른 경우에만 올바른 것으로 간주되기 때문에 메트릭 자체가 설명의 일부일 수 있습니다. 따라서 모델 크기에 대한 지속적인 개선에도 불구하고 증분이 특정 지점을 넘어 누적될 때만 모델이 성공한 것으로 간주합니다.
• Emergence의 가능한 결과는 곧 성공적으로 처리될 수 있는 현재 LLM의 범위를 벗어나는 다양한 작업이 있다는 것입니다.
• 또는 LLM을 실제 작업에 대규모로 배포하는 것은 안전하지 않고 바람직하지 않은 능력이 나타날 수 있으므로 더 불확실합니다. ML 모델의 취약성과 함께 이것은 실무자가 고려해야 할 또 다른 기능입니다.

모델 손실은 잘 보정된 스케일링 법칙을 사용하여 크기 및 계산의 함수로 합리적으로 예측할 수 있지만, 모델이 임계 크기에 도달하면 많은 LLM 기능이 예측할 수 없게 나타 납니다 . 이러한 획득한 기능은 흥미롭지만 Emergence 현상으로 인해 모델 안전성 평가가 더 어려워집니다.

stateof.ai 2022

#stateofai | 27

언어 모델 확장 법칙을 피하기(Ducking, 피하다?) : 출현(Emergence)

훈련 FLOP

소개 | 연구 | 산업 | 정치 | 안전 | 예측

Arithmetics

Transliteration

Multi-task NLU

Fig. of speech

Training FLOPs

stateof.ai 2022

언어 모델은 검색 엔진 및 계산기와 같은 도구를 사용하는 방법을 학습할 수 있습니다. 이러한 도구에 대한 사용 가능한 텍스트 인터페이스를 만들고 매우 적은 수의 인간 데모에 대한 교육을 수행하는 것입니다.

​

• OpenAI의 WebGPT는 참조에 기반한 답변을 제공하기 위해 검색 엔진과 상호 작용하도록 GPT-3을 미세 조정함으로써 이를 설득력 있게 입증한 최초의 모델이었습니다. 이를 위해서는 이 작업을 수행하는 인간의 데이터를 수집하고 상호 작용 데이터를 표준 지도 학습에 의한 훈련을 위해 모델이 소비할 수 있는 텍스트로 변환하기만 하면 됩니다. 중요하게도, 인간 시연 데이터의 사용이 증가함에 따라 답변의 진실성과 정보성이 크게 향상되었습니다(오른쪽 패널, WebGPT의 경우 흰색 막대). 이는 2021년 보고서(슬라이드 44)에서 진실성 평가를 다루었을 때보다 상당한 발전이었습니다.
• AGI의 새로운 회사인 Adept는 이 패러다임을 상용화하고 있습니다. 이 회사는 워크플로 생산성을 높이기 위해 웹사이트, 소프트웨어 애플리케이션 및 API(자세한 내용은 adept.ai/act 참조)와 상호 작용하도록 대형 Transformer 모델을 교육합니다.

#stateofai | 28

기계에게 물고기를 낚는 법을 가르치십시오: 다음 개척지는 도구를 사용하는 것?

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

기계 학습에서 컴퓨팅 요구 사항의 놀라운 가속을 문서화한 연구입니다. 모델 배가 시간당 학습 계산에 따라 3개의 머신 러닝 시대를 식별합니다. 사전 딥 러닝 시대(2010년 이전, 20개월마다 훈련 컴퓨팅이 2배 증가), 딥 러닝 시대(2010-15년, 6개월마다 2배씩), 대규모 시대(2016년-현재, 100-1000배 점프) , 이후 10개월마다 두 배로 증가).

​

#stateofai | 29

뒤돌아보기: 머신 러닝 컴퓨팅의 세 시대

소개 | 연구 | 산업 | 정치 | 안전 | 예측

TFlops

FFlops

V100 * 1Day

V100 * 10000 Day

stateof.ai 2022

2021년 보고서(슬라이드 36)에서 Diffusion 모델을 다루었을 때 몇 가지 벤치마크에서 이미지 생성에서 GAN을 추월했습니다. 오늘날 그들은 텍스트-이미지 생성을 위한 확실한 SOTA이며 텍스트-비디오, 텍스트 생성, 오디오, 분자 디자인 등으로 확산되고 있습니다.

​

• Diffusion 모델(DM)은 평균과 공분산이 신경망으로 매개변수화되는 가우시안으로 각 단계에서 역 분포(노이즈 이미지에서 노이즈가 제거된 이미지 생성)를 모델링하여 이미지에 대한 연속적인 노이즈 추가를 되돌리는 방법을 배웁니다. DM은 무작위 노이즈에서 새로운 이미지를 생성합니다.
• 순차 노이즈 제거는 느리지만 새로운 기술(저차원 공간에서 노이즈 제거와 같은)을 사용하면 추론 시간이 더 빨라지고 더 높은 품질의 샘플을 생성할 수 있습니다(분류기 없는 지침 - 충실도를 위해 다양성을 절충).
• DALL-E 2, Imagen 및 Stable Diffusion과 같은 SOTA 텍스트-이미지 모델은 DM을 기반으로 합니다. 또한 제어 가능한 텍스트 생성(미리 정의된 구조 또는 의미론적 컨텍스트로 텍스트 생성), 모델 기반 강화 학습, 비디오 생성 및 분자 생성에도 사용됩니다.

#stateofai | 30

Diffusion(확산) 모델은 텍스트-이미지 생성을 인수하고 다른 양식으로 확장

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

2022년 4월에 출시된 OpenAI DALL-E의 두 번째 버전에서는 생성된 이미지의 품질이 크게 향상되었습니다. 얼마 지나지 않아 Google(Imagen)에서 똑같이 인상적인 또 다른 Diffusion 기반 모델이 나왔습니다. 한편 Google의 Parti는 다른 자동회귀 방식을 취했습니다.

​

DALL-E 2, Imagen 및 Parti… 텍스트-이미지 생성을 위한 전쟁 격렬

• Parti는 Diffusion 모델을 사용하는 대신 텍스트-이미지 생성을 간단한 시퀀스-투-시퀀스 작업으로 처리합니다. 여기서 예측할 시퀀스는 이미지 픽셀의 표현입니다. 특히, Parti의 매개변수 및 교육 데이터의 수가 확장됨에 따라 모델은 철자와 같은 새로운 기능을 획득합니다.
• 다른 인상적인 텍스트 이미지 변환 모델에는 DALL-E 2 이전의 GLIDE(OpenAI) 및 Make-a-Scene(메타 - 텍스트와 스케치 모두 사용 가능)과 CogView2(칭화, BAAI - 영어 및 중국어)가 있습니다.

#stateofai | 31

DALL-E 2

Imagen

Parti-350M

Parti-20B

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

Stability.ai와 Midjourney는 기존 AI 연구실에 필적하는 텍스트-이미지 모델로 겉보기에 아무데도 나오지 않았습니다. 둘 다 베타 버전의 API가 있고 Midjourney는 수익성이 있는 것으로 알려져 있으며 Stability는 이미 해당 모델을 오픈 소스로 제공하고 있습니다. 그러나 정치 섹션에서 이들의 출현 및 연구 역학에 대해 자세히 알아보세요.

#stateofai | 32

텍스트-이미지 Diffusion 모델 열풍으로 새로운 AI 연구소 탄생

이미지 크레딧: Fabian Stelzer

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

텍스트-비디오 세대 경쟁이 시작되었습니다

Diffusion 기반 텍스트-비디오 생성에 대한 연구는 Google과 브리티시 컬럼비아 대학의 협력으로 2022년 4월경 시작되었습니다. 그러나 9월 말에 Meta와 Google의 새로운 연구 결과 품질이 크게 향상되어 텍스트에서 비디오로의 생성을 위한 DALL-E가 예상보다 빨랐음을 알렸습니다.

​

• Meta는 비디오 생성을 위한 Diffusion 모델인 Make-a-Video를 출시하여 Text-to-Video 생성에서 Big Tech의 첫 번째 스플래시를 만들었습니다.
• 텍스트에서 이미지로의 생성과 매우 유사한 방식으로 Google은 거의 동시에 두 가지 모델을 발표했습니다. 하나는 Diffusion 모델 기반 Imagen이고 다른 하나는 비Diffusion 모델 기반 Phenaki입니다. 후자는 추가 프롬프트를 통해 비디오를 동적으로 조정할 수 있습니다.

#stateofai | 33

Imagen Video

Make-a-Video

Phenaki

소개 | 연구 | 산업 | 정치 | 안전 | 예측

14개월 동안 폐쇄: GPT et al.의 커뮤니티 주도 오픈 소싱.

OpenAI 및 DeepMind의 랜드마크 모델은 예상보다 훨씬 빠르게 오픈 소스 커뮤니티에 의해 구현/복제/개선되었습니다.

#stateofai | 34

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

GPT-3 (175B)

Pan-Gu (200B)

HyperCLOVA (204B)

Jurassic-1 Jumbo (204B)

FLAN (137B)

June 2020

May 2021

Megatron

Turing-NLG (137B)

Yuan 1.0 (246B)

Sep 2021

Gopher (280B)

Ernie 3.0 Titan (260B)

LaMDA (280B)

Jan 2022

GPT-j (6B)

GPT-NeoX (20B)

Aug 2021

PaLM (540B)

OPT (175B)

BLOOM (176B)

GLM (130B)

Open-sourced models in red

May 2022

Aug 2022

Chinchilla (70B)

OpenAI 및 DeepMind의 랜드마크 모델은 예상보다 훨씬 빠르게 오픈 소스 커뮤니티에 의해 구현/복제/개선되었습니다.

stateof.ai 2022

#stateofai | 35

DALL-E

15개월 동안 폐쇄: DALL-E et al.의 커뮤니티 주도 오픈 소싱.

​

빨간색으로 표시된 오픈 소스 모델

소개 | 연구 | 산업 | 정치 | 안전 | 예측

Jan 2021

DALL-E 2

DALL-E mini

Apr 2022

Make-a-scene

Mar 2022

Aug 2022

May 2022

June 2022

July 2022

Imagen

Parti

Stable Diffusion

CogView2

OpenAI 및 DeepMind의 랜드마크 모델은 예상보다 훨씬 빠르게 오픈 소스 커뮤니티에 의해 구현/복제/개선되었습니다.

stateof.ai 2022

#stateofai | 36

알파폴드 1

2018년 8월

ESM-1B

에스엠2

알파폴드 2

2021년 7월

로제타폴드

2019년 4월

오픈폴드

2022년 6월

2022년 8월

35개월 동안 폐쇄: AlphaFold et al.의 커뮤니티 주도 오픈 소싱.

빨간색으로 표시된 오픈 소스 모델

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

광범위한 기능 덕분에 LLM은 원칙적으로 로봇이 자연 언어로 단계를 설명하여 모든 작업을 수행할 수 있도록 합니다. 그러나 LLM은 로봇의 환경과 능력에 대한 컨텍스트 지식이 거의 없기 때문에 로봇에 대한 설명이 일반적으로 불가능합니다. PaLM-SayCan은 이것을 해결합니다.

​

LLM은 로봇이 다양하고 모호한 명령을 실행할 수 있도록 지원합니다.

• "내가 음료수를 쏟았는데 도와줄 수 있니?"라는 모호한 지시가 주어지면 신중하게 신속하게 설계된 LLM(예: Google의 PaLM)은 스펀지를 집어 들고 가져오기 위한 일련의 추상적인 단계를 고안할 수 있습니다. 그러나 주어진 기술(예: 줍기, 내려놓기)은 환경에 따라 로봇이 수행할 수 있어야 합니다(예: 로봇이 스펀지를 보는 경우).
• LLM이 실행 가능한 명령을 출력하도록 장려하기 위해 SayCan은 명령이 로봇에 의해 성공적으로 실행될 가능성을 최대화합니다.
• 로봇이 일련의 기술을 실행할 수 있다고 가정합니다. 그런 다음 주어진 지시와 상태에 대해 시스템은 주어진 완료 확률(사용 가능한 기술 세트로 제한됨)에 완료 및 현재 상태가 주어진 성공 확률을 최대화하는 기술을 선택합니다. 시스템은 강화 학습을 사용하여 훈련됩니다.
• 연구원들은 7가지 유형의 언어 지침 중 101가지 지침에 대해 SayCan을 테스트했습니다. 계획과 실행에 각각 84%와 74%의 성공률을 보였습니다.

#stateofai | 37

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

작년에 이미징 벤치마크의 SOTA 모델로 ViT(Vision Transformers) 및 기타 이미지 변환기가 도입되면서 ConvNets의 여명이 발표되었습니다. 그렇게 빠르지는 않습니다. Meta와 UC Berkeley의 작업은 ConvNet을 현대화하면 ViT보다 우위에 있다고 주장합니다.

2021년 예측: 비전에서 컨볼루션 네트워크는 트랜스포머와의 공정한 싸움을 원합니다…

• 연구원들은 Swin과 같은 계층적 비전 트랜스포머에 도입된 최근 디자인 선택으로 보강된 ResNet인 ConvNeXt를 소개하지만 어텐션 레이어는 사용하지 않습니다.
• ConvNeXt는 ImageNet-1K 및 ImageNet-22K에서 Swin Transformer 및 ViT와 경쟁력이 있으며 이와 같은 규모의 이점을 누릴 수 있습니다.
• 트랜스포머는 언어 모델링에서 순환 신경망을 빠르게 대체했지만 특히 소규모 ML 사용 사례에서 ConvNets 사용이 이와 유사한 갑작스러운 감소를 예상하지는 않습니다.
• 한편, 2021년 소형 Transformer + CNN 하이브리드 모델의 예측은 ImageNet 상위 1 정확도에서 CoAtNet-7의 성능(90.88%)과 거의 일치하는(89.53%) CoAtNet-7의 성능(90.88%)과 거의 일치하는 4억 7,500만 매개변수로 Google의 MaxViT에 나타났습니다.

#stateofai | 38

소개 | 연구 | 산업 | 정치 | 안전 | 예측

• 변환기 기반 자동 인코더 LM은 큰 텍스트 말뭉치에서 무작위로 마스킹된 단어를 예측하도록 훈련됩니다. 그 결과 언어 모델링 작업(예: BERT)에서 SOTA인 강력한 모델이 생성됩니다.
• 문장에서 단어를 마스킹하면 문장이 무의미해지고 LM에게 어려운 작업이 생성되지만 이미지에서 무작위로 마스킹된 픽셀 몇 개를 재구성하는 것은 인접 픽셀 덕분에 간단합니다.

• 해결책: 픽셀의 큰 패치를 마스킹합니다(예: 픽셀의 75%). Meta는 ImageNet-1K에서 ViT-Huge 모델을 사전 훈련하기 위해 이것 및 기타 조정(엔코더는 가시적인 패치만 보고 디코더는 인코더보다 훨씬 작음)을 사용하여 작업 최고 87.8%를 달성하도록 미세 조정합니다. 정확도 1위.
• 자기 지도 학습은 컴퓨터 비전에 새로운 것이 아닙니다(예: Meta의 SEER 모델 참조). 마스킹 기술(예: 컨텍스트 인코더 또는 최신 SiT)도 마찬가지입니다. 그러나 이 작업은 언어 전환에서 SOTA 기술이 원활하게 비전을 제시한다는 추가 증거입니다. 도메인 통합을 더 추진할 수 있습니까?

stateof.ai 2022

텍스트에 대한 변환기를 훈련하는 데 사용되는 자체 감독 기술은 이제 거의 그대로 이미지로 옮겨지고 ImageNet-1K에서 최첨단 결과를 달성하고 있습니다.

…하지만 피할 수 없는 비전과 언어 모델링 통일은 계속되고…

#stateofai | 39

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

특정 작업(지도 또는 자체 지도 학습을 통해)에 대해 훈련된 트랜스포머는 미세 조정을 통해 광범위한 작업 세트에 사용할 수 있습니다. 최근 연구에 따르면 단일 변환기가 다양한 양식(다중 작업 다중 모드 학습)에 걸쳐 다양한 작업에 대해 직접적이고 효율적으로 훈련될 수 있습니다.

​

• 일반주의 멀티태스킹, 멀티모달 모델의 시도는 이미지, 텍스트 및 음성의 8개 작업을 처리한 Google의 "One model to learning them all"(2017)로 거슬러 올라갑니다. DeepMind의 Gato는 이러한 노력을 다른 차원으로 끌어 올렸습니다. 연구원들은 로봇 공학, 시뮬레이션 환경, 시각 및 언어에서 수백 가지 작업을 수행하기 위해 1.2B 매개변수 변환기를 훈련합니다. 이것은 부분적으로 우리의 2021년 예측을 증명합니다.
• 그들은 스케일링이 모델을 지속적으로 개선했지만 라이브 저지연 로봇 공학 작업의 경우 "작게" 유지되었음을 보여주었습니다.

#stateofai | 40

2021년 예측:…단 하나의 트랜스포머로 모든 것을 지배하게 될까요?

• 다양한 방식으로 모델을 훈련하기 위해 모든 데이터는 학습된 벡터 공간에 포함된 일련의 토큰으로 직렬화되었습니다. 모델은 완전히 감독된 방식으로 훈련됩니다.
• 별도로: Data2vec를 사용하여 더 좁은 작업 세트에서 Meta는 여러 양식에 걸쳐 통합된 자체 감독 전략을 고안했습니다. 그러나 현재로서는 각 양식에 서로 다른 Transformer가 사용됩니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

2021년에 우리는 "Transformer가 RNN을 대체하여 RL 에이전트가 크고 풍부한 게임 환경에서 인간의 성능을 능가하는 세계 모델을 학습합니다 ."라고 예측했습니다. Geneva 대학의 연구원들은 GPT와 유사한 Transformer를 사용하여 세계 환경을 시뮬레이션했습니다. 그들은 아타리의 26개 게임 중 10개에서 그들의 에이전트(IRIS라고 함)가 샘플 효율적이고 인간의 성능을 능가한다는 것을 보여주었습니다. IRIS는 미리보기 검색을 사용하지 않는 방법 중 특히 가장 좋은 방법이었습니다.

stateof.ai 2022

#stateofai | 41

2021년 예측: 강화 학습의 세계 모델 학습을 위한 변환기

소개 | 연구 | 산업 | 정치 | 안전 | 예측

2020년 AI 현황 보고서에서 우리는 Transformer가 NLP를 넘어 컴퓨터 비전의 최첨단을 달성하기 위해 확장될 것이라고 예측했습니다. 이제 Transformer가 범용 아키텍처 후보라는 것이 분명합니다. 2022년에 Transformer 관련 논문을 분석하면 이 모델 아키텍처가 얼마나 보편적이 되었는지 알 수 있습니다.

stateof.ai 2022

#stateofai | 42

트랜스포머는 진정한 크로스 모달리티가 되고 있습니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

중요한 NeRF 논문은 2020년 3월에 출판되었습니다. 그 이후로 방법과 새로운 응용 프로그램에 대한 근본적인 개선이 빠르고 지속적으로 개발되었습니다. 예를 들어 2022년 CVPR에는 NeRF에 대한 50편 이상의 논문이 발표되었습니다.

​

NeRF는 성숙한 연구 분야로 확장

• 작년 보고서(슬라이드 18)에서: 이미지에 대한 여러 보기가 주어지면 NeRF는 다층 퍼셉트론을 사용하여 이미지의 표현을 배우고 새로운 보기를 렌더링합니다. 모든 픽셀 위치와 뷰 방향에서 해당 위치의 색상 및 밀도에 대한 매핑을 학습합니다.
• 올해의 작업 중에서 Plenoxels는 MLP를 완전히 제거하고 NeRF 교육에서 100배의 속도 향상을 달성하여 눈에 띕니다. 또 다른 흥미로운 방향은 도시 규모(Block-NeRF로 샌프란시스코의 전체 이웃 렌더링) 또는 Mega-NeRF*로 위성 규모에 상관없이 NeRF를 사용하여 몇 가지 보기에서 대규모 풍경을 렌더링하는 것이었습니다.

#stateofai | 43

• NeRF 가 우리 산업 부문에서 두드러지게 나타날 것으로 예상합니다.

* 데모를 확인하면 NeRF 연구를 더 잘 감상할 수 있습니다. 예: Block-NeRF , 어둠 속의 NeRF , Light Field Neural Rendering

소개 | 연구 | 산업 | 정치 | 안전 | 예측

https://www.matthewtancik.com/nerf

stateof.ai 2022

항균제에 대한 내성은 일반적이며 환자의 신체에 이미 존재하는 다른 병원체의 결과로 종종 발생합니다. 그렇다면 의사는 감염을 치료하지만 환자를 새로운 감염에 취약하게 만들지 않는 올바른 항생제를 어떻게 찾아야 할까요?

데이터 기반 항균제 선택으로 세균 감염 치료

• 감염 전후에 알려진 항생제로 치료받은 요로 또는 상처 감염이 있는 200,000명 이상의 환자의 미생물군유전체 프로필을 비교함으로써 ML은 환자별 수준에서 치료로 인한 내성 증가의 위험을 예측하는 데 사용할 수 있습니다.
• 실제로, ML 시스템이 권장하지 않는 항생제로 치료한 요로 감염(UTI) 환자는 상당한 내성을 보였습니다(E). UTI(F)와 상처 감염(G) 환자 모두 ML 시스템에 따라 항생제를 처방받았다면 재감염을 훨씬 덜 겪을 것입니다.

#stateofai | 44

소개 | 연구 | 산업 | 정치 | 안전 | 예측

• 매우 적은 수의 생물학적 샘플이 일반적으로 참조 라이브러리에서 식별될 수 있습니다.
• 특성 예측 변환기는 구조 예측 중간체 또는 참조 조회를 사용하지 않고 MS/MS에서 직접 용해도, 약물 유사성 및 합성 접근성과 같은 의약 관련 화학적 특성 제품군을 예측하는 데 성능이 뛰어납니다.

stateof.ai 2022

Transformer를 사용한 소분자 질량 스펙트럼 해석

탠덤 질량 분석법(MS/MS)은 일반적으로 생물학적 시료의 소분자 연구인 대사체학에서 사용됩니다. 대부분의 자연 화학 공간이 알려져 있지 않기 때문에 스펙트럼 참조 라이브러리에서 작은 분자의 10% 미만을 식별할 수 있습니다. 트랜스포머는 대사 혼합물에서 분자의 빠르고 정확한 in silico 특성화를 가능하게 하여 대규모 바이오마커 및 천연물 약물 발견을 가능하게 합니다.

#stateofai | 45

소개 | 연구 | 산업 | 정치 | 안전 | 예측

• 연구원들은 생체 활성을 최대화하고 독성을 최소화하기 위해 "MegaSyn" 모델을 훈련했습니다. 독성 분자를 설계하기 위해 그들은 동일한 모델을 유지했지만 이제는 단순히 생물학적 활성과 독성을 모두 최대화하도록 훈련했습니다. 그들은 약물 유사 분자의 공개 데이터베이스를 사용했습니다.
• 그들은 모델을 가장 독성이 강한 화학무기 중 하나로 알려진 신경 작용제 VX의 생성으로 지시했습니다.
• 그러나 정기적인 약물 발견의 경우와 마찬가지로 예측 독성이 높은 분자를 찾는다고 해서 쉽게 만들 수 있는 것은 아닙니다. 그러나 루프에서 AI를 통한 약물 발견이 극적으로 개선됨에 따라 약물 발견의 모범 사례가 값싼 생화학 무기를 만드는 데 확산되는 것을 상상할 수 있습니다.

Collaborations Pharmaceuticals와 King's College London의 연구원들은 치료용으로 설계된 기계 학습 모델이 생화학 무기를 생성하기 위해 쉽게 용도 변경될 수 있음을 보여주었습니다.

stateof.ai 2022

"AI for good" 애플리케이션의 주력인 약물 발견은 남용에 면역이 되지 않습니다.

#stateofai | 46

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

미국 AI 연구에 비해 중국 논문은 감시 관련 작업에 더 중점을 둡니다. 여기에는 자율성, 물체 감지, 추적, 장면 이해, 행동 및 화자 인식이 포함됩니다.

#stateofai | 47

중국 논문과 미국 논문의 데이터 양식 비교

중국 논문과 미국 논문의 머신 러닝 작업 비교

빨간색 = 중국에서 더 흔함

파란색 = 미국에서 더 흔함

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

미국 기반 저자가 2022년에 중국 동료보다 더 많은 AI 논문을 발표했지만 중국과 중국 기관은 더 빠른 속도로 생산량을 늘리고 있습니다.

#stateofai | 48

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

2010년 이후 중국 기관은 미국 기관보다 4.5배 많은 논문을 작성했습니다.

중국어 데이터베이스, 중국 국가지식기반시설까지 포함하면 미·중 AI 연구논문 격차 폭발

#stateofai | 49

소개 | 연구 | 산업 | 정치 | 안전 | 예측

섹션 2: 산업

stateof.ai 2022

#stateofai | 50

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

NVIDIA의 2021 회계연도 데이터 센터 수익은 106억 달러였습니다. 2021년 4분기에 그들은 연간 기준으로 상위 3개 AI 반도체 스타트업의 가치를 합친 것보다 큰 32억 6000만 달러를 인식했습니다. NVIDIA의 플랫폼에는 3백만 명이 넘는 개발자가 있으며 회사의 최신 H100 칩 세대는 A100에 비해 9배의 교육 성능을 제공할 것으로 예상됩니다. 한편, Cerebras, SambaNova 및 Graphcore의 매출 수치는 공개적으로 사용할 수 없습니다.

#stateofai | 51

신생 AI 칩 회사는 여전히 NVIDIA의 GPU에 비해 기회가 있습니까?

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

GPU는 ASIC보다 131배, Graphcore, Habana, Cerebras, SambaNova 및 Cambricon의 칩을 합친 것보다 90배, Google의 TPU보다 78배, FPGA보다 23배 더 많이 사용됩니다.

#stateofai | 52

NVIDIA의 칩은 AI 연구 논문에서 가장 인기가 있습니다…

23배

78-131x

로그 스케일

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

2017년에 출시된 V100은 NVIDIA의 주력 칩이며 2020년에 출시된 A100이 그 뒤를 잇습니다. H100은 2022년에 뜨거운 기대를 모으고 있습니다. 주요 AI 칩 도전자 중 Graphcore가 가장 자주 인용됩니다.

#stateofai | 53

NVIDIA의 경우 V100이 가장 인기 있고 Graphcore가 가장 많이 사용됩니다.

특정 NVIDIA 카드 사용을 인용한 AI 논문 수

특정 AI 칩 스타트업의 사용을 인용한 AI 논문 수

소개 | 연구 | 산업 | 정치 | 안전 | 예측

400억 달러에 발표된 NVIDIA의 Arm 인수 시도는 상당한 지정학적 및 반경쟁적 반발로 인해 무산되었습니다. 그럼에도 불구하고 NVIDIA의 기업 가치는 해당 기간 동안 $295B 증가했습니다(!!)

stateof.ai 2022

#stateofai | 54

NVIDIA는 Arm 인수에 실패하고 거래 기간 동안 매출 2.5배 및 평가 2배 증가

소개 | 연구 | 산업 | 정치 | 안전 | 예측

NVIDIA는 AI 연구에 막대한 투자를 했으며 수년 동안 이미징 분야에서 최고의 작품을 제작했습니다. 예를 들어, 뷰 합성에 대한 최신 작업 은 가장 권위 있는 컴퓨터 그래픽 컨퍼런스 중 하나인 SIGGRAPH 에서 최고의 논문상을 수상했습니다 . 그러나 NVIDIA는 이제 한 단계 더 나아가 강화 학습 작업을 적용하여 차세대 AI 칩인 H100 GPU를 설계했습니다.

stateof.ai 2022

#stateofai | 55

NVIDIA는 하드웨어와 소프트웨어를 연결하는 AI 연구에 투자하여 보상을 얻습니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

하이퍼스케일러와 도전자 AI 컴퓨팅 제공업체는 주요 AI 컴퓨팅 파트너십, 특히 OpenAI에 대한 Microsoft의 10억 달러 투자를 집계하고 있습니다. 우리는 더 많은 것을 기대합니다.

#stateofai | 56

David, Goliath와 협력: 대규모 모델 교육에는 컴퓨팅 파트너십이 필요합니다.

아직 없음?

아직 없음?

소개 | 연구 | 산업 | 정치 | 안전 | 예측

"우리는 가장 큰 컴퓨터를 소유한 사람에게 가장 많은 혜택이 돌아갈 것이라고 생각합니다." – Greg Brockman, OpenAI CTO

#stateofai | 57

컴퓨팅에 대한 골드 러시에서 기업은 국가 슈퍼 컴퓨터보다 더 크게 구축합니다.

현재 NVIDIA A100 GPU 수

향후 NVIDIA H100 GPU 수

*추정된

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

stateof.ai 2022

1962년 미국 정부는 세계의 모든 집적 회로를 구입하여 이 기술과 최종 시장의 발전을 가속화했습니다. 일부 정부는 AI 기업의 "우선 구매자"로서 그 기회를 다시 제공하고 있습니다. 고유한 고품질 데이터에 대한 액세스를 통해 기업은 소비자 또는 기업 AI 소프트웨어 구축에서 우위를 점할 수 있습니다.

AI에서 정부 계약의 복합 효과

#stateofai | 58

• 연구원들은 중국 안면인식 AI 기업을 조사한 결과 이들이 체결한 정부 계약 건수와 이들이 생산한 일반 AI 소프트웨어 누적량 사이에 인과관계를 보였다. 당연히 컴퓨터 비전 분야의 주도권은 대부분 중국 기업에 양도되었습니다.
• 이 원칙은 일상적인 AI 제품으로 이전할 수 있는 고유한 데이터를 통해 전문성을 구축하는 국방이나 의료와 같이 규제가 심한 다른 분야에도 적용되어야 합니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

Meta가 2022년 8월에 무료로 공개한 BlenderBot3 챗봇은 챗봇이 잘못된 정보를 뱉어내는 바람에 엄청난 언론에 직면했습니다. 한편, 2021년 5월 챗봇 LaMDA에 대한 논문을 발표한 Google은 시스템을 사내에 유지하기로 결정했습니다. 그러나 BlenderBot이 출시되고 몇 주 후 Google은 일반 사용자가 LaMDA를 비롯한 Google의 최신 AI 에이전트와 상호 작용할 수 있는 "AI 테스트 키친"이라는 더 큰 계획을 발표했습니다.

​

• Google 및 Facebook의 10억 명 이상의 사용자에게 AI 시스템을 대규모로 출시하면 우연의 일치 또는 적대적인 쿼리를 통해 이러한 시스템의 모든 윤리 또는 안전 문제가 표면화될 수 있습니다. 그러나 이러한 시스템을 널리 사용 가능하게 해야만 이러한 문제를 해결하고 사용자 행동을 이해하고 유용하고 수익성 있는 시스템을 만들 수 있습니다.
• 이 딜레마에서 벗어나 LaMDA를 소개한 논문의 저자 중 4명은 "혁신적인 개방형 대화 응용 프로그램을 만드는 AI 회사"라고 스스로를 설명하는 Character.AI를 설립/가입했습니다. 이 공간을 지켜보세요…

#stateofai | 59

빅 테크는 그들의 언어 모델 소비자 제품을 어떻게 다루어야 할까요?

소개 | 연구 | 산업 | 정치 | 안전 | 예측

한때 불가촉천민으로 여겨졌던 Tier 1 AI 연구소의 인재들은 느슨해지며 기업가가 되고 있습니다. 졸업생들은 AGI, AI 안전, 생명공학, 핀테크, 에너지, 개발 도구 및 로봇 공학 분야에서 일하고 있습니다. Meta와 같은 다른 기업은 거의 10년 동안 제품 로드맵 압력에서 벗어나게 놔둔 후 중앙 집중식 AI 연구 그룹을 접고 있습니다. Meta는 "[AI] 조직의 중앙 집중식 특성이 일부 영역에서 우리에게 영향력을 제공했지만 우리가 희망하는 만큼 깊이 통합하는 것도 어렵게 만들었습니다."라고 결론지었습니다.

​

​

stateof.ai 2022

#stateofai | 60

DeepMind 및 OpenAI 졸업생은 새로운 신생 기업을 형성하고 Meta는 핵심 AI 그룹을 해산합니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

트랜스포머 기반 신경망을 도입한 획기적인 논문의 저자 한 명을 제외하고 모두 Google을 떠나 AGI, 대화형 에이전트, AI 우선 생명 공학 및 블록체인 분야에서 자체 스타트업을 구축했습니다.

#stateofai | 61

AI 스타트업을 구축하려면 관심만 있으면 됩니다.

5억 8000만 달러

2억 2500만 달러

1억 2500만 달러

6,500만 달러

2022년 모금액

소개 | 연구 | 산업 | 정치 | 안전 | 예측

OpenAI의 Codex는 연구(2021년 7월)에서 공개 상용화(2022년 6월)로 빠르게 진화했으며 (Microsoft) GitHub Copilot은 현재 $10/월 또는 $100/년에 공개적으로 제공됩니다. Amazon은 2022년 6월 미리 보기에서 CodeWhisperer를 발표 했습니다 . Google은 내부 ML 기반 코드 완성 도구를 사용하고 있다고 밝혔습니다(따라서 브라우저 IDE에서 몇 년 안에?). 한편, tabnine은 100만 명 이상의 사용자와 함께 1,500만 달러를 모금하여 정확한 여러 줄 코드 완성을 약속했습니다.

stateof.ai 2022

#stateofai | 62

AI 코딩 도우미는 개발자 생산성 향상의 초기 징후와 함께 빠르게 배포됩니다.

Google의 코딩 도우미에 대한 측정항목입니다. 사용자는 10,000명 이상의 Google 내부 개발자입니다(여러 줄 실험의 경우 5,000명 이상).

소개 | 연구 | 산업 | 정치 | 안전 | 예측

그리고 초기 발견 단계에 더 많은 자산이 있습니다. 2023년부터 초기 임상 시험 결과가 나올 것으로 예상합니다.

stateof.ai 2022

#stateofai | 63

AI 우선 신약 개발 회사의 임상 시험 자산은 2020년 0에서 18개로 증가

회사별 파이프라인 단계당 자산 수

전체 파이프라인 단계당 자산 비율

2022년 8월 26일에 업데이트됨

소개 | 연구 | 산업 | 정치 | 안전 | 예측

2011년에서 2020년 사이에 6,151건의 성공적인 상전이에 대한 연구에 따르면 약물이 규제 승인을 받는 데 평균 10.5년이 걸리는 것으로 나타났습니다. 여기에는 1단계에서 2.3년, 2단계에서 3.6년, 3단계에서 3.3년, 규제 단계에서 1.3년이 포함됩니다. 게다가 한 명의 환자를 임상 시험에 참여시키는 데 평균 650만 달러가 듭니다. 환자의 30%가 규정 미준수로 인해 결국 중도 탈락하므로 전체 모집 비용은 환자당 $19.5k에 가깝습니다. AI는 더 나은 약을 더 빨리 약속하지만 오늘날 임상 시험의 물리적 병목 현상을 해결해야 합니다.

stateof.ai 2022

#stateofai | 64

AI와 컴퓨팅이 임상 시험 요충지의 물리적 현실을 왜곡할 수 있습니까?

등록된 연구 수(ClinicalTrials.gov EOY)

약물 성공의 단계적 확률

소개 | 연구 | 산업 | 정치 | 안전 | 예측

• 사전 훈련된 대규모 단백질 언어 모델은 변이체의 바이러스 스파이크 단백질 서열에 대해 훈련되었습니다.
• 새로운 스파이크 단백질 변이체는 임베딩과 각 위치에 대한 20개 천연 아미노산의 확률 분포를 출력하는 변환기에 공급되어 이것이 면역 탈출 및 적합성에 어떤 영향을 미칠지 결정합니다.
• 빨간색 점선은 EWS가 이 변종을 고위험군으로 예측한 날짜를 나타내고 녹색 점선은 WHO가 변종을 지정한 날짜를 나타냅니다. 거의 모든 경우에 EWS는 WHO로 지정되기 몇 달 전에 경고했습니다.

stateof.ai 2022

mRNA 백신 리더인 BioNTech와 엔터프라이즈 AI 기업인 InstaDeep은 고위험 변이체를 예측하기 위한 조기 경보 시스템(EWS) 을 공동으로 구축하고 검증했습니다. EWS는 공식적으로 지정을 받기 1.5개월 전에 평균적으로 16개의 WHO 지정 변종을 모두 식별할 수 있습니다.

#stateofai | 65

언어 모델을 사용하여 실제 covid 변종의 진화 예측

소개 | 연구 | 산업 | 정치 | 안전 | 예측

• 방사선 전문의가 부족하고 영상의 양이 증가함에 따라 어떤 X선에 질병이 있고 어떤 X선에 질병이 없는지 평가하는 진단 작업이 어렵습니다.
• Oxipit의 ChestLink는 정상적인 스캔을 식별하는 컴퓨터 비전 시스템입니다.
• 이 시스템은 백만 개 이상의 다양한 이미지에 대해 학습됩니다. 핀란드 1차 환자의 10,000건의 흉부 엑스레이에 대한 후향적 연구에서의료 환자를 대상으로 한 인공지능은 흉부 엑스레이에서 임상적으로 유의한 병리를 식별하는 민감도 99.8%, 특이도 36.4%를 달성했다.

​

stateof.ai 2022

리투아니아의 스타트업 Oxipit은 컴퓨터 비전 기반 진단에 대해 업계 최초의 자율 인증을 받았습니다. 이 시스템은 이상이 없는 흉부 X선을 자율적으로 보고하므로 방사선 전문의가 검사할 필요가 없습니다.

#stateofai | 66

자율 AI 우선 의료 영상 진단에 대한 최초의 규제 승인

• 따라서 AI 는 최소한의 위음성으로 1차 의료 인구 데이터 세트에서 정상 흉부 X-레이의 36.4%를 안정적으로 제거할 수 있어 환자 안전에 대한 타협이 없고 잠재적으로 상당한 작업량 감소로 이어집니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

대학은 AI 스핀아웃의 온상입니다: 영국 사례 연구

stateof.ai 2022

대학은 Databricks, Snorkel, SambaNova, Exscientia 등을 포함한 AI 회사의 중요한 원천입니다. 영국에서는 영국 AI 기업의 4.3%가 대학 스핀아웃 기업으로, 전체 영국 기업의 0.03%와 비교됩니다. AI는 실제로 스핀아웃 형성을 위해 가장 대표되는 분야 중 하나입니다. 그러나 이것은 엄청난 대가를 치르게 됩니다. 기술 이전 사무소(TTO)는 종종 설립자에게 불리한 분할 거래 조건(예: 회사의 높은 지분 또는 판매 로열티)을 협상합니다.

#stateofai | 67

소개 | 연구 | 산업 | 정치 | 안전 | 예측

Spinout.fyi: 설립자와 정책 입안자가 스핀아웃 문제를 해결하는 데 도움이 되는 개방형 데이터베이스

stateof.ai 2022

Spinout.fyi는 전 세계 70개 이상의 대학을 대표하는 설립자의 스핀아웃 거래 조건 데이터베이스를 크라우드소싱했습니다. 이 데이터베이스는 다양한 제품 범주(소프트웨어, 하드웨어, 의료, 재료 등)에 걸쳐 AI 및 비 AI 기업에 걸쳐 있으며, 영국의 상황은 특히 설립자들을 낙담시키기는 하지만 고립되어 있지 않다는 것을 보여줍니다. 북유럽과 스위스(특히 ETH 취리히)와 같이 설립자 친화적인 지역은 소수에 불과합니다. 현재 상황의 주요 원인은 설립자와 TTO 간의 정보 비대칭이며, spinout.fyi 데이터베이스는 설립자가 이 과정에서 한 발 앞서 나갈 수 있도록 하는 것을 목표로 합니다.

#stateofai | 68

소개 | 연구 | 산업 | 정치 | 안전 | 예측

버클리와 스탠포드의 5년 프로그램이 끝나면 다음 단계는 무엇입니까?

stateof.ai 2022

2011년 UC Berkeley는 연구 기관 및 기업의 지원을 받아 교수와 학생 간의 5년 공동 연구 의제로 "Algorithms, Machines, and People"(AMPLab)을 시작했습니다. 이 프로그램은 중요한 빅 데이터 기술 Spark(Databricks로 분사)와 Mesos( Mesosphere로 분사)를 개발한 것으로 유명합니다 . 이 큰 성공을 거둔 프로그램은 2017년 버클리의 "실시간 인텔리전스 보안 설명 가능 시스템"(RISELab)과 스탠포드의 "데이터 분석 for What's Next"(DAWN)로 이어지며 AI 기술에 중점을 두었습니다. RISELab은 Ray ML 워크로드 관리자(Anyscale로 분사)를 만들고 DAWN은 Snorkel 활성 라벨링 플랫폼을 만들고 분사했습니다. 다른 대학과 국가가 5년 모델의 성공을 통해 스핀아웃 가능성이 높은 야심찬 오픈 소스 연구에 자금을 지원할까요?

#stateofai | 69

2011-16

2017-22

소개 | 연구 | 산업 | 정치 | 안전 | 예측

AI를 활용한 스타트업 투자는 시장 확대와 함께 둔화

stateof.ai 2022

AI를 사용하는 민간 기업은 2022년*에 작년 대비 36% 더 적은 자금을 조달할 것으로 예상되지만 여전히 2020년 수준을 초과하는 궤도에 있습니다. 이는 전 세계 모든 스타트업 및 스케일업에 대한 투자와 비슷합니다.

1000억 달러

500억 달러

1,500억 달러

0

▊ $2억 5천만 이상 ▊ 1억~2억 5천만 달러 ▊ $40-100M(시리즈 C) ▊ $15-40M(시리즈 B) �▊ $4-1500만(시리즈 A) ▊ $1-4M (시드) ▊ $0-1백만 (사전 시드)

$1114억

709억 달러*

2021년

2020년

2019년

2018년

2017년

2016년

2015년

2014년

2013년

2012년

2011년

2010년

2022년 YTD

AI 를 활용하는 스타트업 및 스케일업의 라운드 규모에 따른 전세계 투자금액 » 온라인 보기

6000억 달러

4000억 달러

8000억 달러

0

▊ $2억 5천만 이상 ▊ 1억~2억 5천만 달러 ▊ $40-100M(시리즈 C) ▊ $15-40M(시리즈 B) �▊ $4-1500만(시리즈 A) ▊ $1-4M (시드) ▊ $0-1M(사전 시드)

2021년

2020년

2019년

2018년

2017년

2016년

2015년

2014년

2013년

2012년

2011년

2010년

2022년 YTD

라운드 규모별 모든 스타트업 및 스케일업에 대한 �전 세계 투자금액 » 온라인 보기

$726.5B

$399.7B

$553.2B*

475억 달러

2000억 달러

$351.7B

693억 달러

-36%

-24%

소개 | 연구 | 산업 | 정치 | 안전 | 예측

#stateofai | 70

이 슬라이드에서 AI를 사용하는 스타트업 및 스케일업에는 AI 우선 및 AI 지원 제품 및 솔루션을 사용하는 스타트업 및 스케일업이 모두 포함됩니다.

(*) 2022년 말까지 모금될 것으로 예상되는 금액

메가라운드 규모에서 가장 두드러집니다.

stateof.ai 2022

VC 투자 감소는 100M 달러이상의 라운드에서 가장 두드러진 반면, 소규모 라운드는 2022년 말까지 전 세계적으로 309억 달러에 이를 것으로 예상되며, 이는 2021년 수준과 거의 일치합니다.

400억 달러

200억 달러

800억 달러

0

▊ $2억 5천만 이상 ▊ $1억-2억5천만

2021년

2020년

2019년

2018년

2017년

2016년

2015년

2014년

2013년

2012년

2011년

2010년

2022년 YTD

AI를 활용한 스타트업 및 스케일업에 대한 전 세계 투자 라운드 규모 » 온라인 보기

300억 달러

200억 달러

400억 달러

0

▊ $40-100M(시리즈 C) ▊ $15-40M(시리즈 B) ▊ $4-1500만(시리즈 A)

▊ $1-4M (시드) ▊ $0-1백만 (사전 시드)

2021년

2020년

2019년

2018년

2017년

2016년

2015년

2014년

2013년

2012년

2011년

2010년

2022년 YTD

AI를 활용한 스타트업 및 스케일업에 대한 전 세계 투자 라운드 규모 » 온라인 보기

100억 달러

775억 달러

349억 달러*

$252억

444억 달러

600억 달러

339억 달러

$249억

223억 달러

309억 달러*

-55%

-9%

소개 | 연구 | 산업 | 정치 | 안전 | 예측

#stateofai | 71

이 슬라이드에서 AI를 사용하는 스타트업 및 스케일업에는 AI 우선 및 AI 지원 제품 및 솔루션을 사용하는 스타트업 및 스케일업이 모두 포함됩니다.

(*) 2022년 말까지 모금될 것으로 예상되는 금액

*메가라운드 - $100M 이상 규모 투자 라운드

*스케일업 - 수익성 있는 비즈니스 모델을 보유하고 있으며 스타트업 보다 성장한 단계의 기업

2022 년 상장기업 밸류는 하락했지만 비상장은 계속 성장

stateof.ai 2022

상장기업의 기업가치(Enterprise value: EV)의 합산 가치가 2020년 수준으로 떨어졌습니다. 한편 비상장기업 밸류에이션은 계속하여 성장하고 있으며, 밸류에이션의 합산 가치는 이미 2조 2천억 달러로 작년보다 16% 증가했습니다.

​

​

$4.0T

$2.0T

$8.0T

0

2021년

2020년

2019년

2018년

2017년

2016년

2015년

2014년

2013년

2012년

2011년

2010년

2022년 YTD

설립 연도별 AI를 사용하는 상장된 스타트업 및 스케일업의 합산 기업가치 » 온라인 보기

$1.5조

$1.0T

0

2021년

2020년

2019년

2018년

2017년

2016년

2015년

2014년

2013년

2012년

2011년

2010년

2022년 YTD

설립 연도별 AI를 사용하는 비상장 스타트업 및 스케일업의 합산 기업가치 » 온라인으로 보기

5000억 달러

$6.0T

$2.0T

$2.5조

$10.0T

$9.6T

$6.8T

$6.8T

$2.2조

$1.4T

$1.9조

▊ 2015-2022년 YTD ▊ 2010-2014년 ▊ 2005-2009 년 ▊ 2000-2004 �년 ▊ 1995-1999 ▊ 1990-1994

▊ 2015-2022년 YTD ▊ 2010-2014년 ▊ 2005-2009 년 ▊ 2000-2004 �년 ▊ 1995-1999 ▊ 1990-1994

-29%

+16%

소개 | 연구 | 산업 | 정치 | 안전 | 예측

#stateofai | 72

이 슬라이드에서 AI를 사용하는 스타트업 및 스케일업에는 AI 우선 및 AI 지원 제품 및 솔루션을 사용하는 스타트업 및 스케일업이 모두 포함됩니다.

(*) 2022년 말까지 모금될 것으로 예상되는 금액

AI 유니콘 수는 미국이 앞서고 중국과 영국이 그 뒤를 잇습니다.

stateof.ai 2021

소개 | 연구 | 산업 | 정치 | 안전 | 예측

292

69

24

14

10

7

6

6

$4.6T

$1.4T

2070억 달러

530억 달러

560억 달러

120억 달러

390억 달러

140억 달러

AI 유니콘이 가장 많은 국가 » 온라인 보기

미국은 292개의 AI 유니콘을 만들었으며 합산 기업가치는 $4.6T입니다.

이 슬라이드에서 AI를 사용하는 스타트업 및 스케일업에는 AI 우선 및 AI 지원 제품 및 솔루션을 사용하는 스타트업 및 스케일업이 모두 포함됩니다.

#stateofai | 73

미국 내 투자는 전세계 VC 의 절반 이상을 차지합니다.

stateof.ai 2022

2019년

2020년

2021년

2016년

2017년

2018년

2015년

2014년

2012년

2013년

2011년

2010년

▊ 중국

▊ 영국

▊ 나머지 세계

600억 달러

400억 달러

1400억 달러

200억 달러

0

AI를 사용하는 미국 기반 스타트업 및 스케일업에 대한 투자가 크게 감소했지만 여전히 전 세계 AI 투자의 절반 이상을 차지합니다.

2022년 YTD

800억 달러

1000억 달러

1200억 달러

▊ EU-27, 스위스 및 노르웨이

▊ 미국

$251억

636억 달러

2022년 YTD 53% 대 2021년 57%

89억 달러

75억 달러

38억 달러

43억 달러

75억 달러

131억 달러

AI를 사용하는 기업에 투자한 금액

소개 | 연구 | 산업 | 정치 | 안전 | 예측

#stateofai | 74

이 슬라이드에서 AI를 사용하는 스타트업 및 스케일업에는 AI 우선 및 AI 지원 제품 및 솔루션을 사용하는 스타트업 및 스케일업이 모두 포함됩니다.

엔터프라이즈 소프트웨어는 전 세계적으로 가장 많이 투자된 카테고리이며 로봇 공학은 AI에 대한 VC 투자의 가장 큰 부분을 차지합니다.

stateof.ai 2022

소개 | 연구 | 산업 | 정치 | 안전 | 예측

#stateofai | 75

이 슬라이드에서 AI를 사용하는 스타트업 및 스케일업에는 AI 우선 및 AI 지원 제품 및 솔루션을 사용하는 스타트업 및 스케일업이 모두 포함됩니다.

산업��

스타트업 및 스케일업 �에 투자한 금액 �, 2010-2022 YTD

스타트업 및 스케일업 �에 투자한 금액 �, 2021-2022 YTD

2021-2022 YTD 전체 VC의

AI를 사용한 스타트업 및 스케일업에 대한 투자, 2021-2022 YTD; �라운드 수

65억 달러

$60억

52억 달러

49억 달러

34억 달러

$25억

$24억

$22억

$21억

9억 2700만 달러

2억 9200만 달러

8,500만 달러

617억 달러

$489억

441억 달러

$430억

379억 달러

274억 달러

$179억

178억 달러

147억 달러

131억 달러

106억 달러

77억 달러

$133.7B

1095억 달러

6억 2900만 달러

15억 달러

$24억

5억 6800만 달러

4억 2100만 달러

2,800만 달러

3억 4900만 달러

4억 800만 달러

3억 4800만 달러

3300만 달러

6900만 달러

500만 달러

$219억

$184억

$60억

135억 달러

$122억

$40억

27억 달러

68억 달러

$25억

36억 달러

34억 달러

6억 1700만 달러

447억 달러

228억 달러

$251억

삼%

8%

14%

7%

4%

1%

2%

9%

삼%

1%

2%

4%

14%

71%

10%

24%

25%

13%

13%

41%

9%

6%

24%

2%

30%

21%

13%

55

31

103

88

56

22

48

16

56

14

13

4

689

367

220

406

306

182

44

73

143

231

27

148

1288

332

660

878억 달러

노름

가정 생활

채용

합법적인

스포츠

음악

패션

호스팅

웰빙 뷰티

이벤트 기술

어린이

데이트

건강

로봇 공학

음식

마케팅

보안

미디어

통신

반도체

교육

에너지

여행하다

부동산

엔터프라이즈 소프트웨어

교통

핀테크

1%

1%

삼%

2%

1%

1%

1%

<1%

1%

1%

<1%

<1%

삼%

8%

1%

4%

5%

2%

2%

2%

삼%

2%

1%

1%

8%

2%

삼%

AI 스타트업 비율

stateof.ai 2022

인수활동은 2021년 수준을 초과하는 궤도에 있습니다.

300

200

400

100

0

500

IPO 및 SPAC IPO 수는 급격히 감소했지만 인수 건수는 2021년 수준을 초과하는 궤도에 있습니다.

2021년

2020년

2019년

2018년

2017년

2016년

2015년

2014년

2013년

2012년

2011년

2010년

2022년 YTD

▊ 인수 ▊ 바이아웃 ▊ IPO ▊ SPAC IPO

AI를 사용하는 기업의 엑시트 수 전세계 » 온라인 보기

기업 중 2022년 엑시트 수

AI 사용; 세계적인 » 온라인으로 보기

부동산

131억 달러 인수

2022년 5월

계획 �및 예측 을 위한 SaaS

107억 달러 바이아웃

2022년 3월

고객 경험 �도구

102억 달러 바이아웃

2022년 6월

세금 준수 �소프트웨어

84억 달러 바이아웃

2022년 8월

소비자 로봇 �회사

17억 달러 인수

2022년 8월

자율적이고 지속적인 워크로드 최적화

6억 5천만 달러 인수

2022년 3월

모바일 장치 및 애플리케이션 보안 솔루션

5억 2500만 달러 바이아웃

2022년 3월

클라우드 네이티브 SOAR �플랫폼

5억 달러 인수

2022년 1월

자율주행 플랫폼 개발

$469 인수

2022년 8월

436

285

253

211

332

259

소개 | 연구 | 산업 | 정치 | 안전 | 예측

#stateofai | 76

이 슬라이드에서 AI를 사용하는 스타트업 및 스케일업에는 AI 우선 및 AI 지원 제품 및 솔루션을 사용하는 스타트업 및 스케일업이 모두 포함됩니다.

stateof.ai 2022

2019년

2020년

2021년

2016년

2017년

2018년

2015년

2014년

2012년

2013년

2011년

2010년

▊ 중국

▊ 영국

▊ 나머지 세계

150

100

500

50

0

2022년 YTD

200

250

300

▊ EU-27, 스위스 및 노르웨이

▊ 미국

350

400

450

108

222

94

97

25

1

33

9

AI 활용 기업 중 엑시트 수

EU-27, 스위스 및 노르웨이의 엑시트 수는 이미 2021년 수준을 초과했습니다.

현재까지 108개의 엑시트가 있는 미국은 아직 2021년 수준의 절반에 도달하지 못한 반면 EU, 스위스 및 노르웨이를 합친 것은 이미 2021년 수치를 초과했습니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

#stateofai | 77

이 슬라이드에서 AI를 사용하는 스타트업 및 스케일업에는 AI 우선 및 AI 지원 제품 및 솔루션을 사용하는 스타트업 및 스케일업이 모두 포함됩니다.

AI를 사용하는 SaaS 스타트업 및 스케일업에 대한 투자는 연말까지 415억 달러에 이를 것으로 예상됩니다.

stateof.ai 2021

2019년

2020년

2021년

2016년

2017년

2018년

2015년

2014년

2012년

2013년

2011년

2010년

$200억

$800억

0

소개 | 연구 | 산업 | 정치 | 안전 | 예측

2022년 YTD

$400억

108

222

AI SaaS 스타트업 및 스케일업에 대한 VC 투자 » 온라인으로 보기

▊ $2억 5천만 이상 ��▊ $1억-2억5천만� �▊ $40-100M(시리즈 C)� �▊ $15-40M(시리즈 B) ��▊ $4-1500만(시리즈 A) ��▊ $1-4M (시드) ��▊ $0-1M(사전 시드)

618억 달러

377억 달러

415억 달러*

-33%

311억 달러

$600억

#stateofai | 78

이 슬라이드에서 AI를 사용하는 스타트업 및 스케일업에는 AI 우선 및 AI 지원 제품 및 솔루션을 사용하는 스타트업 및 스케일업이 모두 포함됩니다.

(*) 2022년 말까지 모금될 것으로 예상되는 금액

AI를 사용하는 상장 및 비상장 SaaS 스타트업 및 스케일업의 합산 기업가치는 작년보다 26% 감소했지만 2020년보다는 여전히 높습니다.

stateof.ai 2021

2019년

2020년

2021년

2016년

2017년

2018년

2015년

2014년

2012년

2013년

2011년

2010년

$1.0T

$4.0T

0

소개 | 연구 | 산업 | 정치 | 안전 | 예측

2022년 YTD

$2.0T

AI SaaS 스타트업 및 전 세계 출시 연도별 확장 EV 결합 » 온라인 보기

$3.0T

$3.1조

$2.1조

$2.3T

-26%

▊ 2015-2022 YTD ��▊ 2010-2014년 ��▊ 2005-2009 ��년 ▊ 2000-2004 ��년 ▊ 1995-1999 ��▊ 1990-1994

#stateofai | 79

이 슬라이드에서 AI를 사용하는 스타트업 및 스케일업에는 AI 우선 및 AI 지원 제품 및 솔루션을 사용하는 스타트업 및 스케일업이 모두 포함됩니다.

stateof.ai 2021

AI를 사용한 사설(Private) SaaS 스타트업 및 스케일업의 결합 기업가치(EV)는 계속 성장하고 있으며 작년보다 12% 증가한 1조 1천억 달러에 도달했습니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

5000억 달러

$1.0T

0

$1.5조

2021년

2020년

2019년

2018년

2017년

2016년

2015년

2014년

2013년

2012년

2011년

2010년

2022년 YTD

출시 연도별 개인 소유 AI SaaS 스타트업 및 스케일업의 EV 합산 세계적인 » 온라인으로 보기

AI를 사용하는 최고 가치의 개인 소유 스타트업 및 스케일업 » 온라인으로 보기

금융 인프라 플랫폼 �미국

가치: $68.4B

글로벌 결제 솔루션 제공업체

영국

평가: 400억 달러

데이터, 분석 및 AI를 통합하는 Lakehouse 플랫폼

미국

평가: 380억 달러

자율주행 �기술

미국

평가: 300억 달러

온라인 교육 �플랫폼

중국

가치: $15.5B

​

Fintech-as-a-service �플랫폼

영국

평가: 150억 달러

프로세스 마이닝 �소프트웨어

독일

평가: 130억 달러

비즈니스 클라우드 �소프트웨어 제품

미국

평가: 130억 달러

AI 기반 글쓰기 �도우미

미국

평가: 130억 달러

▊ 2015-2022년 YTD ▊ 2010-2014년 ▊ 2005-2009 년 ▊ 2000-2004 �년 ▊ 1995-1999 ▊ 1990-1994

$1.0T

$895B

4억 8900만 달러

+12%

#stateofai | 80

이 슬라이드에서 AI를 사용하는 스타트업 및 스케일업에는 AI 우선 및 AI 지원 제품 및 솔루션을 사용하는 스타트업 및 스케일업이 모두 포함됩니다.

섹션 3: 정치

stateof.ai 2022

#stateofai | 81

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

대규모 AI 실험을 위한 컴퓨팅 요구 사항은 지난 10년 동안 300,000배 이상 증가했습니다. 같은 기간 동안 학계가 운영하는 이러한 프로젝트의 비율은 ~60%에서 거의 0%로 급감했습니다. AI 커뮤니티가 모델을 계속 확장하려는 경우 이러한 "가짐"과 "없음"의 간극은 다양한 아이디어, 인재 집중 등을 추구하는 AI 안전에 중대한 도전을 야기합니다.

확장된 컴퓨팅 틈으로 인해 대규모 모델 AI에서 산업계와 학계가 분리되고 있습니다.

#stateofai | 82

소개 | 연구 | 산업 | 정치 | 안전 | 예측

AI는 연구 대상이 먼저 구축되어야 하는 공학 과학이라는 인식이 커지고 있습니다. 서구 학계와 정부는 특히 미국의 National AI Research Resource 프로세스를 통해 이러한 현실을 깨닫기 시작했습니다. 그러나 컨설팅 및 마케팅에 수년을 투자하는 동안 중국 및 외부 학계의 다른 사람들은 대규모 AI 프로젝트를 수행하기 위한 창의적인 방법을 찾고 있습니다.

stateof.ai 2022

학계에 더 많은 컴퓨팅을 제공하는 것이 늦어 다른 사람들이 더 빨리 행동할 수 있습니다.

#stateofai | 83

국가 AI 이니셔티브법 제정

2021년 1월

스탠포드, 재단 모델 연구 센터 개설

연구 집단

정부/학계

NAIRRTF 최종 보고서

2022년 12월

10월

더미(엘류터)

NAIRRTF 회의 5

NAIRRTF 회의 6

NAIRRTF 회의 7

NAIRRTF 회의 8

NAIRRTF 회의 9

NAIRRTF 회의 4

국가 AI 연구 자원 태스크 포스 창설

GPT-J-6B(엘루터)

GPT-NeoX-20B(엘루터)

8월

Stable Diffusion(Stability. AI)

GLM-130B(칭화)

준

NAIRRTF 회의 2

NAIRRTF 회의 3

NAIRRTF 회의 1

블룸-178B(빅사이언스)

NAIRRTF 회의 10

소개 | 연구 | 산업 | 정치 | 안전 | 예측

• 올해 가장 주목할만한 대규모 학술 프로젝트는 중국에서 온 Tsinghua의 GLM-130B LLM입니다.
• Eleuther 는 20B 파라미터 GPT-NeoX를 출시했습니다. 그러나 핵심 구성원은 이후 OpenAI, Stability 및 Conjecture로 이동했습니다.
• Hugging Face는 BigScience 이니셔티브를 주도하여 178B 매개변수 BLOOM 다국어 LLM을 출시했습니다.
• 갑자기 Stability.AI이 생겨 4,000개의 A100 GPU를 확보하고 여러 오픈 소스 커뮤니티를 통합하고 Stable Diffusion을 만들었습니다.

분산된 연구 프로젝트는 회원, 자금 및 추진력을 얻고 있습니다. 그들은 이전에 대규모 중앙 집중식 기술 회사에서만 가능하다고 생각했던 야심 찬 대규모 모델 및 데이터 프로젝트에서 성공을 거두고 있습니다. 이 프로젝트는 Stable Diffusion의 공개 릴리스에서 가장 가시적으로 입증되었습니다.

stateof.ai 2022

지휘봉이 학계에서 분산된(Decentralized) 연구 집단으로 넘어가고 있습니다.

#stateofai | 84

Large-scale AI Results

소개 | 연구 | 산업 | 정치 | 안전 | 예측

그래프 데이터 소스: Sevilla et al. 기계 학습의 매개변수, 계산 및 데이터 추세

• Stability는 독립적이고 학술적인 오픈 소스 AI 커뮤니티를 위한 컴퓨팅 플랫폼으로 자리 잡았습니다. 5B 이미지-텍스트 쌍의 데이터 세트를 구축하고 오픈 소스 CLIP 모델을 교육하기 위해 LAION을 지원하고 효율적인 Diffusion 모델에 대한 CompVis 그룹의 연구를 지원합니다. 박사 과정 학생이 커뮤니티 프로젝트에 참여할 수 있도록 자금을 지원하고 제너레이티브 AI 아티스트, Eleuther의 핵심 구성원, David Ha와 같은 유명한 ML 연구원을 직접 고용했습니다.
• Stable Diffusion의 교육 비용은 <$600,000이며 가중치가 해제되는 동안 DreamStudio API를 통해 액세스도 판매됩니다.

이전에 대규모 프로젝트를 가능하게 하기 위해 임시 컴퓨팅 기부에 의존했던 곳에서 Stability는 오픈 소스 커뮤니티를 위한 구조화된 컴퓨팅 및 리소스 제공의 새로운 접근 방식을 개척하는 동시에 개발자를 위한 수익 공유를 통해 이러한 프로젝트를 상용화합니다.

stateof.ai 2022

Stability AI, 상용화 가능한 오픈소스 AI에 새로운 패러다임 시도

#stateofai | 85

소개 | 연구 | 산업 | 정치 | 안전 | 예측

• 2018년 설립된 에피루스는 인간의 안전을 위협하는 드론 떼를 물리칠 수 있는 차세대 전자기 펄스 무기를 개발했다. 스웨덴의 Saab는 또한 AI 기반 전자전 자동화를 위해 노력하고 있습니다. 그들은 현장 상황에 따라 자동화된 감시와 운영자 제어 감시의 균형을 맞추기 위해 COMINT 및 CE.SM 센서를 구축했습니다. 이 회사는 또한 국방 스타트업인 Helsing과 협력하고 있습니다.
• 2020년에 설립된 Modern Intelligence는 지리 공간 센서 데이터 융합, 상황 인식 및 해양 감시를 위한 플랫폼 독립적인 AI를 구축합니다.
• 한편, Anduril은 유기적 성장과 무기적 성장을 통해 자율 하드웨어 플랫폼을 확장했습니다. 예를 들어 Anduril은 Air Launched Effects에서 증가된 페이로드, 데이터 공유 및 다른 UAV와의 통합 기능을 갖춘 신제품을 출시하기 위해 Area-I를 인수했습니다. Anduril은 또한 Dive Technologies를 인수하여 수중 자율주행차로 확장했습니다.

국방산업 기업들은 전자전, 공간 센서 융합, 자율 하드웨어 플랫폼 구축에 AI를 적용하고 있다.

stateof.ai 2022

AI는 더 많은 국방 제품 범주에 계속해서 주입되고 있습니다.

#stateofai | 86

소개 | 연구 | 산업 | 정치 | 안전 | 예측

• Nato는 AI 전략을 발표하고 다양한 이중 용도 기술을 연구하는 회사에 투자하기 위한 10억 달러 기금을 발표했습니다. 22개국에 걸친 세계 최초의 '다중 벤처캐피털 펀드'로 묘사됐다.
• 유럽 방산 AI 기업 헬싱(Helsing)은 스포티파이(Spotify)의 다니엘 에크(Daniel Ek)가 이끄는 €102.5M 시리즈 A를 발표했습니다.
• 마이크로소프트, 아마존, 구글은 국방 분야에서 중요한 역할을 놓고 계속 경쟁하고 있다. 특히 마이크로소프트와 펜타곤의 100억 달러 계약은 아마존의 소송 이후 취소됐다. 계약의 새로운 수혜자는 2022년 말에 발표될 예정입니다.
• Anduril은 현재까지 가장 큰 DoD 계약을 체결했으며 현재 가치는 70억 달러로 알려져 있습니다.
• 군용 드론 개발사 Shield AI, 23억 달러 가치 평가

막대한 자금을 지원받는 신생 기업과 Amazon, Microsoft 및 Google은 국방 분야에서 AI 사용을 계속해서 정상화하고 있습니다.

stateof.ai 2022

국방 분야의 AI, 큰 자금 조달 모멘텀 확보

#stateofai | 87

소개 | 연구 | 산업 | 정치 | 안전 | 예측

• GIS Arta는 돈바스 분쟁에서 배운 교훈을 바탕으로 러시아 침공 이전에 개발한 자체 개발 애플리케이션입니다.
• 드론, 포병 또는 박격포 공격을 위한 유도 명령 및 제어 시스템입니다.
• 이 앱은 다양한 형태의 정보(드론, GPS, 전방 관측기 등)를 수집하고 이를 정찰 및 포병 파견 요청으로 변환합니다.
• GIS Arta는 Uber 택시 모델에서 영감을 받아 Yaroslav Sherstyvk가 이끄는 소프트웨어 개발자 자원 봉사 팀에 의해 개발되었다고 합니다.

​

지리정보(GIS) 소프트웨어의 사용으로 포병 주변의 의사결정 체인이 20분에서 1분 미만으로 단축되었다고 합니다.

stateof.ai 2022

우크라이나의 자체 지리 공간 정보 GIS Arta 소프트웨어는 미래의 징조입니다.

#stateofai | 88

소개 | 연구 | 산업 | 정치 | 안전 | 예측

1990년에서 2020년 사이에 중국은 그린필드 팹 프로젝트의 생산량을 거의 7배 가속화한 반면 미국은 2.5배 감소했습니다. 더욱이 중국과 대만 팹은 건설 시작부터 생산 준비까지 약 650일이 소요되지만 미국은 30년 전보다 팹을 42% 더 느리게 건설합니다.

stateof.ai 2022

Great Reshoring은 느릴 것입니다. 미국은 건설에 수년이 걸리는 새로운 팹 프로젝트에서 뒤쳐집니다.

#stateofai | 89

총 Greenfield fab 프로젝트 수

평균 빌드 시작부터 프로덕션까지의 일수

소개 | 연구 | 산업 | 정치 | 안전 | 예측

Greenfield: 국외자본이 투자할 때 용지를 직접 매입하고 공장이나 사업장을 새로 짓는 방식의 투자 <->Brownfield

stateof.ai 2022

#stateofai | 90

• 이 법안은 한국(예: 삼성), 대만(예: TSMC) 및 기타 제조업체에 딜레마를 제기합니다. 미국 보조금을 수락하면 이러한 "프렌드쇼어링"에 반대하는 베이징의 반발 없이 중국에서 선회해야 합니다.
• 법안 통과 이후 Micron은 미국 시장 점유율을 2%에서 10%로 늘리기 위해 메모리 칩 제조에 400억 달러를 투자한다고 발표했습니다. Qualcomm은 2027년까지 미국 반도체 생산을 50% 확장하고 GlobalFoundries와 협력하여 후자의 뉴욕 북부 시설을 확장하기 위해 42억 달러를 투자할 예정입니다.
• CSET은 미국이 첨단 레거시 로직 및 DRAM 제조 능력에 집중해야 한다고 추정합니다(오른쪽 차트).

2022년 미국 칩 및 과학법: 미국 반도체 R&D 및 생산에 2,500억 달러

초당적 법안은 2022년 8월에 서명되었습니다. 이 법안은 미국 기반 반도체 R&D, 인력 및 제조를 촉진하기 위한 530억 달러와 반도체 제조업체의 자본 비용에 대한 25%의 투자 세액 공제를 제공 합니다. 그 대가로 수혜자는 중국에서 10년 동안 기존 사업을 업그레이드하거나 확장해서는 안 되며, 자사주 매입이나 배당금을 발행하기 위해 자금을 사용할 수 없습니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

#stateofai | 91

• 올해 초 CSET은 2020년 중국 PLA 부서와 국유 국방산업체가 체결한 24개의 공개 계약을 분석했습니다. 이 구매 주문에 포함된 97개의 AI 칩 거의 모두가 NVIDIA, AMD, Intel 및 Microsemi에서 설계한 것으로 나타났습니다. 국내 AI칩 업체는 등장하지 않았다. 따라서 미국 칩은 중국의 방어 능력을 강화하고 있습니다.
• 중국 반도체 제조업체는 이미 ASML이 만든 고급 리소그래피 기계와 Lam Research 및 Applied Materials의 관련 장비에서 차단되었습니다.
• 국내 AI 칩 회사(예: Biren)가 그 공백을 채울 가능성은 낮습니다. 최첨단 노드 제조는 여전히 대만의 TSMC에서만 가능하고 국내 인재, 소프트웨어 및 기술이 NVIDIA에서 아직 몇 년 떨어져 있기 때문입니다. 중국은 여전히 발전을 가속화할 것입니다.

미국은 NVIDIA와 AMD 칩에서 중국을 차단합니다... 이것이 중국의 AI R&D에 박차를 가할까요(Spur)?

NVIDIA GPU는 모든 주요 중국 기술 회사(Baidu, Tencent et al.)와 대학(Tsinghua, Chinese Academy of Sciences et al.)에서 사용됩니다. 워싱턴은 NVIDIA와 AMD에 최신 AI 칩(예: NVIDIA A100 및 H100, AMD M100 및 M200)을 중국을 통해 미국 국가 안보를 위협하는 애플리케이션에서 사용을 억제하는 수단으로 중국으로 수출하는 것을 중단하도록 명령했습니다. 회사는 이전 선적 및 고객 목록에 대한 통계를 제공해야 합니다. 최신 AI 칩에 접근할 수 없는 상황에서 국내 공급업체가 빈 공간에 빠르게 발을 들여놓지 않으면 중국 산업의 많은 부분이 정체될 수 있습니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

#stateofai | 92

• AI 법은 EU 입법 과정을 거칩니다. 유럽 의회는 여름 동안 의회의 다양한 위원회에서 제안된 수정안과 의견을 다루기 위한 타협안을 마련하기 위해 노력했습니다. 타협안은 2022년 말까지 유럽 의회에서 투표 절차의 다양한 단계를 거칠 예정입니다.
• AI 법은 2023년 스웨덴이나 스페인의 EU 의장국에서 투표로 통과될 것으로 예상됩니다.
• 현재 현실적인 기대는 AI 법이 2023년 하반기에 발효될 것이라는 것입니다.

EU는 AI 규제 계획으로 발전

2021년 4월, EU는 AI 시스템의 시장 출시 및 EU에서의 사용을 규제하기 위한 제안서를 제출했습니다("AI 법"). 이 제안은 사용 중인 모든 AI 시스템이 충족해야 하는 특정 최소 요구 사항(예: 주로 정보 의무)을 도입합니다. 또한 사용자에게 더 높은 위험을 제기하는 AI 시스템과 관련하여 보다 정교한 요구 사항(예: 위험 평가, 품질 관리)을 도입합니다. AI 법은 특정 유형의 AI 기반 기술(예: 소셜 채점, 실시간 생체 인식 원격 식별(예외 대상), "잠재적 기술")의 사용을 금지합니다.

출처: Dessislava Fessenko

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

#stateofai | 93

EU는 AI 법의 빠른 운영화를 목표로 합니다.

EU는 표준화, 테스트 시설 구축, 범유럽 및 국가 규제 샌드박스 출시를 통해 AI 법에 따른 요구 사항을 신속하게 운영하는 것을 목표로 합니다.

• 유럽의 표준화 노력은 이미 진행 중입니다. EU 표준화 기구인 CEN과 CENELEC는 이미 표준화에 대한 준비 작업을 시작했으며 2024년 10월 31일까지 관련 표준 세트를 개발하라는 요청을 받을 것으로 예상됩니다.
• EU는 모든 규모의 기업에서 AI 법 준수를 지원하고 촉진하기 위한 적합한 모드로 통제되거나 실제 환경에서 고위험 AI 시스템 테스트를 선호하는 것으로 보입니다.
• 범유럽 및 국가 규제 샌드박스가 EU에서 등장하기 시작했습니다. 스페인은 2022년 6월에 첫 번째 계획을 시작했습니다. 다른 EU 회원국(예: 체코)도 비슷한 계획을 발표했습니다. 샌드박스는 EU 규제 기관에서 기술, 정책 및 표준화 솔루션에 적합한 테스트베드로 간주됩니다. 또한 중소기업이 특히 AI법을 준수하도록 지원하기 위한 매개체로도 사용됩니다.

출처: Dessislava Fessenko

소개 | 연구 | 산업 | 정치 | 안전 | 예측

섹션 4: 안전

stateof.ai 2022

#stateofai | 94

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

#stateofai | 95

AI가 빠르게 발전하는 동안 고성능 미래 시스템의 안전성은 여전히 불분명합니다.

많은 우려가 여전히 투기적인 것처럼 보이지만 초기 AI 개척자들은 고도로 유능하고 경제적으로 통합된 미래의 AI 시스템이 인간의 감독과 통제에 직접적으로 반대되는 행동의 출현을 포함하여 재앙적으로 실패하고 인류에 위험을 초래할 수 있다고 생각했습니다.

"... 기계 사고 방식이 시작되면 우리의 약한 힘을 능가하는 데 오래 걸리지 않을 것 같습니다. …

따라서 어떤 단계에서는 기계가 제어할 것으로 예상해야 합니다.”

"따라서 최초의 초지능 기계는 기계가 제어할 수 있는 방법을 알려줄 만큼 충분히 유순하다면 인간이 만들 필요가 있는 마지막 발명품입니다."

"문제는 그처럼 강력한 기계를 사용하여 목표를 우리보다 앞세우려면 부주의한 설계의 사소한 사고만 필요하다는 것입니다."

앨런 튜링

1951년

아이제이굿

1965년

마빈 민스키

1984년

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

#stateofai | 96

영국은 이러한 불확실하지만 치명적인 위험을 인정하는 데 앞장서고 있습니다.

2021년 말에 발표된 AI에 대한 영국의 국가 전략은 특히 AI 안전과 잘못 정렬된 AGI로 인한 장기적 위험에 대해 여러 번 언급했습니다.

• "인공 일반 지능(AGI)의 출현은 공상 과학 개념처럼 보일 수 있지만 AI 안전 및 비인간 정렬 시스템에 대한 우려는 결코 이 분야의 주변부에만 국한된 것은 아닙니다."
• "우리는 기술의 진화를 주시하고 AGI와 '보다 일반적인 AI'의 가능성을 진지하게 받아들이고 기술을 평화롭고 인간과 일치하는 방향으로 적극적으로 이끄는 것이 중요하다는 확고한 입장을 취합니다."
• "정부는 비동맹 AGI의 장기적인 위험과 그것이 영국과 세계에 의미할 예측할 수 없는 변화를 심각하게 받아들입니다."
• “[우리는] AI 안전에 대한 정부의 인식을 높이기 위해 중장기 수평선 스캐닝 기능을 구축해야 합니다.”
• " [우리는] 국가 안보, 국방 및 주요 연구원들과 협력하여 치명적인 위험을 예측하고 예방하는 방법을 이해해야 합니다."

소개 | 연구 | 산업 | 정치 | 안전 | 예측

• ML 커뮤니티의 설문 조사에 따르면 69%는 현재보다 AI 안전이 더 우선시되어야 한다고 생각합니다.
• NLP 커뮤니티에 대한 별도의 설문 조사에서는 대다수가 AGI가 우리가 진전을 이루고 있는 중요한 관심사라고 믿고 있는 것으로 나타났습니다. 70% 이상은 AI가 금세기 산업혁명 수준의 사회 변화를 가져올 것이라고 믿고 있으며, 거의 40%는 AI가 그 시기에 핵전쟁과 같은 재앙을 일으킬 수 있다고 믿습니다.

오랫동안 주류 AI 연구 및 학계에서 공상 과학 소설로 일축해 왔던 연구자들은 이제 가까운 미래에 인간 수준의 AI와 초인간적인 AGI의 위험에 대한 더 큰 우려로 합의를 전환하고 있습니다.

stateof.ai 2022

AI 연구원들은 AI 안전이 심각한 문제라고 점점 더 믿고 있습니다.

#stateofai | 97

참고: 녹색 숫자는 전체 찬성자 중 해당 입장에 동의한 응답자의 비율을 나타냅니다. 검은색 숫자는 평균 예측 일치율을 나타냅니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

• 새로운 비영리 연구소에는 AI 안전 센터와 정렬 연구 기금이 포함됩니다. AI 거버넌스 센터는 옥스퍼드의 인류미래연구소(Future of Humanity Institute)에서 독립 조직으로 분사되었습니다.
• 750명이 넘는 사람들이 온라인 AGI Safety Fundamentals 과정에 참여하면서 교육 프로그램에 대한 관심이 크게 증가했습니다. AI 실존 안전 분야의 Vitalik Buterin PhD Fellowship을 포함하여 새로운 장학금이 만들어졌습니다.
• 특히 OpenAI의 수석 과학자인 Ilya Sutskever는 시간의 50%를 안전 연구에 사용하는 것으로 전환했습니다.

AI의 실존적 위험에 대한 인식이 높아짐에 따라 직원 수가 증가했으며 현재 약 300명의 연구원이 AI 안전에 대해 풀타임으로 일하고 있습니다. 그러나 이것은 그 자체로 그 어느 때보다 빠르게 성장하고 있는 더 넓은 분야에서 일하는 것보다 훨씬 적은 수의 연구원입니다(오른쪽 차트).

stateof.ai 2022

AI 안전은 더 많은 인재를 끌어들이고 있지만 여전히 매우 무시되고 있습니다.

#stateofai | 98

장소/분야별 연구원

30배

소개 | 연구 | 산업 | 정치 | 안전 | 예측

AI의 실존적 위험에 대한 인식이 높아짐에 따라 주로 동정심 많은 기술 억만장자 Dustin Moskovitz(Open Philanthropy)와 Sam Bankman-Fried(FTX 재단)의 기부와 투자를 통해 고성능 시스템의 안전에 대한 연구를 위한 자금이 빠르게 증가했습니다. 그러나 총 VC 및 자선 안전 자금은 DeepMind의 2018 opex와도 일치하지 않는 고급 기능 연구를 위한 리소스보다 뒤쳐져 있습니다.

stateof.ai 2022

자금 확보, 기능에 들어가는 것보다 훨씬 뒤쳐지지만

#stateofai | 99

자선적 AI 안전 기금은 AI 역량 기금에 비해 빈약함*

*Capabilities VC의 Adept, Hugging Face, Cohere, AI21, Stability and Inflection의 기금 모금과 Safety VC의 Anthropic 기금 모금이 포함됩니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

RLHF는 LLM을 미세 조정하고 인간의 가치에 맞추는 핵심 방법으로 부상했습니다. 여기에는 인간이 주어진 입력에 대해 샘플링된 언어 모델 출력의 순위를 지정하고, 이러한 순위를 사용하여 인간 선호도의 보상 모델을 학습한 다음, 이를 보상 신호로 사용하여 RL을 사용하여 언어 모델을 미세 조정하는 작업이 포함됩니다.

​

• OpenAI는 RLHF를 사용하여 GPT-3을 미세 조정하여 지침 준수 작업에 대한 유용성을 개선한 InstructGPT 모델을 생성함으로써 올해를 시작했습니다. 특히 미세 조정에는 20,000시간의 인간 피드백뿐만 아니라 GPT-3의 사전 훈련 컴퓨팅의 2% 미만만 필요했습니다. API 사용자는 평균적으로 원래 모델보다 이러한 모델을 선호합니다.
• RLHF는 또한 Anthropic과 Deepmind에서 언어 모델의 유용성, 무해성 및 정확성을 개선하는 데 사용되었습니다. OpenAI는 RLHF가 AGI 정렬에 대한 장기적인 접근 방식을 위한 핵심 빌딩 블록이 될 것이라고 말했습니다.

#stateofai | 100

언어 모델 정렬: RLHF(인간 피드백을 통한 강화 학습)

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

RLHF 선호 모델은 인간이 사용하는 언어의 완전한 표현에 비해 제한된 학습 신호를 제공합니다. NYU 연구원들은 언어로 작성된 인간 피드백을 사용하여 언어 모델을 직접 개선할 수 있음을 보여주었습니다.

​

• 특히, 그들의 방법은 매우 데이터 효율성이 높았으며, 인간 피드백의 100개 샘플만 GPT-3을 미세 조정할 수 있었고 요약 작업에 대한 능력을 인간 수준으로 향상시킬 수 있었습니다.
• 문장에서 불쾌감을 주는 단어를 제거하기 위한 종합 작업에서, 그들은 가장 큰 GPT-3 모델만이 피드백을 효과적으로 통합할 수 있다는 것을 관찰하여 대규모 창발 행동의 또 다른 예를 보여줍니다.

#stateofai | 101

언어 모델 정렬: 인간 피드백을 통한 강화 학습

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

언어 모델의 기능이 증가함에 따라 실패 모드를 철저하게 평가하기가 어려워져 신뢰와 안전한 공개 배포가 저해됩니다. DeepMind는 다른 언어 모델을 사용하여 수동 테스트를 보완할 수 있는 자동화된 "적색 팀 구성"을 도입하여 다른 언어 모델을 자동으로 "공격"하여 별도의 분류기에 의해 결정된 대로 안전하지 않은 동작을 나타내도록 합니다.

• Anthropic은 수동 레드 팀 구성을 사용하여 RLHF 모델을 평가했으며, 모델 크기가 증가할수록 공격이 더 어렵고 덜 해롭다는 것을 발견했습니다.

#stateofai | 102

언어 모델 정렬: Red Teaming

• 미래에 분류기는 권력 추구 행동이나 악성 코딩과 같은 투기적 위험을 감지할 수 있습니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

행렬 연산의 시퀀스로 볼 때 심층 신경망을 해석하는 것은 매우 어렵습니다. 기계론적 해석 가능성에 대한 연구는 대신 모델을 인간이 해석할 수 있는 컴퓨터 프로그램으로 리버스 엔지니어링하여 개별 뉴런과 그 집단 행동에 대한 이해를 얻으려고 합니다.

​

• Anthropic의 연구원은 텍스트에서 이전에 발생한 시퀀스를 복사하고 완성하는 방법을 배우는 "인덕션 헤드" 현상에 초점을 맞춘 작은 변환기 기반 언어 모델에 대한 중요한 분석을 발표했습니다. 그들은 이러한 머리가 상황 내 학습 기능도 나타나는 훈련의 "단계 이동" 중에 나타나는 것을 발견하고 이러한 머리 가 대형 변환기 모델에서도 상황 내 학습 기능의 대부분을 담당할 수 있다는 가설을 더 발전시켰습니다.
• 이 공간에서의 후속 작업은 개별 뉴런이 개별 또는 다중 의미 기능을 담당하는 방식과 이러한 유형의 해석 가능성을 제어하는 방법을 밝혀냈습니다.

#stateofai | 103

기계론적 해석 가능성 – 신경망을 리버스 엔지니어링할 수 있습니까?

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

RL 에이전트를 사용할 때의 한 가지 우려는 올바른 목표를 학습하는 데 실패하면서 강력한 기술을 배울 수 있다는 것입니다. 이 문제는 올해 ICML에서 발표된 논문에서 처음으로 실증적으로 입증되었습니다.

​

• 에이전트는 코인런(CoinRun) 비디오 게임 작업에 대해 교육을 받았는데, 여기서 보상을 받고 스테이지가 끝날 때 코인에 도달하면 레벨이 완료됩니다.
• 테스트 시간에 코인은 대신 스테이지 내에 무작위로 배치됩니다. 에이전트는 장애물을 탐색하고 통과할 수 있는 능력을 유지했지만 동전을 무시하고 대신 레벨 끝까지 실행하여 올바른 목표를 배우지 못하는 것으로 나타났습니다.

#stateofai | 104

목표 잘못된 일반화 – 에이전트는 올바른 기술을 배울 수 있지만 잘못된 목표

소개 | 연구 | 산업 | 정치 | 안전 | 예측

연구원들은 AI의 도덕적 행동을 평가하기 위한 일련의 순차적 의사 결정 환경을 발표했습니다.

​

​

인공 에이전트의 도덕적 행동 측정

stateof.ai 2022

• 미래의 인공 에이전트는 살인 및 절도와 같은 행동을 처벌하지 않고 보상할 수도 있는 다양한 환경에서 사전 훈련될 수 있습니다(예: 오른쪽 하단 참조).
• Jiminy Cricket 환경은 의미가 풍부한 텍스트 기반 어드벤처 게임 25개의 도덕적 행동을 평가하기 위해 만들어졌습니다. 에이전트가 취할 수 있는 모든 조치는 그것이 얼마나 도덕적인지에 대한 여러 측면에 대해 주석이 달려 있습니다.

#stateofai | 105

• 첫 번째 단계로 CMPS는 도덕적 지식이 있는 LM을 사용하고 이 지식을 행동으로 매개합니다. 이것은 훈련 과정에서 부도덕한 행동을 크게 줄입니다.

소개 | 연구 | 산업 | 정치 | 안전 | 예측

• Conjecture는 대규모 AI 모델의 분산 개발을 시작한 조직인 Eleuther를 이전에 공동 설립한 Connor Leahy가 이끄는 런던에 기반을 둔 신생 기업입니다.
• 향후 5년 내에 개발될 것이라는 가정 하에 운영되며 현재 궤적에서는 인간의 가치와 잘못 정렬되어 결과적으로 우리 종에 재앙이 될 것입니다.

​

DeepMind, Google Brain, OpenAI 및 기타 주요 연구 실험실과 달리 Conjecture는 다른 조직과 구별되는 개념 연구 및 "상관 없는 베팅"에 중점을 두고 주로 AI Alignment에 중점을 둡니다.

stateof.ai 2022

Conjecture는 순전히 AGI 정렬에 초점을 맞춘 최초의 잘 자금 지원을 받은 스타트업입니다.

#stateofai | 106

• 그들은 Github, Stripe 및 FTX의 설립자를 포함한 투자자로부터 수백만 달러를 모았습니다.
• 그들은 내부 정보재해 정책을 발표한 최초의 AI Alignment 그룹입니다.
• 이것은 정렬 연구를 보다 진지하게 받아들이는 일부 새로운 AGI 중심 연구실의 광범위한 추세를 계속 이어가고 있습니다(작년 Anthropic의 보도 참조).

​

소개 | 연구 | 산업 | 정치 | 안전 | 예측

섹션 5: 예측

stateof.ai 2022

#stateofai | 107

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022

향후 12개월 동안의 9가지 예측

#stateofai | 108

소개 | 연구 | 산업 | 정치 | 안전 | 예측

감사!

AI 현황 보고서 2022를 마치신 것을 축하합니다! 읽어 주셔서 감사합니다.

​

이 보고서에서 우리는 2021년 10월 12일에 발행된 작년 호 이후의 발전에 초점을 맞춰 인공 지능 분야의 기하급수적인 발전의 스냅샷을 캡처하기 시작했습니다. 우리는 AI가 기술 발전의 원동력이 될 것이라고 믿습니다. 그리고 우리가 그러한 거대한 전환을 탐색하려면 해당 분야에 대한 더 넓은 이해가 중요합니다.

​

AI 연구, 산업, 정치 및 안전

​

이 보고서를 더 개선할 수 있는 방법에 대한 모든 피드백과 내년 판에 대한 기여 제안에 감사드립니다.

​

읽어주셔서 다시 한 번 감사드립니다!

​

Nathan Benaich (@nathanbenaich), Ian Hogarth (@soundboy), Othmane Sebbouh(@osebbouh) 및

Nitarshan Rajkumar(@nitarshan).

​

stateof.ai 2022

#stateofai | 109

소개 | 연구 | 산업 | 정치 | 안전 | 예측

올해 보고서를 비판적으로 검토해 주신 다음 분들께 감사드립니다.

• 안드레이 카르파티
• 모리츠 뮐러 프라이탁
• 슈보 센굽타
• 마일즈 브런디지
• 마커스 안더룽
• 엘레나 사무일로바

리뷰어

stateof.ai 2022

#stateofai | 110

소개 | 연구 | 산업 | 정치 | 안전 | 예측

저자는 개인적으로 또는 펀드를 통해 이 보고서에 인용된 여러 비상장 및 상장기업의 투자자 및/또는 고문의 결과로 다수의 이해 상충을 선언합니다.

​

Ian은 이 보고서에 언급된 Anthropic 및 Helsing AI의 엔젤 투자자입니다.

​

Nathan은 다음 회사의 투자자입니다. airstreet.com/portfolio

이해 상충

stateof.ai 2022

#stateofai | 111

소개 | 연구 | 산업 | 정치 | 안전 | 예측

#stateofai | 112

소개 | 연구 | 산업 | 정치 | 안전 | 예측

저자 소개

Nathan은 AI 우선 기술 및 생명 과학 회사에 투자하는 벤처 캐피털 회사인 Air Street Capital 의 제너럴 파트너입니다. 그는 RAAIS와 London.AI(산업 및 연구를 위한 AI 커뮤니티), RAAIS 재단(오픈 소스 AI 프로젝트 자금 지원) 및 Spinout.fyi(대학 스핀아웃 생성 개선)를 설립했습니다. 그는 Williams College에서 생물학을 공부하고 Cambridge에서 암 연구로 박사 학위를 받았습니다.

네이선 베나이치

이안 호가스

Ian은 Plural 의 공동 설립자입니다. Plural 은 경험 많은 설립자가 가장 야심찬 유럽 스타트업을 돕는 투자 플랫폼입니다. 그는 Mariana Mazzucato 교수와 함께 일하는 UCL의 객원 교수입니다. Ian은 콘서트 서비스인 Songkick의 공동 설립자이자 CEO였습니다. 그는 2005년에 기계 학습을 공부하기 시작했으며, 그의 석사 프로젝트는 유방암 생검 이미지를 분류하는 컴퓨터 비전 시스템이었습니다.

stateof.ai 2022

#stateofai | 113

소개 | 연구 | 산업 | 정치 | 안전 | 예측

stateof.ai 2022