1 of 23

Deep Reinforcement Learning �- 1. Course Overview

Sookyung Kim�sookim@ewha.ac.kr�jh502125@gmail.com

1

2 of 23

Outline

Syllabus
Basic of Reinforcement Learning

2

3 of 23

Syllabus

3

4 of 23

Syllabus

4

5 of 23

Syllabus

5

6 of 23

Syllabus

6

7 of 23

Resources

OpenAI spinning-up documentation�https://spinningup.openai.com/
MIT 6.S094 Lecture from Lex Fridman�Introduction of Deep Reinforcement Learning�Deep Reinforcement Learning for Motion Planning
UC Berkeley CS285 – Sergey Levin�https://rail.eecs.berkeley.edu/deeprlcourse/resources/
Sutton, Richard S., and Andrew G. Barto. Reinforcement learning: An introduction. MIT press, 2018.
ML with Phil:�https://www.youtube.com/c/MachineLearningwithPhil

7

8 of 23

1. Basic of Reinforcement Learning �

8

9 of 23

1. Basic of Reinforcement Learning �

Reinforcement Learning:�

9

자. 그럼 Reinforcement learning 에 대해 배워 봅시다.

강화학습은, 이제껏 배운 Supervised learning 이나 Unsupervised learning모두에 속하지 않은 새로운 머신러닝 기법입니다.

개인적으로, 우리가 소위인공지능이라고 부르는 개념에 가장 부합하는 머신러닝 기법이라고 생각하고,

가장 Exciting 한 분야라고 생각하는 게 Reinforcement learning 인데요.

먼저, Reinforcement learning 이란 무엇인가? Reinforcement learning 이란

Agent 나 어떤 intelligent system. 즉 인공 지능의 시스템이,

순차적으로 decision making 을 해서 목적을 달성할 수 있는 문제를 풀 수 있는 러닝프레임웍이라고 생각할 수 있습니다.

한 예로, 이 그림처럼, 다리가 4개 달린 로봇이 앞으로 걸어가기 위해서는 각각의 다리에 있는 관절을 어떻게 순차적으로 움직여야 하는가 하는 sequential decision making problems 을 풀어야 합니다.

이렇게 각각의 순차적인 decision making 에 따라 목표달성의 여부가 결정되는, Control problem 이나 game problem 을 효과적으로 풀기위해 강화학습이 쓰입니다.

자 그럼, 어떻게 강화학습을 배울까요? 어떻게 순차적 디시전 메이킹 프로블롬을, 에이전트입장에서 기술로서 습득할 수 있을까요? 특히 초기에 아무 정보도 없는 상태에서 말이죠?

그 답은 Trial and error 입니다. 인공지능의 agent 가 세상에서 직접 어떤 행동을 하고 그 행동에 따른 occasional 한 리워드를 받음으로서,

이런 trial and error 를 통한 경험으로서 지식을 습득하게 됩니다.

강화학습, Reinforcement learning 은, 사실 최근에 화두가 되었지만, 초기 아이디어는 아주 예전 부터 제안 된 것입니다.

자 그럼, Deep RL 이란 무엇일까요? 앞에 붙은 Deep 짜를 보면 유추할 수 있듯이,

기존 강화학습 문제를 Neural Net 을 이용해서 모델링 한 것이 바로 DRL, Deep Reinforcement Learning 입니다.

10 of 23

1. Basic of Reinforcement Learning �

Reinforcement Learning:�

Supervised �Learning��

Unsupervised�Learning

Reinforcement�Learning

Semi-sv

10

RL 을 Supervised Learning 과 Unsupervised Learning 과 비교해 보면, RL 은 어떤 면에서는 Supervised Learning 에 속하기도 하고 어떤면에서는 Unsupervised learning 에 속하기도 합니다.

우리가 이제껏 배워온 Supervised learning 기법들은, 미리 인풋과 아웃풋 트레이닝 데이터 셋을 만들어 놓고,

이 데이터 셋을 이용해서 모델을 트레이닝 하는 기법들이 대부분이었습니다.

이런 면에서 Reinforcement learning 은 기본에 우리가 배워온 Supervised learning 과 다릅니다.

왜냐하면 RL은, 트레이닝 데이타셋이 미리 필요하지 않고,

트레이닝 과정해서 데이터를 그때그때 만들어가면서 트리이닝 하기 때문입니다.

하지만 모든 머신러닝이 Supervision 이 필요하듯 RL 도 모델을 학습하기 위해서는 Supervision 즉 감독이 필요합니다.

그런면에서 Supervised learning 과 공통점이 있다고 볼 수 있는데, 그럼 Supervised learning 과 어떻게 Supervision process 가 다른지 보도록 하겠습니다.

먼저 우리가 익숙한 Supervised learning 은, 모델을 데이터를 통해 학습시킵니다. 즉 모델이 ”teach by example” 수많은 example 들을 봐 가면서, 이런 example들 간의 패턴을 배우게 되는 것 입니다.

반면 Reinforcement Learning 은 teach by experience 입니다. 우리가 학습시킬 모델을, 어떤 가상의 세상에 넣어놓고, 그 모델이 세상속에서 행동하고 피드백을 받으면서, 즉 세상속에서 interact 하면서,

그 경험을 통해 어떤 목표를 달성하는 방법을 스스로 학습하게 합니다.

즉, 가상의 세상이 주어지고, 모델이 그 세상을 탐험하므로서, 그 ”경험” 을 통해 지식을 학습하게 하는 것 입니다. 조금 Moonshot 같이 황당한 이야기 처럼 들리시나요.?

11 of 23

1. Basic of Reinforcement Learning �

11

이해하기 약간 힘드시다면,

우리 사람이 어떤 지식을 습득하는 것 과 같은 방식으로

Reinforcement learning 이 특정 기술을 배워간다고 이해하시면 됩니다.

한예로, 아기가 처음으로 걸음마를 배우는 것을 생각해 봅시다.

아기는 처음에는 기어다니다가

세상과 인터렉트 하면서

이런 저런 시도를 해보면서

아주 작은 trial and error를 통한 경험으로,

처음에는 일어나는 것을 배우고,

그다음에는 발을 내닫으려고 하다가 넘어지고, 또 내딛으려고 하다 픽 넘어지고 그러다가

마침내 걷는 기술을 습득하게 됩니다.

이렇게 어떻게 아기가 걸음마를 스스로 배우는지 도

아기가 환경을 통해서 시도하고 넘어짐을 반복해 가며

결국 걷는 방법을, 스스로 세상과 인터렉트 하며 배워나가는 Reinforcement learning 적인 메카니즘이라고 생각할 수 있겠지요?

12 of 23

1. Basic of Reinforcement Learning �

Reinforcement Learning:�At each step, the agent: ��(1) Observe new state�(2) Executes action�(3) Receive reward

1. State (observe)

2. Action

3. Reward

I have a Goal!!�Ex: Let’s save the world

Environment � (world)

Agent�(model)

12

자 그럼 본적적으로, Reinforcement learning 의 구성요소들을 보도록 합시다.

Reinforcement learning 의 문제를 만들기 위해서는

기본적으로 두가지 구성요소가 있어야 합니다.

첫번째는 Agent 즉 어떤 기술을 습득하는 주체가 있어야 하고,

두번째는 Environment. 즉. Agent 가 기술을 습득할 수 있게 여러가지 경험을 할 가상의 세상이 있어야 합니다.

그럼 Agent 가 어떻게 기술을 습득하는가?

먼저 Agent 는 이루어야할 specific 한 goal 이 있습니다.

가령 agent 으 목적이, 세상을 구하자! 라는 것이라면,

Agent 는 먼저 Environment 의 representation 인 / 세상을 표현하는 어떤 정보를 가지고 있는/ state 를 관찰합니다.

그런 다음에 자신에 목적을 이루기 위해, 어떤 행동 (action)을 취합니다.

그리고 Environment 로 부터, 그 action 이 목적을 이루는데 얼마나 도움이 되었는 지를, 정량적으로 표현하는 reward를 받게 됩니다. /즉 그 action 이 목적을 이루는데 얼마나 도움이 되었는지, 세상으로 부터 피드백을 받는다고 보시면 됩니다.

이렇게 state를 관찰하고, action 을 취하고, reward를받고/ 또 그다음 state를 관찰하고, action 을 취하고, reward를받고를 반복하면서

Agent 는 자신의 목적을 취하기 어떤 기술( 즉 policy) 를 배우게 되는 것입니다.

우리가 배울 Deep Reinforcement learning framework 에서는

요 Agent 는 NN기반한 스트럭쳐로 모델링 할 것이고,

Environment 로는, 실제로 agnet 모델을 실제 세상에 노출시키며 학습시키기 힘들기때문에, 시뮬레에션을 주로 사용합니다.

13 of 23

1. Basic of Reinforcement Learning �

The Challenge for RL in Real-World Applications:� Environment should give reward in real time�Open Challenges.

13

자 앞에서, Agent 를 실제 세상에 노출시켜서 학습시키기 힘들기 때문에 Environment 로 시뮬레이션을 사용한다는 말씀을 드렸는데요,

그 이유는,

먼저 실제 세상에서는 변수가 너무 많고,

에이전트가 실제 세상에서 액션을 취했을때, 에이전트 단에서 리워드 형태의 피드백을 실제 세상으로부터 실시간으로 받기가 힘든 이유도 있습니다.

따라서, 이러한 이유때문에, Reinforcement learning 을 실제 세상에 적용하기 위해 가장 큰 Challenge 가

RL 에서 Environment 로 사용할 Simulation 과 Real World 사이의 gap 입니다.

먼저 시뮬레이션으로 이루어진 Environment 로 미리 학습시킨 Agent 를 Real world로 옮겼을때

Simulation 과 실제 세상이 많이 다르면 Transfer learning 이 힘들 수 있습니다.

이런 경우 Transfer learning 을 개선해야 하는 문제가 있을 수 있습니다.

또 근본적으로 Simulation 을 Real world 와 가능한 흡사하게 디자인 해야하는 어려운 문제가 있을 수 있습니다.

따라서, 가상의 시뮬레이션 환경에서 아주 잘 동작하는 RL algorithm 의 적용 예는 많이 있지만,

실제 제품에서의 RL 적용의 속도는, 다른 Supervised learning 에 기반한 딥러닝 에 비해, 다소 느린 감이 있습니다.

이 것은 open challenge 로서, 저와 여러분들이 연구를 통해 훗날 풀어가야할 문제가 되겠지요?

14 of 23

1. Basic of Reinforcement Learning �

Reinforcement Learning:�Input: Given environment which provides numerical reward signal, and agent which act inside of that environment�Outputs: Let agent learn how to take actions(policy) in order to maximize reward.

��

Goal: Learn how to take actions in order to maximize reward
Design RL: Objective, State, Action, Reward �

14

네. 다시 RL의 problem formulation으로 돌아와서, 좀더 formal 하게 RL framework 를 정의해 보도록 하겠습니다!

RL 은 기본적으로 , 행동을 하는 주체인 agent 와, agent 의 행동의 배경이 되고, 그 행동에 따라 agent 에개 reward라는 피드백을 주는 environment 가 인풋으로 주어졌을때,

에이전트는 그 환경을 스테이트 라는 형태로 받아들인 후, 그 스테이트에따라 어떤 엑션을 취하게 되고,

그러면 Environment 는 그 엑션을 통해 모습이 바뀌는 동시에, 그 엑션에대한 리워드를 에이전트에게 주게 됩니다.

그러면 에이전트는 바뀐 모습의 environment 의 정보를 다시 state 로 받아들어,

그 스테이트 에 따라 다시 엑션을 취하게 됩니다.

이런 과정을 반복하면서,

결론적으로 Agent는 reward를 맥시마이즈 하기위해,

특정 state안에서 어떤 action 을 취할지를 결정하는 어떠한 ”기술＂ 혹은 ”지능” 인 policy 를 배우게 되고

이 policy 가 우리가 최종적으로 배우려는 RL의 결과물 입니다.

따라서 어떤 문제를 RL 을 이용하여 풀고 싶을때에는, 4가지 컴포넌트를 정확하고 구체적으로 디파인 하는 것이 필요합니다.

즉 에이전트가 이루고자하는 목적인 Objective 를 분명히 해야하고

에이전트가 Environment 를 잘 관찰 할 수 있도록, Environment 에 대한 정보를 잘 담고 있는 State vector 를 잘 디자인 해야 합니다.

그리고 에이전트가 취할 action 이 무엇인지도 디파인 해야 합니다. 엑션은 여러개일 수 도 있고 한개일 수 도 있고, discrete 할 수 도 있고 continuous 할 수도 있습니다. 디자인 하기 나름입니다.

그리고 마지막으로 가장 중요한것은

Agent 가 env에 취한 action 에 대해서, 그 action 이 우리의 object 를 이루기 위해 얼마나 좋은 것인지를 나타낼 수 있는

적절한 reward 를 디자인하는 것이 중요합니다.

이 리워드 디자인에 따라, RL 이 동작하기도 하고 망하기도 하는데, 리워드 디자인의 중요성에 대해서는 뒤에서 구체적으로 더 설명 드리겠습니다.

이렇게 Objective, State, Action, Reward 를 잘 디파인 하는게, 알엘을 적용해서 문제를 푸는데 있어서 가장 중요한 부분입니다.

이게 RL application 에서는, 좋은 알고리즘을 디자인 하는 것 보다 더 중요합니다.

15 of 23

1. Basic of Reinforcement Learning �

Design RL: Objective, State, Action, Reward �

15

16 of 23

1. Basic of Reinforcement Learning �

Design RL: Objective, State, Action, Reward �

16

17 of 23

1. Basic of Reinforcement Learning �

Design RL: Objective, State, Action, Reward �

17

18 of 23

1. Basic of Reinforcement Learning �How to design good RL problem formulation? �- Robot in Room Example�

18

자. 앞에서 제가 리워드 디자인의 중요성에 대해서 언급드렸는데,

Robot in Room 이라는 Example 을 통해서 왜 리워드를 잘 디자인하는것이 RL 을 동작하게 하는 핵심인지를 구체적으로 보여드리도록 하겠습니다.

문제에 대해 우선 설명드리면,

이렇게 로봇과 이런 미로가 주어졌다고 생각합시다.

이 로봇이 하는 일은, 여기 스타트 포지션에서 시작하여, 목표인 +1 리워드를 받는 블락까지 이동하면서 이동에 따라 페널티나 리워드를 받는 것 입니다.

잘못해서 이 밑에 블락을 지나게 되면 -1 패널티를 받게 됩니다.

여기서 로봇은 위 아래 오른쪽 왼쪽으로만 움직일 수 있는데

여기서는 로봇의 움직임을 스토케스틱 하다고 생각해서 80%의 확률로는 위로 가고. 10% 확률로는 오른쪽이나 왼쪽으로 갈 수 있다고 해 봅시다.

자 그럼 저희가 풀고자 하는 문제는, 맥시멈 리워드를 받기위한 로봇의 전략입니다.

이 문제를 RL을 이용해서 풀었을때

각각 다른 리워드를 썼을때 어떻게 다른 결과를 얻을 수 있는지 확인해 보도록 합시다.

19 of 23

1. Basic of Reinforcement Learning �How to design good RL problem formulation? �- Robot in Room Example�

19

먼저, 로봇이 한 블락에서 다음 블락으로 움직이는 각 스텝에 따라 -0.04 의 리워드, 즉 패널티를 받는 경우를 생각해 봅시다.

그랬을때, 이 경우에 문제를 policy gradient 로 풀면, 옵티멀 폴리시를 따르는 각 블락에서 로봇 움직임은 이렇게 됩니다.

즉 시작 포지션에서 바로 +1 블락으로 가는 패스를 배우게 되고. 혹 오른쪽 아래 블락에 잘못 빠졌을 경우 -1 로 도착 하지 않도록 -1 블락 주위를 돌아서 +1 을 찾아가도록 배우게 됩니다.

만약 오른쪽 아래 블락에 있더라도 -1을 순회해서 9스텝을 가서 +1을 찾는것이 이득이기 때문입니다.

왜냐면 9스텝을 움직여봤자, -0.36의 페널티 밖에 받지 않으므고 결과적으로는 +1로 가는 것이 이득이 되는 것이죠?

20 of 23

1. Basic of Reinforcement Learning �How to design good RL problem formulation? �- Robot in Room Example�

20

자, 그러면 리워드를 각 스텝당 -2 로 바꾸면 어떻게 될까요?

이렇게 되면, 로봇의 입장에서는 한 스텝 움직이는게 엄청난 코스트가 되는것이 되겠지요?

따라서 로봇이 이 경우에 배우게 되는 폴리시는,

무조건 조금 움직이면서 +1이나 -1 어느 블락이든 도착에서 게임을 끝내는 형태로 되게 됩니다.

왜나하면, 로봇 입장에서는 +1 블락에 도착하기 위해서 많은 움직임을 해야하는데, 움직임 자체가 -2의 코스트가 들기때문에 +1 블락으로 가는게, 빨리 끝내는 것에 비해 별 이득이 되지 않는것 이기 때문입니다.

따라서 모든 블락에서 최적의 움직임은, 무조건 게임을 빨리 끝내기 위해, +1 이던 -1이던 끝 블락으로 움직이게 되도록 배우게 됩니다.

21 of 23

1. Basic of Reinforcement Learning �How to design good RL problem formulation? �- Robot in Room Example�

21

22 of 23

1. Basic of Reinforcement Learning �How to design good RL problem formulation? �- Robot in Room Example�

Lessons from Robot in Room

Environment model has big impact on optimal policy
Reward structure has big impact on optimal policy

22

23 of 23

1. Basic of Reinforcement Learning �How to design good RL problem formulation? �- Course runner Example�

Reward Structure may have Unintended Consequences

Player gets reward based on:

Finishing time
Finishing position
Picking up “turbos”

23

Reward design 이 중요한 또 한가지 이유가,

리워드를 잘못 디자인 하면, 우리가 본래 의도했던 것과 다른 결과를 초래할 수 있기 때문입니다.

한 예로 course runner 라는 게임을 reinforcement learning 으로 푼 예를 보여드리겠습니다.

이 게임은, 플레이어가 배를 가지고 게임속에 지정되어있는 맵에 따라 코스를 도는데, 빨리 맵속에 코스를 돌아서 지정된 포지션에서 멈추면 게임이 끝나는 게임입니다.

플레이어는 이 세가지 경우에 리워드를 받게됩니다.

먼저, 빨리 코스를 돌수록 리워드를 받게되고, 지정된 포지션에 잘 도착하면 리워드를 받게되고, 중간중간 물속에 있는 터보를 먹으면 작은 리워드를 받게 됩니다.

이 게임을 사람이 플레이 할때는, 무조건 빨리 코스를 돌도록 플레이 하게 되겠지요.

그런에 알엘 에이젠트에게 풀게 하면, 중간중간 계속 터보만 먹는 전략을 배우게 됩니다. 왜냐면 터보가 없어졌다 계속 생기기 때문에 결국 영원히 특정 지점을 돌면서 터보를 먹으면서 작은 리워드를 계속 먹는게, 게임을 끝내는 것 보다 이득인 것을 배우게 되는 것입니다.

이렇게 리워드를 잘 디자인 하지 못하면, 에이전트가 예상치 못한 동작을 하는 것을 배우게 되는데,

이게 정말 심각한 문제입니다. 가령 자율주행차가, 리워드 디자인을 잘못해서, 이런 예상치 못한 행동를 하게된다면 굉장히 위험하겠지요?

따라서 리워드 디자인이나, Environmrnt design 이 알엘응용의 세이프티 측면에서 매우 중요합니다.