1장. 선형사상

수원대학교 데이터과학부

한경훈

선형사상

벡터 공간의 연산(덧셈, 상수배)와 호환가능(compatible)한 함수가 선형사상이다.

2차원 회전변환

2차원 대칭변환

2차원 스케일링

선형사상의 합성

따라서, 회전변환, 대칭변환, 축에 대한 스케일링의 합성도 역시 2차원 평면 위의 선형사상이다.

2차원 평면위에 또다른 선형사상의 예가 있을까?

나중에 배울 Singular Value Decomposition에 의하면 이것들이 2차원 평면위에 정의된 선형사상 전체이다.

​

평행이동 은 선형이 아니다.

선형변환과 평행이동을 함께 고려한 변환 이 Affine 변환이다.

Affine 변환들의 합성도 여전히 Affine 변환이다.

따라서, Affine 층만으로 신경망을 구성하면 아무리 깊은 층을 쌓아도 한 개의 Affine층만으로 이루어진 빈약한 신경망과 같다.

데이터의 풍부한 정보를 신경망에 담을 수 없다.

그래서, Sigmoid, Relu, Hyperbolic Tangent와 같은 nonlinearity가 반드시 필요하다.

미분

우리는 이미 고등학생때부터 linearity를 사용해왔다.

다항식 미분하는 과정을 세세히 따져 보자.

적분

우리는 이미 고등학생때부터 linearity를 사용해왔다.

다항식 적분하는 과정을 세세히 따져 보자.

공변역이 스칼라인 선형사상을 통상적으로 linear functional이라 부른다.

합

우리는 이미 고등학생때부터 linearity를 사용해왔다.

수열의 합을 구하는 과정을 세세히 따져 보자.

따라서, 평균도 선형이다.

행렬과 벡터의 곱

선형 동형 사상

위 셋을 만족하는 관계를 equivalence relation이라 한다.

수학자들이 같음과 다름에 얼마나 집착하는지 알면 철학자들은 놀랄 것이다.

수학자들은 isomorphic한 두 수학적 객체를 같은 것으로 동일시(identify)하는 경향이 있다.

linearly isomorphic한 두 벡터공간은 모든 선형대수학적 성질을 공유한다.

좌표 표현

차원 벡터공간은 본질적으로 하나 뿐이다.