선형대수 기초 : 선형 변환과 고유값, 고유벡터

선형 변환

선형 변환은 수학적으로 벡터에 행렬을 곱해서 또 다른 벡터를 만드는 함수를 말한다. 다르게 표현하자면 하나의 벡터 공간에서 또 다른 벡터 공간으로, 벡터의 특징을 유지한 채 변환하는 방법이라고 할 수 있다. 선형 변환은 두 가지 중요한 성질, 스칼라 곱과 벡터 덧셈에 대한 '선형성'을 유지해야 한다.

그림 1. 선형변환의 개념

 

선형 변환은 많은 수학적, 물리적 문맥에서 중요하게 사용된다. 예를 들어, 회전, 스케일링, 반사 등은 모두 벡터 공간에서의 선형 변환의 예다.

선형 변환은 행렬을 이용하여 간편하게 표현할 수 있다. 행렬 곱셈은 사실상 선형 변환의 일종이다. 특히, n차원 벡터에 대한 선형 변환은 n x n 행렬로 표현될 수 있으며, 이 행렬을 해당 벡터에 곱함으로써 변환된 벡터를 얻을 수 있다.

 

인공지능 분야에서 신경망을 일종의 선형 변환으로 볼 수 있다. 신경망의 계산에서 파라미터와 가중치를 곱하고 그 결과를 모아서 합산처리하는데, 여기서 파라미터와 가중치를 곱하는 과정을 일종의 선형 변환으로 볼 수 있다. 

---

고유값과 고유벡터

어떤 행렬 A에 대해, 벡터 v를 행렬 A에 곱해서 나온 결과가 원래의 벡터 v와 상수 λ의 곱, 즉 λv가 되는 경우, 이 벡터 v를 행렬 A의 '고유벡터'(eigenvector)라고 부르고, 이 때의 상수 λ를 '고유값'(eigenvalue)라고 부른다. 수식으로 표현하면, 다음과 같다.

 

선형변환을 통해 벡터는 방향이나 길이가 바뀔 수 있는데, 행렬에 의한 선형변환을 거친 후에도 방향이 변하지 않는 벡터들이 있다. 이런 벡터들을 고유벡터라고 한다. 이 벡터들은 변환 후에도 방향이 바뀌지 않지만, 그 길이는 변할 수 있다. 이 때, 원래 벡터에 비해 변환된 벡터의 길이가 얼마나 변했는지를 나타내는 스칼라가 고유값입니다.

즉, 고유벡터는 행렬을 통해 변환된 후에도 그 방향이 변하지 않는 벡터를 의미하며, 고유값은 그 과정에서 고유벡터가 얼마나 스케일링되는지를 나타낸다.

 

예를 들어, 2x2 행렬 A에 대해 고유값과 고유벡터를 찾는 과정은, 먼저 행렬 A에서 λI를 뺀 행렬의 행렬식이 0이 되게 하는 λ를 찾는다. 여기서 I는 단위행렬이다. 이를 통해 고유값을 찾을 수 있다. 고유값을 알면, 이를 원래의 행렬에 대입하여 대응되는 고유벡터를 찾을 수 있다. 원래의 행렬 A에서 λI를 뺀 행렬에 대해 벡터 v를 곱하면 0 벡터가 되는 v를 찾는 것이 목표이다. 이를 통해 고유벡터를 찾을 수 있다.

 

고유값과 고유벡터는 다양한 분야에서 활용된다. 예를 들어, 공학에서는 시스템의 안정성을 분석하는 데 사용되고, 데이터 과학에서는 주성분 분석(PCA)이나 특이값 분해(SVD) 같은 차원 축소 기법에 활용된다. 데이터가 많이 흩어져있는 분포 상황에서 고유값은 어떤 데이터가 가진 특징을 얼마나 잘 설명할 수 있는지 가늠할 때 사용된다.