Spectral Norm

Vector norm의 정의

Vector의 길이 ||v||를 표현하는 수단. 자주 접하게 되는 l1-norm, l2-norm 등이 이에 해당한다. Positivity, homogeneity, triangle inequality를 만족해야 한다.

 

Matrix norm의 정의

Linear operator의 크기 ||A||를 표현하는 수단. ||Ax|| <= c||x||에서 상수 c와 가까운 ||A||를 찾는 것이 목표이다. Spectral norm (induced l2-norm)은 아래와 같이 정의된다.

Spectral Norm

||x|| = 1인 벡터 공간에서 최대의 ||Ax||를 찾으면 된다. 위 문제는 matrix A의 largest singular value를 찾는 문제로 치환된다. 증명은 최환일님이 친절하게 설명해주셨다.

 

Spectral norm은 이후 spectral normalization (A / ||A||)으로 이어진다. Principle direction의 scale로 normalization 하는 것으로 이해하면 될 듯.

 

References

[1] https://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-241j-dynamic-systems-and-control-spring-2011/readings/MIT6_241JS11_chap04.pdf

[2] 최환일님 - https://hichoe95.tistory.com/58