목록정규화 (1)
IT_World
L1 & L2 loss/regularization 정규화 방법
Norm Norm=절대값이 아니다. 많은 Norm 중 하나가 절댓값인 것이다. 예를 들어 |-2| = 2 , |-10| = 10 이런식으로 절대값을 쓴다. 여기에서 조금만 더 생각해보면 | | 속 에는 단순 실수 뿐 만 아니라 벡터도 | | 안에 들어간다. ex) |(2,10)| 그리고 이는 절댓값이 아니라 벡터의 크기 정도로 칭했다. Norm이란, 수학적 정의는 복잡하지만 결국 어떤 값의 크기를 계산하여, 비교가 가능하게끔하는 어떤 함수 정도인데, 그 중 하나가 L1, L2 Norm이다. L1 Norm(Mahattan Distance, Taxicab geometry) L1 Norm은 두 개의 벡터를 빼고, 절대값을 취한 뒤, 합한 것이다. 예를 들어, x=(1,2,3), y=(-4,-5,-6)은 d(x..
Artificial intelligence, AI/Pytorch
2021. 8. 10. 15:25