[패스트캠퍼스 수강 후기] 머신러닝 인강 100% 환급 챌린지 18회차 미션

안녕하세요.

패스트 캠퍼스 수강후기 - 머신러닝과 데이터 분석 A-Z 19회차 미션 시작합니다!

머신러닝 인강 후기 19회차는 Ridge와 LASSO, Elastic Net에 대해 공부합니다.

 

패스트 캠퍼스 강의에서 제공하는 실습파일을 보면서 강사님의 지시에 따라 실습을 따라하시면 됩니다.

 

" Ridge "

 

Ridge 회귀에서는 f(β)에 회귀계수의 제곱의 합을 대입합니다.

λ는 tuning parameter로 크면 클수록 많은 회귀계수를 0으로 수렴시킵니다.

 

제가 이번학기에 Machine Learning 과목을 수강하면서 주교재인 An Introduction to Statistical Learning with Appplications in R 책으로 공부하고 있어요.

그 책에 나온 예시가 머신러닝 인강에 그대로 나온 것을 보고

오... 이 강의는 짧게 압축하지만 제대로 알려주려 하는구나 라는 느낌을 받았습니다.

 

위의 그림에 대해 보충설명을 하자면

λ가 커질수록 입력변수인 Income, LitmitRating, Student가 0으로 수렴하는 것을 표현했습니다.

적절한 λ의 값은 데이터마다 달라집니다.

λ값이 충분히 커지면 모든 입력변수가 0으로 수렴하게 되는데, 완전히 0이되지는 않습니다.

 

 

" LASSO "

Lasso 회귀에서는 f(β)에 회귀계수의 절대값의 합을 대입합니다.

λ는 tuning parameter로 크면 클수록 많은 회귀계수를 0으로 수렴하게 되고 Ridge와는 달리 완전히 0으로 만들게 됩니다.

위의 그림은 λ가 커질수록 입력변수인 Imcone, LimitRating, Studnet가 0으로 수렴하는 것을 보여주고 있습니다.

적절한 λ의 값은 데이터마다 달라지며, 5000이 넘는 값을 설정한 경우에 모든 입력변수가 0이 됩니다.

Lasso의 β는 Ridge와 달리, 한번에 구할 수 없습니다.

 

 

" Elastic-Net "

Elastic-Net 회귀는 Lasso와 Ridge 회귀의 하이브리드(정규화)회귀 모델입니다.

Lasso에 적용된 회귀계수의 절대값의 합과 Ridge에 적용된 회귀계수의 제곱의 합을 모두 f(β)에 대입합니다.

λ1, λ2는 Ridge와 Lasso 속성에 대한 강도를 조절하는 tuning parameter 입니다.

RIdge의 정규화 속성으로 변수의 Grouping Effect를 유도하고, Lasso의 Sparsity를 안정화시키게 됩니다.

 

여기서 Grouping Effect란

Lasso는 상관관계가 있는 다수의 변수들 중 하나를 무작위로 선택하여 계수를 축소하는 반면,

Elastic-Net은 상관성이 높은 다수의 변수들을 모두 선택하거나 제거하게 됩니다.

 

따라서 다수의 변수 간에 상관관계가 존재할 때 효과적인 방법입니다.

 

머신러닝 인강 최강자를 만나고 싶으면!? https://bit.ly/3lZfGmn