[신뢰성] 모델 설명 및 구현

선형회귀를 통한 지도학습 모델의 종류를 활용한다.

독립변수들을 입력으로 받은 선형 함수가 종속변수를 예측하는 선형 모델이다.

선형회귀는 최적의 w와 b를 찾아서 cost function을 최소화한다. Cost function은 아래처럼 계산한다.

독립변수가 적은데 학습 및 검증 데이터에서 성능이 낮다면 under-fitting(Train-set도 학습을 못함) 문제이다.독립변수가 많은데 검증 데이터에서 성능이 낮다면 over-fitting(Train-set에만 성능이 좋은) 문제이다.

 

릿지와 라쏘 회귀는 모델 복잡도를 낮추고 over-fitting 문제를 방지하는 모델이다.

 

비용함수 링크: (미분을 해야 기울기가 어느 방향으로 기울어졌나 판단하고 어디로 이동해야 최적화할지 판단할 수 있음)https://codingslime.tistory.com/13r경사 하강법 링크:https://codingslime.tistory.com/18

https://realblack0.github.io/2020/03/27/linear-regression.html

 

Ridge Regression

https://velog.io/@j_hyun11/25.-Regularization

 

https://velog.io/@yuns_u/Ridge-Regression

 

https://velog.io/@ljs7463/%ED%8E%B8%ED%96%A5-%EB%B6%84%EC%82%B0-%ED%8A%B8%EB%A0%88%EC%9D%B4%EB%93%9C%EC%98%A4%ED%94%84

 

https://hansololee.github.io/optimization/minibatch_gradient_descent/

 

https://modulabs-biomedical.github.io/Bias_vs_Variance

 

https://beoks.tistory.com/49

 

https://towardsdatascience.com/linear-regression-using-gradient-descent-97a6c8700931

 

https://davey.tistory.com/entry/Python-%EB%94%A5%EB%9F%AC%EB%8B%9D-%EB%8B%A4%EC%A4%91-%EC%84%A0%ED%98%95-%ED%9A%8C%EA%B7%80-%EA%B2%BD%EC%82%AC-%ED%95%98%EA%B0%95%EB%B2%95

 

어떤 가중치를 얼마나 조정할지 결정하는 요인은 학습률과 기울기이다. 

 

용어 설명

epoch(에폭)	에러/기울기를 줄이기 위한 예측 및 가중치 조정 횟수
학습률(lr)	가중치 조정 시 step 크기