불굴의관돌로그

로지스틱 회귀(Logistic Regression)

영국의 통계학자인 D.R. Cox가 1958년에 자안한 확률 모델로서 독립 변수의 선형 결합을 이용하여 사건의 발생 가능성을 예측하는데 사용되는 통계 기법이다.

로지스틱 회귀의 목적은 일반적인 회귀 분석의 목표와 동일하게 종속변수와 독립변수간의 관계를 구체적인 함수로 나타내어 향후 예측 모델에 사용하는 것이다.

로지스틱 함수(Logistic Function), Odds

실제 많은 자연, 사회현상에서는 특정 변수에 대한 확률값이 선형이 아닌 S-Curve 형태를 따라는 경우가 많다.

이러한 S-Curve 함수를 표현해낸 것이 바로 로지스틱 함수이다. 

이것이 인공지능 분야에서는 시그모이드 함수라고 불린다.

로지스틱 함수는 x값으로 어떤 값이든 받을 수가 있지만 출력 결과는 항상 0에서 1사이 값이 된다. 즉, 확률밀도함수(Probability Density Function, PDF)요건을 충족시키는 함수다.

승산(Odds)이란 임의의 사건 A가 발생하지 않을 확률 대비 일어날 확률의 비율을 뜻한다.

만약 사건 A가 일어날 확률 P(A)가 1에 가까워 진다면, 그 승산 값은 점점 커진다. 반대로 P(A) 가 0으로 가까워 진다면 값은 점점 작아진다는 뜻이다.

P(A)를 x축 사건, A의 승산을 y축에 놓고 그래프를 본다면 다음과 같다.

이항 로지스틱 회귀

이항 로지스틱이란 범주가 두 개인 분류 문제를 풀어야 하는 경우 사용된다. 종속 변수 Y가 연속형 숫자가 아닌 범주일 때는 기존 회귀 모델을 적용할 수 없다.

회귀식의 장점은 그대로 유지하되 종속변수 Y를 범주가 아닌(범주 1이 될)확률로 두고 식을 세워보자.

위 식에서 좌변의 범위는 0~1사이다. 하지만 우변은 음의 무한대에서 양의 무한대 범위를 가지기 때문에 식이 성립하지 않는 경우가 존재할 수 있다. 좌변을 Odds로 설정해보자.

그러나 이번에도 범위는 맞지 않는다. 좌변의 범위는 0에서 무한대의 범위를 갖는다. 이와는 다르게 우변(회귀식)은 그대로 음의 무한대에서 양의 무한대 범위이다.

이 과정에서 로그를 취하자. 이 결과 로그 승산의 범위는 음의 무한대에서 양의 무한대가 된다. 이렇게 함으로써 양변의 범위가 일치하게 된다. 다음은 로그승산의 그래프이다.

결과적으로 로지스틱 회귀 모델의 최종 식은 다음과 같다.

위 식을 입력벡터 x가 주어졌을 때 범주 1일 확률을 기준으로 정리해주면 다음과 같다.

최종 도출된 식은 곧 로지스틱 함수의 꼴과 같다.

이항 로지스틱 회귀의 결정경계

위와 같이 이항 로지스틱 모델에 범주 정보를 모르는 입력벡터 x를 넣으면 범주 1에 속할 확률을 반환해 준다.

그 확률값이 얼마나 되어야 범주 1로 분류할 수 있는가? 가장 간단한 방법은 다음과 같다.

범주가 두 개뿐이므로, 위 식 좌변을 p(x)로 환하면 식을 다음과 같이 정리할 수 있다.

마찬가지로  βTx<0βTx<0 이면, 해당 데이터의 범주를 0으로 분류하게 된다. 따라서, 로지스틱모델의 결정경계(decision boundry)는 βTx=0βTx=0인 하이퍼플레인(hyperplane)이다. 

다항로지스틱 회귀

범주가 세 개 이상일때 사용한다.

그러나 범주가 3개만 있다면 이항 로지스틱 모델 2개로 문제를 해결할 수 있다.

이 경우에서 모델은 2개이고 범주가 3개인데 이 관계는 다음과 같다.

K(>=3)범주를 분류하는 다항로지스틱 회귀 모델의 입력벡터 x가 각 클래스로 분류될 확률은 다음과 같다.

위 식은 다음과 같이 이해하면 가장 쉬울 것이다. k개의 범주가 생길 확률을 전부 더한것에서 k가 일어날 확률이다.

머신러닝과 로지스틱

로지스틱회귀는 결국 이항이든 다항이든 머신러닝 분류문제를 해결하는 방법 중 하나이다.

결론적으로 위 내용은 통계학적 지식을 기반으로 이해하는 방법이며, ML 분류 문제를 다룰 경우 본인이 생각하는 가장 쉬운 2가지 방법이 있다.

<파이썬>

1. 사이킷런 LogisticRegression() 모듈 사용

Parameter

-Penalty: {'l1','l2','elasticnet','none'}, default='l2'

-dual: bool, default=False

-tol: float, default=1e-4 => 정지 기준에 대한 허용오차 설정

-C: float, default=1.0 =>정규화 강도에 대한 역, 서포트벡터 머신과 마찬가지로 값이 작을수록 더 강력한 정규화 지정

-fit_intercept: bool, default=True

-intercept_scaling: float,default=1

-class_weight: dict or 'balanced', default=None

-random_state: int, RandomState instance, default=None

-solver: {'newton-cg','lbfgs','liblinear','sag','saga'}, default='lbfgs'

-max_iter: int,default=100

-multi_class: {'auto','ovr','multinomial'},default='auto'

-verbose: int,default=0

-warm_start: bool,default=False

-n_jobs: int, default=None

-l1_ratio: float,default=None

Attributes

Class_: ndarray of shape(n_classes,)

coef_: ndarray of shape(1,n_features) or (n_classes,n_features)

intercept: ndarray of shape(1,) or (n_classes,)

n_iter_: ndarray of shape(n_classes,) or (1,)

Methods

2. tensorflow.keras.losses.categorical_crossentropy

위 모듈은 대분류에서 위 방법만을 얘기한 것 이므로 추후에 다시한번 포스팅 하겠다. 

앙상블(Ensemble)

*ensemble: 모두 함께, 일제히; 동시에

앙상블 학습은 모델 결합(model combining)이라고 부르기도 한다.

어떤 데이터의 값을 예측한다 할 때, 보통 하나의 모델을 활용한다. 하지만 여러 개의 모델을 조화롭게 학습시켜 그 모델들의 예측 결과들을 이용한다면 더 정확한 예측값을 구할 수 있을 것이다.

즉, 하나의 모델만을 학습시켜 사용하지 않고 여러 모델을 학습시켜 결합하는 방식으로 문제를 처리한다.

특히, 모델 하나로 원하는 성능을 낼 수 없을 때 앙상블 학습을 사용하면 효과적인데, 개별로 학습한 여러 개의 모델을 조합하여 일반화(generalization) 성능을 향상 시킬 수 있다.

여기서 개별로 학습된 모델을 weak learner라고 표현하기도 한다. 

즉, 약하게 학습된 여러 모델들을 결합하여 사용하는 것을 앙상블 학습이라 할 수 있다.

앙상블 모델의 장점

위 모델을 사용함으로 써 다음 2가지 장점을 얻을 수 있다.

1. 성능을 분산시키기 때문에 과적합(overfitting) 감소 효과가 있다.

2. 개별 모델 성능이 잘 안 나올 때 앙상블 학습을 이용하면 성능이 향상될 수 있다.

과적합 현상을 어느 정도 막을 수 있다는 것 자체가 성능 향상이라는 말과 거의 같은 의미로 봐도 무방하다.

앙상블 학습의 분류

앙상블 학습은 방법론에 따라 크게 두 가지로 나누어질 수 있다.

취합

weak learner(개별 모델)들이 미리 정해져 있어 이들을 취합해 사용하는 방법.

종류: 다수결/투표 기반 방법, 배깅(bagging), 페이스팅(pasting), 랜덤 포레스트(random forest)

다수결/투표 기반 방법

여러 모델에서 출력된 결과를 종합하여 나온 것을 최종 output으로 설정하는 방법이다.

위 모델을 해석해보면 7개의 모델이 있고 새로운 인스턴스로 1을 넣었다.

랜덤 포레스트 모델에서 최종적으로 각 모델 7개 중, 1은 5개가 나왔고 2는 2개가 나왔으므로 최종 클래스 output은 1이 된다.  

배깅(bagging)과 페이스팅(pasting)

배깅과 페이스팅 모두 train set을 random sampling 하여 잘게 나눈 후 나누어진 train set을 여러 개의 모델에 할당하여 학습시킨다. 

배깅은 중복을 허용하며 train set을 나누는데 통계학에서는 이 방법을 부트스트랩, 중복이 허용된 리셈블링이라고 한다.

즉, 배깅은 전체 train set에서 여러 번 중복을 허용한 복원 추출을 한다고 생각할 수 있다.

이와 반대로 중복을 허용하지 않고(비복원 추출) train set을 나누는 것, 즉 부트스트랩의 반대말을 페이스팅이라고 한다.

랜덤 포레스트(random forest)

여러 개의 결정트리(decision tree)를 생성하여 각각의 트리에서 나오는 결과를 취합하는 방법이다.

위 과정에서 여러 결정트리를 생성할 때 배깅과 부스팅 방법을 사용하기도한다.

부스팅

weak learner들을 하나씩 점진적으로 연결하여 strong learner를 만드는 방법

종류: 에이다 부스트(Ada Boost)와 그레디언트 부스트(Gradient Boost)가 있다.

에이다 부스트(Ada boost)와 그레디언트 부스트(Gradient boost)

weak learner(개별 모델)들의 결과를 한꺼번에 취합하는 것이 아닌 결과들을 순차적으로 적용한다.

Ada boost는 각 weak learner(개별 모델)을 순차적으로 적용해 나가는 과정에서 잘 분류된 샘플의 가중치는 낮추고 잘못분류된 샘풀의 가중치는 상대적으로 높여주면서 샘플 분포를 변화시킨다.

반면, 그레디언트 부스트는 각 weak model을 순차적으로 적용해나가는 과정에서 잘못 분류된 샘플의 error를 최적화 하는 방식으로 진행된다.

이렇게 함으로써 식별하기 쉬운 데이터 특징에 대응하는 학습기부터 식별하기 어려운 데이터 특징에 대응하는 학습기까지 생성이 된다.

배깅과 부스팅 차이

위 그림에서 나타내는 바와 같이 정리하면, 배깅은 병렬 학습

부스팅은 sequential 학습이다. 한번 학습이 끝난 후 결과에 따라 가중치를 부여한다. 그렇게 부여된 가중치가 다음 모델의 결과 예측에 영향을 준다.

부스팅은 배깅에 비해 error가 적다. 즉 성능이 좋다는 말이다. 하지만 속도가 느리고 오버피팅이 될 가능성이 농후하다. 그렇다면 실제 모델링을 할때 어떤 방법을 쓰는게 좋을까? 

이에 대한 답은 상황에 따라 다르다고 볼 수 있다. 개별 결정 트리의 낮은 성능이 문제라면 부스팅을 사용하고, 오버 피팅이 문제라면 배깅을 사용하면 된다. 이처럼 각자 사용할 경우를 잘 판단하는게 좋다.

[참고]

1.bkshin.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-11-%EC%95%99%EC%83%81%EB%B8%94-%ED%95%99%EC%8A%B5-Ensemble-Learning-%EB%B0%B0%EA%B9%85Bagging%EA%B3%BC-%EB%B6%80%EC%8A%A4%ED%8C%85Boosting

2.blog.naver.com/PostView.nhn?blogId=qbxlvnf11&logNo=221488622777&categoryNo=0&parentCategoryNo=0&viewDate=&currentPage=1&postListTopCurrentPage=1&from=postView

비교적 가장 최근에 등장한 Catboost이다.

Catboost는 데이터에 범주형 변수가 많을 경우 유용한 모델이다 .

기존의 부스팅 기법

Method

1. 실제 데이터들의 mean과 residual를 구한다.

2. 데이터로 이 residual을 학습하는 모델을 만든다.

3. 만들어진 모델로 예측하여, 예측 값에 Learning_rate를 곱해 실제 예측 값(평균+잔차예측 값*lr)을 업데이트 한다.

4. 1~3 repeat.

문제점

느린 학습 속도

boosting model이 아닌 배깅과 비교했을 때 훨씬 느린 속도를 보인다. 배깅의 경우 여러 트리들이 병렬적으로 모델학습을 수행하고 부스팅의 경우 순차적으로 모델학습을 수행한다. 

그래서 새롭게 나오는 부스팅 모델들(XGBoost, Light GBM, Catboost 등)의 알고리즘에는 이런 속도 문제 해결도 포함한다. 

오버피팅

속도 문제는, 샘플링이나 알고리즘 최적화로 어느정도 개선되는 반면, 오버피팅은 그렇지 않다. 이는 부스팅이라는 개념 자체가 가지고 있는 문제인데, 위 과정만 보더라도 왜 오버피팅이 일어나는지 알 수 있다.

애초, 부스팅 자체가 'residual'을 줄여나가기 위해 학습하는 모델이기 때문에 굉장히 High Variance한 모델일 수 밖에 없다.

이에, 새롭게 나오는 부스팅 모델들의 대부분은 이 오버피팅을 해결하기 위한 기법들을 알고리즘에 포함시킨다.

Catboost의 특징

Level-wise Tree

XGBoost와 더불어 Catboost는 Level-wise로 트리를 만들어나가는 반면 Light GBM은 Leaf-wise이다.

Level-wise와 Leaf-wise의 차이는, 직관적으로 Level-wise는 BFS(너비 우선 탐색:Breath-first search)  같이 트리를 만들어나가는 형태이고,

Leaf-wise는 DFS(깊이 우선 탐색: Depth-first search) 같이 트리를 만들어나가는 형태이다. 물론 max_depth=-1이면 둘다 같은 형태지만, 대부분의 부스팅 모델에서는 트리는 max_depth!=-1이기 때문에 이 둘을 구분하는 것이다.

Ordered Boosting

Catboost는 기존의 부스팅 과정고 전체적 흐름은 비슷하되 약간 다르다. 

기존의 부스팅 모델이 일괄적으로 모든 훈련 데이터를 대상으로 잔차를 계산했다면, Catboost는 일부만 가지고 잔차계산을 한 뒤, 이것을 통해 모델을 만들고, 그 후, 데이터의 잔차는 이 모델로 예측한 값을 사용한다. 

다음 예를 확인해보자.

기존 부스팅 기법은 모든 datapoint(x1-x10)까지의 잔차를 일괄 계산한다.

반면, Catboost의 과정은 다음과 같다.

1. 먼저 x1의 잔차만 계산하고, 이를 기반으로 모델을 만든다. 그 후, x2의 잔차를 이 모델로 예측한다.

2. x1,x2의 잔차를 가지고 모델을 만든다. 이를 기반으로 x3,x4의 잔차를 모델로 예측한다.

3. x1,x2,x3,x4의 잔차를 가지고 모델을 만든다. 이를 기반으로 x5,x6,x7,x8의 잔차를 모델로 예측한다.

4. 이 과정을 반복한다.

이렇게 순서에 따라 모델을 만들고 예측하는 방식을 Ordered Boosting이라 부른다.

Random Permutation

Ordering Boosting을 할 때, 데이터 순서를 randomize 하지 않으면 매번 같은 순서대로 예측하는 모델을 만들 가능성이 있다. 이 순서는 사실 우리가 임의로 정한 것이므로, 순서 역시 매번 섞어줘야 한다. Catboost는 이러한 것 역시 감안해서 데이터를 shuffling하여 뽑아낸다. 뽑아낼 때 역시 모든 데이터를 뽑는게 아니라, 그 중 일부만 가져오게 할 수 있다.

이 모든 기법이 다 Overfitting을 방지하기 위해, 트리를 다각적으로 만드려는 시도이다.

Ordered Target Encoding

Target Encoding, Mean Encoding, Response Encoding 이라고 불리는 기법을 사용한다. (모두 같은 말)

범주형 변수를 정수로 인코딩 시키는 방법 중, 가장 최근에 나온 기법인데, 간단히 설명하면 다음과 같다.

위 데이터에서 time, feature1로 class_label을 예측해야한다고 해보자.

feature1의 cloudy는 다음과 같이 인코딩 할 수 있다.

cloudy=(15+14+20+25)/4=18.5

즉, cloudy를 cloudy를 가진 데이터들의 class_label의 값의 평균으로 인코딩 하는 것이다. 이 때문에 Mean encoding이라 불리기도 한다.

그런데 위는 우리가 예측해야하는 값이 train_set feature에 들어가버리는 Data Leakage문제를 일으킨다. 이는 오버피팅을 일으키는 주 원인이자, Mean encoding 방법 자체의 문제이기도 하다.

Catboost는 이에대한 해결책으로, 현재 데이터의 인코딩하기 위해 이전 데이터들의 인코딩된 값을 사용한다.

-Friday, cloudy=(15+14)/2=15.3 encoding

-Saturday, cloudy=(15+14+20)/3=16.3 encoding

즉, 현재 데이터의 타겟 값을 사용하지 않고, 이전 데이터들의 타겟 값만을 상요하니, Data Leakage가 일어나지 않는다.

범주형 변수를 정수 인코딩할 때, 오버피팅도 막고 수치 값의 다양성도 만들어주는 영리한 기법이다.

이러한 시도는 Smoothing, Expanding 등이 있었는데, 이 시도 역시 이런 종류 중 하나라고 볼 수 있다.

Categorical Feature Combinations

다음 예를 보면, country 변수만 봐도 hair_color feature가 결정되기 때문에, class_label을 예측하는데 있어, 두 feature가 전부 필요하지 않고 이 중 하나의 feature만 있으면 된다. Catboost는 이렇게, information gain이 동일한 두 feature를 하나의 feature로 묶어버린다. 결과적으로, 데이터 전처리에 있어 feature selection부담이 조금 줄어든다고 할 수 있다.

One-hot Encoding

범주형 변수를 항상 Target Encoding하는 것은 아니다. Catboost는 낮은 Cardinality를 가지는 범주형 변수에 한해서, 기본적으로 One-hot encoding 을 실시한다. Cardinality 기준은 one_hot_max_size 파라미터로 설정할 수 있다.

예를 들어, one_hot_max_size=3 으로 준다면, Cardinality가 3 이하인 범주형 변수들은 Target Encoding이 아니라 One_hot으로 인코딩 된다.

아무래도 Low Cardinality를 가지는 범주형 변수의 경우 Target Encoding 보다 One-hot이 더 효율적이기 때문이다.

Optimized Parameter tuning

Catboost는 디폴트 파라미터가 기본적으로 최적화가 잘 되어있어, 파라미터 튜닝에 크게 신경쓰지 않아도 된다고 한다.

반면 xgboost나 light gbm은 파라미터 튜닝에 매우 민감하다. 사실 대부분 부스팅 모델들이 파라미터 튜닝하는 이유는, 트리의 다형성과 오버피팅 문제를 해결하기 위함인데, Catboost는 이를 내부적인 알고리즘으로 해결하고 있으니 굳이 파라미터를 튜닝할 필요가 없다는 것이다.

굳이 해야한다면, learning_rate, random_strength, L2_regulariser과 같은 파라미터 튜닝인데 큰 차이는 없다고 한다.

Catboost의 한계

-Sparse한 Matrix는 처리하지 못한다.

-데이터의 대부분이 수치형 변수인 경우, Light GBM보다 학습 속도가 느리다. 즉, 대부분이 범주형 변수인 경우 쓰라는 것이다.