02-2 데이터 전처리

지난 챕터에서 머신러닝 모델의 성능을 신뢰할 수 있음을 보여 주기 위해 훈련 데이터를 훈련 세트와 테스트 세트로 나누었고, 이는 정확도 100%를 달성했다. 그런데 새로운 생선으로 테스트를 해봤더니 도미를 빙어로 예측하는 문제가 발생했다. 이 문제는 왜 발생했을까?

 

 

넘파이로 데이터 준비하기

 

문제에 대해 살펴보기 전에 데이터를 먼저 준비해보자. 이번에는 넘파이의 column_stack() 함수로 데이터를 합치자. 

 

fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8, 
                10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7, 
                7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]
                
import numpy as np
fish_data = np.column_stack((fish_length, fish_weight))

 

 

타깃 데이터도 마찬가지 방법으로 만들어보자. 넘파이의 np.ones()와 np.zeros() 함수는 각각 원하는 개수의 1과 0을 채운 배열을 만들어준다. 여기서 np.concatenate() 함수를 사용하여 연결시킨다. 

 

fish_target = np.concatenate((np.ones(35),np.zeros(14)))

 

사이킷런으로 훈련 세트와 테스트 세트 나누기

 

전달되는 리스트나 배열을 비율에 맞게 훈련 세트와 테스트 세트로 나누어 주는 train_test_split() 함수를 사용하여 데이터를 나누어보자. 

 

from sklearn.model_selection import train_test_split

train_input,test_input, train_target, test_target = train_test_split(fish_data, fish_target, random_state=42)

 

fish_data는 train_input과 test_input으로 나뉘고, fish_target은 train_target과 test_target으로 나뉘어 총 4개의 배열이 반환된다. 이 함수는 기본적으로 25%를 테스트 세트로 떼어 낸다. 그런데 이때 샘플이 골고루 섞이지 않을 수 있다. 훈련 데이터가 작거나 특정 클래스의 샘플 개수가 적을 때 특히 이런 문제가 발생한다. stratify 매개변수에 타깃 데이터를 전달하면 클래스 비율에 맞게 데이터를 나누어준다. 

 

train_input,test_input, train_target, test_target = train_test_split(fish_data, fish_target, stratify=fish_target, random_state=42)

 

샘플링 편향 문제도 해결하였으니 데이터는 모두 준비되었다. 이제 주어진 문제를 확인해보자.

 

 

 

수상한 도미 한 마리

 

준비한 데이터로 k-최근접 이웃을 훈련해보자. 

 

from sklearn.neighbors import KNeighborsClassifier
kn = KNeighborsClassifier()
kn.fit(train_input, train_target)
kn.score(test_input, test_target)

1.0

 

그리고 도미 데이터를 넣고 결과를 확인해보자. 

print(kn.predict([[25,150]]))

[0.]

 

도미(1)로 예측하지 않았다. 왜 이런 결과가 나왔는지, 이웃 샘플을 표시한 산점도를 그려서 확인해보자. 

 

import matplotlib.pyplot as plt
distances, indexes = kn.kneighbors([[25,150]])

plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25,150,marker='^')
plt.scatter(train_input[indexes,0], train_input[indexes,1],marker='D')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

 

가장 가까운 이웃에는 빙어가 압도적으로 많다. 산점도를 보면 직관적으로 도미와 가깝게 보임에도 불구하고 말이다. 이 문제를 해결하기 위해서는 '기준'을 맞추는 것이 필요하다.

 

 

 

기준을 맞춰라

 

위의 산점도를 보면 x축은 범위가 좁고(10~40), y축은 범위가 넓다(0~1000). 그래서 y축으로 조금만 멀어져도 거리가 아주 큰 값으로 계산되었던 것이다. 이렇듯 특성 간의 스케일이 다를 때는 특성값을 일정한 기준으로 맞춰주는 데이터 전처리 작업이 필요하다. 가장 널리 사용하는 전처리 방법은 표준점수(z 점수)를 사용하는 것이다. 표준점수는 각 특성값이 0에서 표준편차의 몇 배만큼 떨어져 있는지를 나타내고, 이를 통해 실제 특성값의 크기와 상관없이 동일한 조건으로 비교할 수 있게 된다.

 

계산하는 방법은 간단하다. 평균을 빼고 표준편차를 나누어주면 된다. 여기서 특성마다 값의 스케일이 다르므로 평균과 표준편차는 각 특성별로 계산해야 한다. 이를 위해 axis=0으로 지정해준다. 

 

mean = np.mean(train_input, axis=0)
std = np.std(train_input, axis=0)

train_scaled = (train_input - mean) / std

 

넘파이에서는 브로드캐스팅이라는 기능이 있어서 위와 같이 명령하면, train_input의 모든 행에서 mean에 있는 두 평균값을 빼고, std에 있는 두 표준편차를 다시 모든 행에 적용한다.

 

 

 

전처리 데이터로 모델 훈련하기

 

위에서 기준을 맞춰 데이터를 만들었지만, 값의 범위가 달라졌기 때문에 샘플도 동일한 비율로 변환해야한다. 여기서 중요한 점은 '훈련 세트의 mean과 std'를 사용해서 변환해야 한다는 점이다. 

 

new=([25,150] - mean) / std
plt.scatter(train_scaled[:,0], train_scaled[:,1])
plt.scatter(new[0],new[1],marker='^')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

 

이제 훈련 데이터의 두 특성이 비슷한 범위를 차지하게 되었다. 다시 한번 k-최근접 이웃 모델을 훈련하고, 평가해보자.

그리고 이때 샘플을 훈련 세트의 평균과 표준편차로 변환한 것처럼, 테스트 세트도 훈련 세트의 평균과 표준편차로 변환해야 한다.

 

kn.fit(train_scaled, train_target)

test_scaled = (test_input - mean) / std

kn.score(test_scaled, test_target)

1.0

 

테스트 세트의 샘플을 완벽하게 분류했다. 이제 아까 그 문제의 샘플을 에측해보면

 

print(kn.predict([new]))

[1.]

 

도미로 올바르게 에측한 것을 확인할 수 있다. 

 

그럼 다시 산점도를 그려 가까운 이웃이 어떻게 변화했는지 살펴보면 다음과 같이 가장 가까운 샘플이 모두 도미인 것을 확인할 수 있다. 

 

distances, indexes = kn.kneighbors([new])
plt.scatter(train_scaled[:,0], train_scaled[:,1])
plt.scatter(new[0],new[1],marker='^')
plt.scatter(train_scaled[indexes,0], train_scaled[indexes,1],marker='D')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

 

 

 

 

(정리) 스케일이 다른 특성 처리

 

기존에 만들었던 모델은 완벽하게 테스트 세트를 분류했다. 그러나 새로운 샘플에 대해서 잘못 예측했다. 이는 샘플의 두 특성인 길이와 무게의 스케일이 다르기 때문에 생긴 문제이다. 그래서 특성을 표준점수로 변환하여 스케일을 조정하는 작업을 했다. 이때, 훈련 세트를 변환한 방식 그대로 테스트 세트를 변환해야 한다는 것을 꼭 기억해야 한다. 

 

 

출처 : 박해선, 혼자 공부하는 머신러닝+딥러닝, 한빛미디어, 2021