02-1 훈련 세트와 테스트 세트

지난 챕터에서는 정확도 100%인 도미와 빙어를 분류하는 머신러닝 모델을 만들었다. 그런데 사실 모든 생선에 대한 답을 알고 있는데 맞추지 못하는 것이 이상하다. 이 문제는 어떻게 해결하면 좋을까?

 

지도 학습과 비지도 학습 

 

머신러닝 알고리즘은 크게 지도 학습과 비지도 학습으로 나눌 수 있다. 지도 학습 알고리즘은 훈련하기 위한 데이터와 정답이 필요하다. 1장에서는 도미인지 아닌지 여부가 정답에 해당했다. 지도 학습에서는 데이터와 정답을 각각 입력과 타깃이라고 하고, 이 둘을 합쳐서 훈련 데이터라고 부른다. 지도 학습은 정답을 맞히는 것을 학습한다. 반면 비지도 학습 알고리즘은 정답을 사용하지 않기 때문에 무언가를 맞힐 수는 없으며, 다만 데이터를 잘 파악하거나 변형하는 데 도움을 준다. 

 

 

훈련 세트와 테스트 세트

 

시험을 보기 전에 출제될 시험 문제와 정답을 미리 알려주고 시험을 보면 당연히 100점을 맞을 수 있다. 머신러닝도 마찬가지다. 도미와 빙어의 데이터와 타깃을 주고 훈련한 다음, 같은 데이터로 테스트한다면 모두 맞히는 것이 당연하다. 연습 문제와 시험 문제가 달라야 올바르게 학생의 능력을 평가할 수 있듯이, 머신러닝 알고리즘의 성능을 제대로 평가하려면 훈련 데이터와 평가에 사용할 데이터가 각각 달라야 한다. 이를 위해서 훈련 데이터에서 일부를 떼어 내어 테스트 세트로 사용하곤 한다.

 

먼저 데이터를 준비하자. 

 

fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8, 
                10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7, 
                7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]

fish_data = [[l,w] for l,w in zip(fish_length, fish_weight)]
fish_target=[1]*35 + [0]*14

 

그리고 사이킷런의 KNeighborsClassifier 클래스를 임포트하고 모델 객체를 만든다.

 

from sklearn.neighbors import KNeighborsClassifier
kn = KNeighborsClassifier()

 

이제 전체 데이터에서 처음 35개를 선택해야 한다. 파이썬 리스트는 슬라이싱이라는 특별한 연산자를 제공하는데, 이 연산을 사용하면 인덱스의 범위를 지정하여 원소를 여러 개 선택할 수 있다. 여기서 주의할 점은 마지막 인덱스의 원소는 포함되지 않는다는 점이다. 이를 응용하여 생선 데이터에서 처음 35개와 나머지 14개를 선택하여 보자.

 

train_input = fish_data[:35]
train_target = fish_target[:35]
test_input = fish_data[35:]
test_target = fish_target[35:]

 

슬라이싱 연산으로 인덱스 0~34까지 처음 35개 샘플을 훈련 세트로 선택했고, 인덱스 35~48까지 나머지 14개의 샘플을 테스트 세트로 선택했다. 데이터를 준비했으니 훈련 세트로 fit() 메서드를 호출해 모델을 훈련하고, 테스트 세트로 score() 메서드를 호출해 평가해보자.

 

kn=kn.fit(train_input, train_target)
kn.score(test_input, test_target)

0.0

 

정확도를 확인해보니 0.0이다. 왜 이런 문제가 생긴 것일까?

 

이는 잘못된 훈련 데이터로부터 생긴 문제이다. 올바른 훈련 데이터는 도미와 빙어가 골고루 섞여있어야 한다. 이처럼 훈련 세트와 테스트 세트에 샘플이 골고루 섞여 있지 않은 상황을 샘플링 편향이라고 부른다. 샘플링 편향 문제를 해결하려면, 훈련 세트와 테스트 세트를 나누기 전에 데이터를 섞든지 아니면 골고루 샘플을 뽑아서 훈련 세트와 테스트 세트를 만들어야 한다. 이 작업을 위해 넘파이에 대해 알아보자.

 

 

넘파이

 

넘파이(numpy)는 파이썬의 대표적인 배열 라이브러리이다. 넘파이는 고차원의 배열을 손쉽게 만들고 조작할 수 있는 간편한 도구를 많이 제공한다. 

 

그럼 생선 데이터를 2차원 넘파이 배열로 변환해보자. 먼저 넘파이 라이브러리를 임포트하고, 넘파이 array() 함수에 파이썬 리스트를 전달하면 된다.

 

import numpy as np

input_arr = np.array(fish_data)
target_arr = np.array(fish_target)

 

이렇게 변환한 input_arr 배열을 출력해보면 다음과 같이 2개의 열(특성)과 49개의 행(샘플)을 가진 배열임을 알 수 있다.

[[ 25.4 242. ],

 [ 26.3 290. ],

     .      .    

     .      .    

  [ 15. 19.9 ]]

 

이렇게 출력해보지 않아도 넘파이 배열 객체는 배열의 크기를 알려주는 shape 속성을 제공한다. 이 명령을 사용하면 (샘플 수, 특성 수)를 출력한다.

print(input_arr.shape)

(49,2)

 

이제 생선 데이터를 넘파이 배열로 준비했으므로 무작위하게 샘플을 골라보자. 여기서 주의할 점은 input_arr과 target_arr에서 같은 위치는 함께 선택되어야 한다. 다시 말해서 타깃이 샘플과 함께 이동해야 한다는 뜻이고, 이를 위해서 아예 인덱스를 섞고 그에 해당하는 input_arr 와 target_arr을 선택하는 방식을 택한다.

 

넘파이 arange() 함수를 사용해서 0에서부터 48까지의 인덱스를 만들고 이 인덱스를 랜덤하게 섞는다. 원래 넘파이에서는 실행할 때마다 다른 결과를 만들지만, 책과 동일한 결과를 얻기 위해서 여기서는 랜덤 시드를 지정해주었다.

np.random.seed(42)
index = np.arange(49)
np.random.shuffle(index)

 

이렇게 만든 후 배열 인덱싱 기능을 사용하여, 앞서 만든 index 배열의 처음 35개를 input_arr와 target_arr에 전달하여 랜덤하게 35개의 샘플을 훈련 세트로 만들었다. 그리고 나머지 14개를 테스트 세트로 만들었다.

 

train_input = input_arr[index[:35]]
train_target = target_arr[index[:35]]

test_input = input_arr[index[35:]]
test_target = target_arr[index[35:]]

 

모든 데이터를 준비했으니 산점도를 통해 훈련 세트와 테스트 세트에 도미와 빙어가 잘 섞여 있는지 확인해보자.

 

import matplotlib.pyplot as plt
plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(test_input[:,0], test_input[:,1])
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

 

 

파란색이 훈련 세트이고 주황색이 테스트 세트이다. 양쪽에 도미와 빙어가 모두 잘 섞여 있는 것을 확인할 수 있다. 이제 모델을 다시 훈련시켜보자.

 

 

두 번째 머신러닝 프로그램

 

앞에서 만든 훈련 세트와 테스트 세트로 k-최근접 이웃 모델을 훈련시켜보자. fit() 메서드를 실행할 때마다 KNeighborsClassifier 클래스의 객체는 이전에 학습한 모든 것을 잃어버린다. 이전 모델을 그대로 두고 싶다면 새롭게 객체를 만들어야 하지만, 여기서는 단순하게 그대로 사용한다.

 

인덱스를 섞어 만든 train_input과 train_target으로 모델을 훈련시키고, 이 모델을 테스트하면 다음과 같다.

 

kn = kn.fit(train_input, train_target)
kn.score(test_input, test_target)

1.0

 

100%의 정확도로 테스트 세트에 있는 모든 생선을 맞추었음을 확인할 수 있다. 

 

 

(정리) 훈련 모델 평가

 

모델을 훈련할 때 사용한 데이터로 모델의 성능을 평가하는 것은 정답을 미리 알려주고 시험을 보는 것과 같다. 공정하게 평가하기 위해서,  훈련 데이터를 훈련 세트와 테스트 세트로 나누었다. 그런데 테스트 세트를 무작정 나누면 샘플링 편향이 일어날 수 있기 때문에 도미와 빙어를 골고루 섞어 나누는 작업을 했다. 이때 파이썬의 다차원 배열 라이브러리인 넘파이를 사용하였다. 이 챕터에서는 넘파이의 shuffle() 함수를 이용하여 배열의 인덱스를 섞었다. 

 

 

 

출처 : 박해선, 혼자 공부하는 머신러닝+딥러닝, 한빛미디어, 2021