01-3 마켓과 머신러닝

이 책은 '혼공머신'이라는 초보 머신러닝 엔지니어가 주인공으로 등장한다. 그리고 혼공머신이 한빛 마켓이라는 회사에 입사하여 각종 문제를 해결하는 과정을 통해, 독자들로 하여금 머신러닝과 딥러닝을 배울 수 있도록 구성하였다. 

 

한빛 마켓에서는 살아 있는 생선을 판매하는데, 물류 센터에서 생선을 고르는 직원이 생선 이름을 외우지 못하는 문제가 발생하였다. 이번 챕터에서는 이 문제를 해결하기 위해, '생선 이름을 자동으로 알려주는 머신러닝'을 만들어보고자 한다. 

 

 

생선 분류 문제

 

보통의 프로그램은 누군가가 정해준 기준대로 일을 하지만, 머신러닝은 스스로 기준을 찾아서 일을 한다. 머신러닝은 기준을 찾을 뿐만 아니라 이 기준을 이용해서 판별을 할 수도 있다. 

 

도미 데이터 준비하기

 

머신러닝은 여러 개의 도미 생선을 보면 스스로 어떤 생선이 도미인지를 구분할 기준을 찾는다. 그렇기 때문에 도미 생선에 대한 정보가 필요하다. http://bit.ly/bream_list 에서 도미에 대한 길이와 무게 리스트를 가져올 수 있다. 

 

bream_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0]
bream_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0]

이렇게 각 도미의 특징을 길이와 무게로 표현한 것은 데이터의 특징, 즉 특성이라고 부를 수 있다. 

 

그리고 이러한 특성들은 그래프로 표현하면 데이터를 잘 이해할 수 있다. 다음은 x,y축으로 이루어진 좌표계에 두 변수 (x,y)의 관계를 표현하는 방법인 '산점도(scatter plot)'를 사용한 내용이다.

 

import matplotlib.pyplot as plt

plt.scatter(bream_length, bream_weight)
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

파이썬에서 과학계산용 그래프를 그릴 때는 맷플롯립(matplotlib)을 주로 사용한다. 이 패키지를 임포트하고 산점도를 그리는 scatter() 함수를 사용하면 된다. 이를 실행하면 다음과 같다. 

 

도미 산점도

 

도미 35마리를 2차원 그래프에 점으로 나타내었다. x축은 길이, y축은 무게를 의미한다. 생선의 길이가 길수록 무게가 많이 나간다고 생각할 수 있는데, 이렇게 산점도 그래프가 일직선에 가까운 형태로 나타나는 경우를 선형적이라고 한다. 

 

 

 

빙어 데이터 준비하기

 

이번에도 http://bit.ly/smelt_list 에서 파이썬 리스트를 복사해오자. 

 

smelt_length = [9.8, 10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
smelt_weight = [6.7, 7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]

 

그리고 도미와 빙어 데이터를 함께 산점도로 그려보자. 

 

plt.scatter(bream_length, bream_weight)
plt.scatter(smelt_length, smelt_weight)
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

 

도미와 빙어 산점도

 

빙어는 도미에 비해 길이도 무게도 매우 작다. 그리고 빙어도 도미와 비슷하게 길이와 무게가 비례하지만 늘어나는 정도가 조금 다르다는 것을 확인할 수 있다. 이제 데이터가 모두 준비되었으니, 두 데이터를 스스로 구분하기 위한 머신러닝 프로그램을 만들어 보자.

 

 

 

첫 번째 머신러닝 프로그램 

 

알고리즘을 사용하여 도미와 빙어 데이터를 구분하기 전에, 전에 준비한 도미와 빙어 데이터를 하나로 합쳐보자. 

length = bream_length+smelt_length
weight = bream_weight+smelt_weight

 

이렇게 리스트를 합치면 다음과 같이 리스트가 구성된다.

length =[25.4, 26.3, ..., 41.0, 9.8, ... , 15.0] 

weight =[242.0, 290.0, ... , 950.0, 6.7, ... , 19.9]

 

그런데 사이킷런(scikit-learn)이라는 머신러닝 패키지를 사용하려면, 다음과 같이 각 특성의 리스트를 세로 방향으로 늘어뜨린 2차원 리스트를 만들어야 한다. 

[[25.4, 242.0],

 [26.3, 290.0],

    .       .   

    .       .

    .       .

 [25.0, 19.9]]

 

이렇게 만들기 위해서 파이썬의 zip() 함수와 리스트 내포 구문을 사용하면 된다. zip() 함수는 나열된 리스트에서 원소를 하나씩 꺼내주는 역할을 하고, for 반복문을 통해 이렇게 하나씩 꺼낸 데이터에 동일한 작업을 반복해주는 것이다.

 

fish_data = [[l, w] for l, w in zip(length, weight)]

 

예상대로 fish_data가 만들어졌는지 확인하기 위해 print로 출력하면 다음과 같이 성공적으로 만들어졌음을 볼 수 있다. 

 

print(fish_data)

[[25.4, 242.0], [26.3, 290.0], [26.5, 340.0], [29.0, 363.0], [29.0, 430.0], [29.7, 450.0], [29.7, 500.0], [30.0, 390.0], [30.0, 450.0], [30.7, 500.0], [31.0, 475.0], [31.0, 500.0], [31.5, 500.0], [32.0, 340.0], [32.0, 600.0], [32.0, 600.0], [33.0, 700.0], [33.0, 700.0], [33.5, 610.0], [33.5, 650.0], [34.0, 575.0], [34.0, 685.0], [34.5, 620.0], [35.0, 680.0], [35.0, 700.0], [35.0, 725.0], [35.0, 720.0], [36.0, 714.0], [36.0, 850.0], [37.0, 1000.0], [38.5, 920.0], [38.5, 955.0], [39.5, 925.0], [41.0, 975.0], [41.0, 950.0], [9.8, 6.7], [10.5, 7.5], [10.6, 7.0], [11.0, 9.7], [11.2, 9.8], [11.3, 8.7], [11.8, 10.0], [11.8, 9.9], [12.0, 9.8], [12.2, 12.2], [12.4, 13.4], [13.0, 12.2], [14.3, 19.7], [15.0, 19.9]]

 

 

생선 49개의 길이와 무게를 모두 준비했으니, 마지막으로 준비할 데이터는 정답 데이터다. 그런데 컴퓨터는 문자를 직접 이해하지 못하기 때문에 도미와 빙어를 숫자 1과 0으로 표현해보자. 

 

fish_target = [1]*35 + [0]*14
print(fish_target)

[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

 

 

이제 사이킷런 패키지에서 k-최근접 이웃 알고리즘을 구현한 클래스인 KNeighborsClassifier를 임포트하고, 임포트한 KNeighborsClassifier의 객체를 만들자. 그리고 이 객체에 fish-data와 fish_target을 전달하여 도미를 찾기 위한 기준을 학습시킨다. 이러한 과정을 머신러닝에서는 훈련(training)이라고 부르며, 사이킷런에서는 fit() 메서드가 이러한 역할을 한다. 

 

from sklearn.neighbors import KNeighborsClassifier
kn = KNeighborsClassifier()
kn.fit(fish_data, fish_target)

 

객체(또는 모델) kn이 얼마나 잘 훈련되었는지 score() 메서드를 이용하여 평가해 보자. 

*머신러닝에서의 모델은 머신러닝 알고리즘을 구현한 프로그램을 말한다. 

kn.fit(fish_data, fish_target)

1.0

 

이 값을 정확도(accuracy)라고 부르는데, 다시 말해서 이 모델은 정확도가 100%이며 도미와 빙어를 완벽하게 분류했음을 알 수 있다.

 

 

 

k-최근접 이웃 알고리즘

 

위에서 사용한 k-최근접 이웃 알고리즘에 대해 조금 더 자세히 알아보자. 이 알고리즘은 어떤 데이터에 대한 답을 구할 때 주위의 다른 데이터를 보고 다수를 차지하는 것을 정답으로 사용한다. 

 

plt.scatter(bream_length, bream_weight)
plt.scatter(smelt_length, smelt_weight)
plt.scatter(30, 600, marker='^')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

 

 

삼각형으로 보이는 생선 데이터는 주변에 도미 데이터가 많기 때문에, 직관적으로 생선이 도미일 것이라고 판단할 수 있고, 실제로 predict() 메서드를 사용해서 새로운 데이터의 정답을 예측해봐도 도미라고 판단하는 것을 확인할 수 있다. 

 

kn.predict([[30, 600]])

array([1]) -> 도미

 

 

(정리) 도미와 빙어 분류

 

혼공머신은 도미와 빙어를 구분하기 위해 첫 번째 머신러닝 프로그램을 만들었다. 먼저 도미 35마리와 빙어 14마리의 길이와 무게를 측정하여 파이썬 리스트로 만들고, 이 데이터를 합쳐 2차원 리스트의 데이터를 준비했다. 

 

혼공머신이 사용한 머신러닝 알고리즘은 k-최근접 이웃 알고리즘이다. 사이킷런의 k-최근접 이웃 알고리즘은 주변에서 가장 가까운 5개의 데이터를 보고 다수결의 원칙에 따라 데이터를 예측한다.

 

도미와 빙어를 분류하는 문제를 풀면서 KNeighborsClassifier 클래스의 fit(), score(), predict() 메서드를 사용해 보았다. 그리고 k-최근접 이웃 알고리즘의 특징을 알아보았다. 

 

•  fit() : 사이킷런 모델을 훈련할 때 사용하는 메서드. 처음 두 매개변수로 훈련에 사용할 특성과 정답 데이터를 전달
• score() : 훈련된 사이킷런 모델의 성능 측정. 처음 두 매개변수로 특성과 정답 데이터를 전달. 먼저 predict() 메서드로 예측을 수행한 다음 분류 모델일 경우 정답과 비교하여 올바르게 예측한 개수의 비율 반환
• predict() : 사이킷런 모델을 훈련하여 예측할 때 사용하는 메서드. 특성 데이터 하나만 매개변수로 받음
• k-최근접 이웃 알고리즘 : 가장 간단한 머신러닝 알고리즘 중 하나로, 어떤 규칙을 찾기보다는 전체 데이터를 메모리에 가지고 있는 것이 전부라는 특징이 있음

 

 

출처 : 박해선, 혼자 공부하는 머신러닝+딥러닝, 한빛미디어, 2021