머신러닝(machine learning)은 사람에 의해 디자인된 프로그램(fixed programs)으로 풀기 너무 어려운 일(task)을 다룰 수 있도록 해준다. 스스로 배우는 과정은 task가 아니며 머신러닝 task는 일반적으로 머신러닝 시스템이 예시(example)를 어떻게 처리해야하는지에 관한 것이다. 하나의 예시로 특징(features) $x_i$를 모으는 것이 있다. 이를 feature collection이라고 하며 이미지의 특징은 주로 픽셀(pixel)의 값이다.
분류 (Classification)
입력값을 $k$개의 카테고리로 구체화하기 위한 방법이다. 분류의 예시로 객체인식 (object recognition)이 있으며 이는 이미지가 input으로 주어졌을 때 이미지 속 객체를 인식하는 수치적인(numeric) 코드가 output으로 나오는 것이다. 알고리즘을 학습하는 것은 $f : \mathbb{R}^{n} \rightarrow\{1, \ldots, k\}$와 같이 함수를 만드는 것이고, $y=f(x)$일 때 input인 vector $x$에 의해 나온 output $y$에 따라 카테고리가 할당된다.
누락된 입력이 있는 분류 (Classification with Missing Inputs)
누락된 입력이 있는 경우, 하나의 분류 함수만 사용하지 말고 함수 집합 (Set of Functions)으로 알고리즘을 학습시켜야 한다. 함수 집합은 누락된 입력에 대해 각각 다른 부분집합을 가지는 $x$에 대한 함수들이다. 만약 함수 집합의 크기가 크다면 관련된 모든 변수를 확률 분포로 학습시키는 것이 누락된 변수를 무시할 수 있어 더 좋다. $n$개의 입력변수에 대해 $2^n$개의 분류 함수를 모두 포함할 수도 있지만 알고리즘을 학습시키기 위해 확률 분포가 결합된 단일 함수가 필요하다.
회귀분석 (Regression)
주어진 입력값의 수치적인 값을 예측하기 위한 방법이다 ($f : \mathbb{R}^{n} \rightarrow \mathbb{R}$). Output의 포멧이 다르다는 점을 제외하고 분류(classification)와 비슷하다. 예를 들어 피보험자가 부담하게 될 예상 청구 금액 등을 예측하는데 사용할 수 있다.
전사 (Transcription)
상대적으로 구조적이지 않은 종류의 데이터를 개별적인 원문(textual) 형식으로 바꾸는 것이다. 예시로는 광학적 문자 인식 (optical character recognition), 음성 인식 (speech recognition) 등이 있다.
기계번역 (Machine Translation)
입력값은 이미 어떤 언어 규칙 순서로 구성되어 있고 컴퓨터 프로그램은 이를 다른 언어 규칙 순서로 변환해야한다.
구조적 출력 (Structured Output)
Structured Ouput은 각 요소들 사이의 중요한 관계를 가지는 벡터나 다수의 값을 포함하는 또 다른 데이터 구조이다. 이것은 넓은 범주로 전사(transcription)와 번역(translation) 작업을 포함한다. 예를 들어 구문 분석이나, 픽셀별로 이미지를 분할하는 것 등이 있다.
이상 감지 (Anonmaly Detection)
컴퓨터 프로그램은 일련의 사건이나 객체에 대해 살피면서 비정상적이거나 이례적인 것을 찾아 표시한다. 예를 들어 신용카드 사기를 감지하는 것이 있다.
합성 및 샘플링 (Synthesis and Sampling)
트레이닝 데이터와 유사한 새로운 예제를 생성하는 방법이다. 예를 들어 음성 합성 (speech synthesis) 등이 있고 구조적 출력 작업의 일종이지만 추가적인 조건(qualification)이 있다. 각 인풋에 대해 유일한 아웃풋은 없고 아웃풋이 더 자연스럽고 사실적으로 보이도록 많은 양의 변화를 준다.
누락값 대체 (Imputation of Missing Values)
새로운 예시 $x \in \mathbb{R}^n$가 주어지지만 $x$의 일부 항목 $x_i$가 누락되어 있다. 알고리즘은 누락된 항목값에 대한 예측을 포함해야한다.
노이즈 제거 (Denoising)
노이즈가 없는 clean example $x \in \mathbb{R}^n$에 알 수 없는 변형이 생겨 입력값에 변질된 example $\tilde{x} \in \mathbb{R}^{n}$이 포함되어 주어지는 경우가 있다. 따라서 변질된 $\tilde{x}$로 부터 clean $x$를 예측하거나 좀더 일반적으로 조건부 확률 $p(x|\tilde{x})$을 예측한다.
Density Estimation or Probability Mass Function Estimation
함수 $ p_{model} : \mathbb{R}^n \rightarrow \mathbb{R}$에서 $p_{model}$은 $x$가 연속(continuous)일 경우 확률밀도함수(pdf), $x$가 이산(discrete)일 경우 확률질량함수(pmf)로 해석된다. example들이 어디에서 타이트하게 군집화되는지와 어디서 발생할 가능성이 낮은지 알아야 한다. 그러면 다른 task들도 해결할 수 있는 분포에 대한 계산을 수행할 수 있다.
분류 (Classification)
입력값을 $k$개의 카테고리로 구체화하기 위한 방법이다. 분류의 예시로 객체인식 (object recognition)이 있으며 이는 이미지가 input으로 주어졌을 때 이미지 속 객체를 인식하는 수치적인(numeric) 코드가 output으로 나오는 것이다. 알고리즘을 학습하는 것은 $f : \mathbb{R}^{n} \rightarrow\{1, \ldots, k\}$와 같이 함수를 만드는 것이고, $y=f(x)$일 때 input인 vector $x$에 의해 나온 output $y$에 따라 카테고리가 할당된다.
누락된 입력이 있는 분류 (Classification with Missing Inputs)
누락된 입력이 있는 경우, 하나의 분류 함수만 사용하지 말고 함수 집합 (Set of Functions)으로 알고리즘을 학습시켜야 한다. 함수 집합은 누락된 입력에 대해 각각 다른 부분집합을 가지는 $x$에 대한 함수들이다. 만약 함수 집합의 크기가 크다면 관련된 모든 변수를 확률 분포로 학습시키는 것이 누락된 변수를 무시할 수 있어 더 좋다. $n$개의 입력변수에 대해 $2^n$개의 분류 함수를 모두 포함할 수도 있지만 알고리즘을 학습시키기 위해 확률 분포가 결합된 단일 함수가 필요하다.
회귀분석 (Regression)
주어진 입력값의 수치적인 값을 예측하기 위한 방법이다 ($f : \mathbb{R}^{n} \rightarrow \mathbb{R}$). Output의 포멧이 다르다는 점을 제외하고 분류(classification)와 비슷하다. 예를 들어 피보험자가 부담하게 될 예상 청구 금액 등을 예측하는데 사용할 수 있다.
전사 (Transcription)
상대적으로 구조적이지 않은 종류의 데이터를 개별적인 원문(textual) 형식으로 바꾸는 것이다. 예시로는 광학적 문자 인식 (optical character recognition), 음성 인식 (speech recognition) 등이 있다.
기계번역 (Machine Translation)
입력값은 이미 어떤 언어 규칙 순서로 구성되어 있고 컴퓨터 프로그램은 이를 다른 언어 규칙 순서로 변환해야한다.
구조적 출력 (Structured Output)
Structured Ouput은 각 요소들 사이의 중요한 관계를 가지는 벡터나 다수의 값을 포함하는 또 다른 데이터 구조이다. 이것은 넓은 범주로 전사(transcription)와 번역(translation) 작업을 포함한다. 예를 들어 구문 분석이나, 픽셀별로 이미지를 분할하는 것 등이 있다.
이상 감지 (Anonmaly Detection)
컴퓨터 프로그램은 일련의 사건이나 객체에 대해 살피면서 비정상적이거나 이례적인 것을 찾아 표시한다. 예를 들어 신용카드 사기를 감지하는 것이 있다.
합성 및 샘플링 (Synthesis and Sampling)
트레이닝 데이터와 유사한 새로운 예제를 생성하는 방법이다. 예를 들어 음성 합성 (speech synthesis) 등이 있고 구조적 출력 작업의 일종이지만 추가적인 조건(qualification)이 있다. 각 인풋에 대해 유일한 아웃풋은 없고 아웃풋이 더 자연스럽고 사실적으로 보이도록 많은 양의 변화를 준다.
누락값 대체 (Imputation of Missing Values)
새로운 예시 $x \in \mathbb{R}^n$가 주어지지만 $x$의 일부 항목 $x_i$가 누락되어 있다. 알고리즘은 누락된 항목값에 대한 예측을 포함해야한다.
노이즈 제거 (Denoising)
노이즈가 없는 clean example $x \in \mathbb{R}^n$에 알 수 없는 변형이 생겨 입력값에 변질된 example $\tilde{x} \in \mathbb{R}^{n}$이 포함되어 주어지는 경우가 있다. 따라서 변질된 $\tilde{x}$로 부터 clean $x$를 예측하거나 좀더 일반적으로 조건부 확률 $p(x|\tilde{x})$을 예측한다.
Density Estimation or Probability Mass Function Estimation
함수 $ p_{model} : \mathbb{R}^n \rightarrow \mathbb{R}$에서 $p_{model}$은 $x$가 연속(continuous)일 경우 확률밀도함수(pdf), $x$가 이산(discrete)일 경우 확률질량함수(pmf)로 해석된다. example들이 어디에서 타이트하게 군집화되는지와 어디서 발생할 가능성이 낮은지 알아야 한다. 그러면 다른 task들도 해결할 수 있는 분포에 대한 계산을 수행할 수 있다.