Convolution은 머신러닝 시스템을 향상시킬 수 있는 세 가지 중요한 아이디어를 활용한다. 각각은 sparse interactions, parameter sharing, equivariant representations 이다. 컨볼루션 네트워크는 주로 sparse interaction을 가진다. sparse interaction은 sparse connectivity 또는... Read more »

Stochastic Gradient Descent Stochastic Gradient Descent(SGD)와 그 변형들은 머신러닝과 특히 딥러닝에서 가장 많이 사용된 최적화 알고리즘이다. SGD 알고리즘의 가장 중요한 파라미터는 learning rate이다. 실제로 시간이 지나면서 점차 learning rate를 줄일... Read more »

머신러닝을 위한 최적화 알고리즘은 일반적으로 전체 비용 함수의 일부만 사용하여 추정된 비용 함수의 기대값에 기초하여 파라미터에 대한 각각의 업데이트를 계산한다. 최적화 알고리즘의 대부분에서 사용되는 목적함수 $J$의 성질도 트레이닝셋에 대한 기대(expextations)이다.... Read more »

Dropout은 광범위한 모델 family를 정규화하는 계산적으로 효율적이고 강력한 방법을 제공한다. 드랍아웃은 매우 큰 신경망의 앙상블(ensembles)에 실용적인 bagging을 만드는 방법이라고 생각할 수 있다. Bagging은 다수의 모델을 훈련시키고 각 테스트 예제에서 다양한... Read more »

정규화는 딥러닝의 출현 이전에도 수십년 동안 사용되어 왔다. 선형 회귀모형이나 로지스틱 회귀모형 같은 선형 모델은 간단하고 효과적인 정규화가 가능하다. 많은 정규화 방법은 목적함수 $J$에 파라미터 norm penalty $\Omega(\theta)$를 추가하여 모델의... Read more »

비용 함수의 선택은 출력 단위(output unit)의 선택과 밀접하게 연결된다. 대부분의 경우, 단순하게 데이터 분포와 모델 분포 사이의 cross-entropy를 사용한다. 우리는 feedforward 네트워크가 $h=f(x;\theta)$로 정의된 숨겨진 특징(hidden features)을 제공한다고 가정한다. 출력... Read more »

일반화 (Generalization) 머신러닝에서는 이미 훈련된 모델에 사용된 입력값 뿐만 아니라 새로운 입력값에 대해서도 모델이 잘 작동하도록 하는 것이 중요하다. 새로운 입력값에도 모델이 잘 작동하는 능력을 일반화라고 한다. 최적화와 구분하여 머신... Read more »

머신러닝(machine learning)은 사람에 의해 디자인된 프로그램(fixed programs)으로 풀기 너무 어려운 일(task)을 다룰 수 있도록 해준다. 스스로 배우는 과정은 task가 아니며 머신러닝 task는 일반적으로 머신러닝 시스템이 예시(example)를 어떻게 처리해야하는지에 관한 것이다.... Read more »

Prediction ABM의 adaptive한 특성은 항상 예측을 포함한다. 예측은 각 대안의 결과에 대한 기대이고 아주 간단한 에이전트의 결정도 예측을 포함한다. 심지어 극단적으로 간단한 예측을 사용해도 complex behavior가 나타날 수 있다. ABM의... Read more »

Adaptive Behavior Adaptive Traits를 최적화하는 과정은 다음과 같다. 대체할 수 있는것(alternatives)을 확인한다. 유효하지 않은 것은 제거한다. 각각의 alternatives가 목적 함수를 얼마나 충족하는지에 따라 유효한 것을 평가한다. 가장 좋은 목적함수 값을... Read more »