算法:
$\qquad$ 输入:训练数据集$T=\{(x_1,y_1),(x_2,y_2),\ldots,(x_N,y_N)\}$
其中,$x_i\in \Bbb R^n$为实例的特征向量,$y_i \in \{c_1,c_2,\ldots,c_K\}$为实例的类别,$i=1,2,\ldots,N;$ 实例特征向量$x;$
$\qquad$ 输出:$x$ 所属的类 $y$ .
$\qquad$ (1)根据给定的距离度量,在训练集$T$中找出与$x$最近邻的$k$个点,涵盖这$k$个点的$x$的领域记作 $N_k(x)$ ;
$\qquad$ (2)在 $N_k(x)$ 中根据分类决策规则(如多数表决)决定 $x$ 的类别 $y$ :
\[y=arg\max_{c_j} \sum_{x_i\in N_k(x)} I(y_i=c_j), \quad i=1,2,\dots,N;\quad j=1,2\ldots,K\]