Question

1. 由于决策树使用平行于坐标轴的拆分，使得它对于一些很简单的问题很费力。

   比如：当 $ MathJax-Element-457 $ 时为正类；否则为反类。这种拆分边界并不平行于坐标轴，使得决策树会用许多层的拆分来逼近这个边界。

2. 解决方案是：多变量决策树multivariate decision tree 。

   • 传统的单变量决策树的分类边界每一段是与坐标轴平行的，每一段划分都直接对应了某个属性的取值。
   • 多变量决策树的分类边界可以为斜线，它可以大大简化了决策树的模型。

3. 多变量决策树中，内部结点不再是针对某个属性，而是对属性的线性组合。即：每个内部结点是一个 $ MathJax-Element-458 $ 的线性分类器。其中：

   • $ MathJax-Element-459 $ 是属性 $ MathJax-Element-460 $ 的权重。
   • $ MathJax-Element-461 $ 为变量的数量。
   • $ MathJax-Element-462 $ 表示这些变量的约束。

4. 与传统的单变量决策树不同，在多变量决策树的学习过程中，不是为每内部结点寻找一个最优划分属性，而是试图建立一个合适的线性分类器。