之前我们分析Logistic Regression，通过求p(y|x)来判定数据属于哪一个输出分类，这种直接判定的方法称为Discriminative Learning Algorithms，但还有另一种思路去接此问题，称为Generative Learning Algorithms，其中包括本文要分析的Gaussian Discriminant Analysis 以及 。
这也给了我们一种思路，当p(y|x)不好求解时，转向p(x|y)，假设p(x|y)服从高斯分布，然后对根据分类的类别(如y(0,1))，对两个分类建立高斯模型，而后判定新的数据落在哪个模型的概率更高。从而求解原始问题。
首先，两个分类的高斯模型如下，其中涉及到了几个参数
而模型的等高线示意图则如下，可以看到我们在两个分类中，共用了一个协方差
而后，我们按照贝叶斯公式来求解原问题即可。
和Logistic Regression相比，GDA需要假设数据符合高斯分布，在此假设的前提下，GDA表现更好，且需要更少的训练数据即可达成效果，但在非高斯分布的情况下，Logistic Regression更佳。