vlambda博客
学习文章列表

线性回归Linear regression

最早的回归类型，设计于250年前； 设计人员可以很容易地由人类对小数据进行计算。 可用于插值，但不适用于预测分析； 当应用于现代数据时 ， 存在许多缺点 ，例如，对极值和互相关性（在变量域和观察域中）的敏感性，并且可能导致过度拟合。 好一些的解决方案则是进行分段线性回归，尤其是对于时间序列数据。

逻辑回归Logistic regression

当因变量为二进制（成功或失败的机会，例如，对于新测试的药物或信用卡交易）时，广泛应用于临床试验，评分和欺诈检测。 遭遇着与线性回归相同的缺点（不稳定，依赖模型），而且当计算逻辑回归系数时会涉及使用复杂的迭代，数值不稳定的算法。 转换因变量（对数转换）之后，可以通过线性回归很好地近似。 某些版本（Poisson泊松或Cox回归）已设计用于非二进制响应，分类数据（分类器），有序整数响应（年龄组）甚至连续响应（回归树）。

岭回归Ridge regression

线性回归的一种更强大的版本，它对回归系数进行了限制，以使得回归系数更加自然，较少几率造成过度拟合并且更易于解释。

套索回归Lasso regression

类似于岭回归，但自动执行变量的约简（ 允许回归系数为零 ）。

生态回归Ecologic regression

如果你的数据分为几个相当大的核心层、组或区域，则每个层都执行一次回归。 在这种情况下，要当心大数据的诅咒 ：如果执行数百万次回归，则某些模型将会完全错误，而最好模型的将被人为拟合优度的噪音所遮盖：如果要尝试识别极端事件和因果关系 （全球变暖，罕见疾病或极端洪水模型）这将会是一个大问题。

异常空间中的回归Regression in unusual spaces

例如：检测陨石碎片是否来自同一天体，或对可口可乐配方进行逆向工程。

逻辑回归Logic regression

当所有变量均为二进制时，通常在评分算法中使用。 它是逻辑回归的一种专门化、更可靠的形式（用于欺诈检测，其中每个变量均为0/1规则），其中所有变量都已归类为二进制变量。

贝叶斯回归Bayesian regression

这是一种受惩罚的似然估计器 ，因此有点类似于岭回归：比传统的线性回归更灵活，更稳定。 它假设你具有回归系数和误差项的先验知识-放宽了误差必须具有正态分布的假设（误差必须仍然独立于所有观察值）。然而，在实践中，先验知识被转换为人工（共轭）先验-该技术的弱点。

分位数回归Quantile regression

与极端事件结合使用。

LAD回归LAD regression

类似于线性回归，但使用绝对值（L1空间）而不是平方（L2空间），更稳定。

刀切回归 Jackknife regression

这是一种新型的回归，也用作常规聚类和数据约简技术。 它解决了传统回归的所有弊端。 它为回归问题提供了一种近似但非常准确的稳健解决方案，并且可以与相关和/或非正态的“独立”变量（例如，根据具有多种模式的混合模型分配的数据）一起使用。  它可以很好地近似线性回归，但是它更健大，可以在违反传统回归假设（非相关变量，正态数据，均方差）的情况下运行。

注意：Jackknife回归与1982年发布的Bradley Efron的Jackknife、bootstrap和其他重新采样技术无关。

其他解决方案