博客

機器學習中的回歸是什么意思？

2022-05-09來源：CSDN圣普倫官方號

目錄

機器學習中的回歸

回歸的類型

線性回歸

邏輯回歸

多項式回歸

支持向量回歸

決策樹回歸

森林隨機回歸

機器學習中的回歸

回歸分析是一種統計方法,于對具有一個或多個自變量的因變量(目標變量)和自變量(預測變量)之間的關系進行建模。具體地說，回歸分析有助于我們理解在其他自變量保持固定的情況下，自變量的值對應于自變量的變化方式。它可以預

測連續/實際值,例如溫度,年齡,工資,價格等。

回歸是一種有監督的學習技術，有助于發現變量之間的相關性,并使我們能夠基于一個或多 個預測變量來預測連續輸出變量。它主要用于預測，預測，時間序列建模以及確定變量之間的因果關系。

在回歸中，我們在最適合給定數據點的變量之間繪制圖形,使用此圖形，機器學習模型可以對數據進行預測。用簡單的話說，"回歸顯示一條線或曲線， 它穿過目標預測圖上的所有數據點，以使數據點和回歸線之間的垂直距離最小。“數

據 點和線之間的距離表明模型是否已捕獲牢固的關系。

回歸的類型

●線性回歸

●邏輯回歸

●多項式回歸

●支持向量回歸

●決策樹回歸

●森林隨機回歸

線性回歸

線性回歸顯示自變量(X軸)和因變量(Y軸)之間的線性關系，因此稱為線性回歸。如果只有一個輸入變量(x),則這種線性回歸稱為簡單線性回歸。如果輸入變量不止一個，則這種線性回歸稱為多元線性回歸。

?

?

?邏輯回歸

邏輯回歸，通常作為分類算法，只可以解決二分類問題。最終得出的結果是一個概率值。邏輯回歸使用S型函數或logistic 函數，它是一個復雜的成本函數。

?

?

?多項式回歸

多項式回歸，回歸函數是回歸變量多項式的回歸。多項式回歸模型是線性回歸模型的一種，此時回歸函數關于回歸系數是線性的。使用多項式回歸可以使回歸模型擬合得更好。

?

?

?支持向量回歸

支持向量機是具有相關學習算法的監督學習模型，用于分析用于分類和回歸分析的數據。在支持向量回歸中，擬合數據所需的直線稱為超平面。 支持向量機算法的目標是在 n 維空間中找到一個對數據點進行明確分類的超平面。超平面

兩側最接近超平面的數據點稱為支持向量。這些影響超平面的位置和方向，從而有助于構建 SVM。

在SVR中，我們總是嘗試確定具有最大余量的超平面，以便在該余量中覆蓋最大數量的數據點。SVR的主要 目標是考慮邊界線內的最大數據點，并詛超平面(最佳擬合線)必須包含最大數量的數據點?？紤]下圖（藍線稱為超平面，其他兩

線稱為邊界線）：

?

?

?決策樹回歸

與線性回歸不同，回歸樹是將“空間”進行劃分，每個空間則對應一個統一的預測值。決策樹回歸構建樹狀結構,其中每個內部節點代表一個屬性的"測試” ，每個分支代表測試的結果，每個葉子節點代表最終的決策或結果。從根節點/父節

點(數據集)開始構建決策樹，該樹分為左右子節點(數據集的子集)。這些子節點進一步分為其子節點， 它們本身成為這些節點的父節點。如下圖：

?

?

?森林隨機回歸

隨機森林是一種監督學習算法。 就像你所看到的它的名字一樣，它創建了一個森林，并使它擁有某種方式的隨機性。 所構建的“森林”是決策樹的集成，大部分時候都是用“bagging”方法訓練的。 bagging方法，即bootstrap

aggregating，采用的是隨機有放回的選擇訓練數據然后構造分類器，最后組合學習到的模型來增加整體的效果。

簡而言之：隨機森林建立了多個決策樹，并將它們合并在一起以獲得更準確和穩定的預測。隨機森林的一大優勢在于它既可用于分類，也可用于回歸問題，這兩類問題恰好構成了當前的大多數機器學習系統所需要面對的。 接下來，將

探討隨機森林如何用于分類問題，因為分類有時被認為是機器學習的基石。 下圖，你可以看到兩棵樹的隨機森林是什么樣子的：

?

?

?或者這個樣子

?

?

?機器學習雖然聽起來難度很大，還有各類回歸算法要學，各種庫要學習，但只要你擁有一點計算機基礎，其實學起來是非常有趣和有成就感的。

如果你計劃在機器學習領域深耕，可以參加simplilearn圣普倫的機器學習訓練營，課程包括58小時的應用學習、互動實驗室、4個實踐項目和指導，通過圣普倫機器學習認證培訓，你將會掌握機器學習認證考試所需的機器學習知識，比

如數據預處理、監督學習和無監督學習、時間序列建模、回歸以及文本挖掘等。