機器學習中的回歸是什么意思?
2022-05-09來源:CSDN圣普倫官方號
目錄
機器學習中的回歸
回歸的類型
線性回歸
邏輯回歸
多項式回歸
支持向量回歸
決策樹回歸
森林隨機回歸
機器學習中的回歸
回歸分析是一種統計方法,于對具有一個或多個自變量的因變量(目標變量)和自變量(預測變量)之間的關系進行建模。具體地說,回歸分析有助于我們理解在其他自變量保持固定的情況下,自變量的值對應于自變量的變化方式。它可以預
測連續/實際值,例如溫度,年齡,工資,價格等。
回歸是一種有監督的學習技術,有助于發現變量之間的相關性,并使我們能夠基于一個或多 個預測變量來預測連續輸出變量。它主要用于預測,預測,時間序列建模以及確定變量之間的因果關系。
在回歸中,我們在最適合給定數據點的變量之間繪制圖形,使用此圖形,機器學習模型可以對數據進行預測。用簡單的話說,"回歸顯示一條線或曲線, 它穿過目標預測圖上的所有數據點,以使數據點和回歸線之間的垂直距離最小。“數
據 點和線之間的距離表明模型是否已捕獲牢固的關系。
回歸的類型
●線性回歸
●邏輯回歸
●多項式回歸
●支持向量回歸
●決策樹回歸
●森林隨機回歸
線性回歸
線性回歸顯示自變量(X軸)和因變量(Y軸)之間的線性關系,因此稱為線性回歸。如果只有一個輸入變量(x),則這種線性回歸稱為簡單線性回歸。如果輸入變量不止一個,則這種線性回歸稱為多元線性回歸。
?
?邏輯回歸
邏輯回歸,通常作為分類算法,只可以解決二分類問題。最終得出的結果是一個概率值。邏輯回歸使用S型函數或logistic 函數,它是一個復雜的成本函數。
?
?多項式回歸
多項式回歸,回歸函數是回歸變量多項式的回歸。多項式回歸模型是線性回歸模型的一種,此時回歸函數關于回歸系數是線性的。使用多項式回歸可以使回歸模型擬合得更好。
?
?支持向量回歸
支持向量機是具有相關學習算法的監督學習模型,用于分析用于分類和回歸分析的數據。在支持向量回歸中,擬合數據所需的直線稱為超平面。 支持向量機算法的目標是在 n 維空間中找到一個對數據點進行明確分類的超平面。超平面
兩側最接近超平面的數據點稱為支持向量。這些影響超平面的位置和方向,從而有助于構建 SVM。
在SVR中,我們總是嘗試確定具有最大余量的超平面,以便在該余量中覆蓋最大數量的數據點。SVR的主要 目標是考慮邊界線內的最大數據點,并詛超平面(最佳擬合線)必須包含最大數量的數據點??紤]下圖(藍線稱為超平面,其他兩
線稱為邊界線):
?
?決策樹回歸
與線性回歸不同,回歸樹是將“空間”進行劃分,每個空間則對應一個統一的預測值。決策樹回歸構建樹狀結構,其中每個內部節點代表一個屬性的"測試” ,每個分支代表測試的結果,每個葉子節點代表最終的決策或結果。從根節點/父節
點(數據集)開始構建決策樹,該樹分為左右子節點(數據集的子集)。這些子節點進一步分為其子節點, 它們本身成為這些節點的父節點。如下圖:
?
?森林隨機回歸
隨機森林是一種監督學習算法。 就像你所看到的它的名字一樣,它創建了一個森林,并使它擁有某種方式的隨機性。 所構建的“森林”是決策樹的集成,大部分時候都是用“bagging”方法訓練的。 bagging方法,即bootstrap
aggregating,采用的是隨機有放回的選擇訓練數據然后構造分類器,最后組合學習到的模型來增加整體的效果。
簡而言之:隨機森林建立了多個決策樹,并將它們合并在一起以獲得更準確和穩定的預測。隨機森林的一大優勢在于它既可用于分類,也可用于回歸問題,這兩類問題恰好構成了當前的大多數機器學習系統所需要面對的。 接下來,將
探討隨機森林如何用于分類問題,因為分類有時被認為是機器學習的基石。 下圖,你可以看到兩棵樹的隨機森林是什么樣子的:
?
?或者這個樣子
?
?機器學習雖然聽起來難度很大,還有各類回歸算法要學,各種庫要學習,但只要你擁有一點計算機基礎,其實學起來是非常有趣和有成就感的。
如果你計劃在機器學習領域深耕,可以參加simplilearn圣普倫的機器學習訓練營,課程包括58小時的應用學習、互動實驗室、4個實踐項目和指導,通過圣普倫機器學習認證培訓,你將會掌握機器學習認證考試所需的機器學習知識,比
如數據預處理、監督學習和無監督學習、時間序列建模、回歸以及文本挖掘等。