U statistici , regresija najmanjeg ugla (LARS) algoritam je za prilagođavanje modela linearne regresije visokodimenzionalnim podacima, koji je razvio Bradley Efron , Trevor Hastie , Iain Johnstone i Robert Tibshirani .
Pretpostavimo da očekujemo da će varijabla odgovora biti određena linearnom kombinacijom podskupine potencijalnih kovarijacija. Tada algoritam LARS pruža način za izradu procjene koje varijable treba uključiti, kao i njihove koeficijente.
Umjesto da daje vektorski rezultat, rješenje LARS sastoji se od krivulje koja označava rješenje za svaku vrijednost L1 norme vektora parametra. Algoritam je sličan prosljeđivanju postupne regresije , ali umjesto uključivanja varijabli u svakom koraku, procijenjeni parametri povećavaju se u smjeru jednakomjernom korelacijama svakog s ostatkom.
Počnite sa svim koeficijentima β jednakim nuli.
Pronađite prediktor najviše korelira s y
Povećava koeficijent u smjeru znaka njegove korelacije s y . Uzmite ostatke
usput. Zaustavite se kada neki drugi prediktor
ima jednaku korelaciju s r kao
.
Povećati ,
u njihovom smjeru najmanjih kvadrata, sve dok neki drugi prediktor
ne bude imao toliko korelacije s rezidualnim r .
Povećaj ,
,
u njihovom zajedničkom smjeru najmanjih kvadrata, sve dok neki drugi prediktor
ne bude imao toliko korelacije s rezidualnim r.
Skup podataka korišćen za treniranje modela je "Residential Building Data Set".
https://hr.wikiarabi.org/wiki/Least-angle_regression
https://www.datatechnotes.com/2019/11/least-angle-regression-example-in-python.html
https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.Lars.html
https://scikit-learn.org/stable/auto_examples/linear_model/plot_lasso_lars.html
https://github.com/hughperkins/selfstudy-LARS/blob/master/test_lars.ipynb
https://machinelearningmastery.com/lars-regression-with-python/
https://archive.ics.uci.edu/ml/datasets/Residential+Building+Data+Set