REGULARISASI REGRESI LINIER BERGANDA PADA DATA BERDIMENSI TINGGI UNTUK MENGATASI EFEK MULTIKOLINEARITAS

Muhammat Rayyan Nasution, S Sutarman, Open Darnius, Elly Rosmaini

Abstract


Penelitian ini membahas model regresi linier berganda yang diberikan regularisasi dalam kasus data berdimensi tinggi (𝑝 ≫ 𝑛), bertujuan untuk mengatasi efek multikolinearitas yang terdiri dari efek singularitas dan kualitas model yang buruk. Dalam penelitian ini mengembangkan model regresi linier berganda dengan menambahkan parameter penalti pada fungsi tujuan. Adapun data yang digunakan adalah data primer yang dibangkitkan dengan bahasa pemrograman python dengan tiga skenario sesuai dari penelitian sebelumnya. Metode yang digunakan yaitu Ordinary Least Squared (OLS), Least Absolute Shrinkage and Selection Operator (LASSO) dan Ridge dalam mengestimasi parameter model regresi. Mean Squared Error (MSE) digunakan sebagai metrik evaluasi kinerja model yang dibangun. Dari hasil simulasi yang dilakukan, diperoleh bahwa metode LASSO memberikan kualitas model terbaik dengan memberikan nilai MSE terendah dibandingkan model lainnya.

Keywords


Data berdimensi tinggi; LASSO; Multikolinearitas; Regresi linier berganda; Regularisasi; Ridge

References


Amaratunga, D., & Cabrera, J. (2016). High-dimensional data. 44(1), 3–9.

Bickel, P. J., & Li, B. (2006). Regularization in statistics. Test, 15(2), 271–344. https://doi.org/10.1007/BF02607055

Hastie, T., Tibshirani, R., Hastie, M. W., Tibshirani, @bullet, & Wainwright, @bullet. (2016). Statistical Learning with Sparsity Monographs on Statistics and Applied Probability 143 143 copy to come from copywriter for review. Crc, 362.

Hussain, J. N. (2020). High dimensional data challenges in estimating multiple linear regression. Journal of Physics: Conference Series, 1591(1). https://doi.org/10.1088/1742-6596/1591/1/012035

James, G., Witten, & R, T. (2013). An Introduction Learning with Applications in R. Springer.

Jiawei Han, M. K. and J. P. (2012). Data Mining: Concepts and Techniques (Third Edit). Morgan Kaufmann. https://doi.org/https://doi.org/10.1016/C2009-0-61819-5

Kim, Y., Hao, J., Mallavarapu, T., Park, J., & Kang, M. (2019). Hi-LASSO: High-Dimensional LASSO. IEEE Access, 7, 44562–44573. https://doi.org/10.1109/ACCESS.2019.2909071

Pourahmadi, M. (2013). High-Dimensional Covariance Estimation (D. J. et al Balding (ed.)). Wiley.




DOI: https://doi.org/10.30743/mes.v10i1.9469

Refbacks

  • There are currently no refbacks.