Bab 3: Regresi Multivariat

Memperluas regresi linier ke banyak variabel — fondasi utama jaringan saraf tiruan

1. Dari Satu Variabel ke Banyak Variabel

Pada bab sebelumnya, kita telah mempelajari regresi linier sederhana dengan satu input dan satu output:

y = wx + b

Namun di dunia nyata, prediksi jarang hanya bergantung pada satu faktor saja. Contoh:

Harga rumah bergantung pada: luas tanah, jumlah kamar, lokasi, tahun dibangun, dan lain-lain
Nilai mahasiswa bergantung pada: jam belajar, kehadiran, nilai tugas, nilai quiz
Harga saham bergantung pada: volume perdagangan, sentimen pasar, suku bunga, inflasi

Untuk menangani banyak faktor (fitur/variabel), kita menggunakan Multiple Linear Regression (Regresi Linier Berganda):

y = w₁x₁ + w₂x₂ + ... + wₙxₙ + b

Setiap fitur x_i memiliki bobot (weight) w_i sendiri yang menentukan seberapa besar pengaruh fitur tersebut terhadap prediksi.

Notasi Vektor: Persamaan di atas bisa ditulis secara ringkas sebagai y = W · X + b, di mana W · X adalah dot product (perkalian titik) antara vektor bobot W dan vektor fitur X.

2. Visualisasi Multivariat (2 Fitur → 1 Output)

Di bawah ini adalah visualisasi pseudo-3D dari regresi dengan 2 fitur (x₁ dan x₂) memprediksi y. Atur bobot dan bias untuk melihat bagaimana bidang regresi berubah.

y = 0.50 · x₁ + 0.50 · x₂ + 0.00

w₁: 0.50

w₂: 0.50

b: 0.00

Geser slider untuk mengubah bidang regresi

3. Notasi Matriks

Ketika kita memiliki n sampel data, masing-masing dengan m fitur, kita bisa menyusunnya sebagai matriks:

Matriks X berukuran n × m (baris = sampel, kolom = fitur)
Vektor W berukuran m × 1 (bobot untuk setiap fitur)
Prediksi: Ŷ = X · W + b

Animasi di bawah menunjukkan proses perkalian matriks baris demi baris:

Tekan "Langkah Berikutnya" untuk melihat perkalian baris demi baris

4. Cost Function (MSE)

Untuk mengukur seberapa baik model kita, digunakan Mean Squared Error:

MSE = (1/n) Σ(y_i - ŷ_i)²

Setiap selisih antara nilai aktual dan prediksi dikuadratkan, kemudian dirata-ratakan. Semakin kecil MSE, semakin baik modelnya.

w₁: 0.50

w₂: 0.50

MSE: --

5. Contoh Konkret: Prediksi Harga Rumah

Berikut data kecil berisi 6 rumah. Fitur: Luas (m²) dan Jumlah Kamar. Target: Harga (juta Rp).

#	Luas (m²)	Jumlah Kamar	Harga Aktual (juta Rp)	Prediksi	Error²
MSE =					--

w₁ (Luas):

w₂ (Kamar):

b (Bias):

6. Hubungan dengan Neural Network

Sebuah neuron tunggal dengan banyak input sebenarnya adalah regresi linier multivariat ditambah fungsi aktivasi!

Neuron = Regresi Multivariat + Aktivasi
Setiap neuron menghitung: output = aktivasi(w₁x₁ + w₂x₂ + ... + wₙxₙ + b)

Tanpa fungsi aktivasi, neuron hanyalah regresi linier biasa. Fungsi aktivasi (seperti ReLU, Sigmoid) menambahkan non-linearitas sehingga jaringan bisa memodelkan hubungan yang kompleks.

Memahami regresi multivariat adalah langkah fundamental sebelum mempelajari neural network. Tapi pertanyaan besarnya: bagaimana kita menemukan bobot terbaik secara otomatis?

Jawabannya ada di Bab 5: Gradient Descent — algoritma optimasi yang menjadi jantung dari semua pelatihan model machine learning dan deep learning.

Referensi

C. M. Bishop, Pattern Recognition and Machine Learning. Springer, 2006, Ch. 3.
T. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning. Springer, 2009.
I. Goodfellow et al., Deep Learning. MIT Press, 2016, Ch. 5.

← Persamaan Garis Lurus Regresi Logistik →