Media Pembelajaran Interaktif Fundamental Sains Data (FSD)

Continuous Optimization & Parametric Regression

Linear Regression & Gradient Descent: Optimasi Parameter Model

1 Model Hipotesis Linear

\[h_\theta(x) = \theta_0 + \theta_1 x\]

\(\theta_0\) adalah Intercept (titik potong sumbu Y saat \(x=0\)), dan \(\theta_1\) adalah Slope (kemiringan garis).

2 Fungsi Biaya MSE \(J(\theta)\)

\[J(\theta) = \frac{1}{2m} \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})^2\]

Mengukur rata-rata kuadrat selisih antara tebakan model dan nilai asli data. Bentuk kurva mangkok konveks (selalu memiliki 1 minimum global).

3 Pembaruan Gradien Simultan

\[\theta_j := \theta_j - \alpha \frac{\partial J}{\partial \theta_j}\]

Parameter digeser berlawanan arah vektor gradien secara simultan dengan laju belajar \(\alpha\) (Learning Rate).

Dataset:

Learning Rate \(\alpha\): 0.050

Epoch: 0

Cost J(θ): 0.000

Slope θ₁: 0.000

Intercept θ₀: 0.000

Ruang Data: Garis Regresi & Residual Error Garis Merah Putus-putus = Error \((h - y)\)

Eksplorasi Manual Parameter:

Slope \(\theta_1\):

Intercept \(\theta_0\):

Uji Prediksi Model:

Input \(x\): ➔ Prediksi \(\hat{y}\): 3.00

Menghitung \(\hat{y} = \theta_0 + \theta_1 x\) secara live mengikuti parameter garis saat ini.

Lembah Kontur Biaya \(J(\theta_0, \theta_1)\) Minimum Global

Kurva Penurunan Biaya \(J(\theta)\) per Epoch: Konvergen Stabil

Kalkulasi Matematika Sinkron Real-time

Papan Perhitungan Step-by-Step Gradient Descent

Data \(i\)	Fitur \(x^{(i)}\)	Aktual \(y^{(i)}\)	Prediksi \(h_\theta(x) = \theta_0 + \theta_1 x\)	Error \((h - y)\)	Kuadrat Error \((h - y)^2\)	Gradien \(\theta_0\): \((h - y)\)	Gradien \(\theta_1\): \((h - y)x\)

1. Nilai Cost Function \(J(\theta)\):

2. Pembaruan Intercept \(\theta_0\):

3. Pembaruan Slope \(\theta_1\):

Parameter \(\theta_0\): 0.00 ➔ 0.25

Parameter \(\theta_1\): 1.00 ➔ 1.55

Cost Function \(J(\theta)\): 4.50 ➔ 0.58

Penurunan Biaya: -87.1%

Penurunan Kalkulus Matematis (Derivation via Chain Rule)

Teori Turunan Parsial Gradient Descent: Dari Mana Rumus Pembaruan Berasal?

Chain Rule & Gradient Vector

1 Turunan Parsial terhadap Intercept \(\theta_0\) \(\partial J / \partial \theta_0\)

Fungsi biaya kuadrat: \(J(\theta) = \frac{1}{2m} \sum_{i=1}^m \Big( (\theta_0 + \theta_1 x^{(i)}) - y^{(i)} \Big)^2\). Misalkan bagian dalam kuadrat adalah \(u = \theta_0 + \theta_1 x^{(i)} - y^{(i)}\).

// Terapkan Aturan Rantai (Chain Rule):

\[\frac{\partial J}{\partial \theta_0} = \frac{1}{2m} \sum_{i=1}^m \frac{\partial (u^2)}{\partial u} \cdot \frac{\partial u}{\partial \theta_0}\]

Karena \(\frac{\partial (u^2)}{\partial u} = 2u\) dan \(\frac{\partial u}{\partial \theta_0} = 1\):

\[\frac{\partial J}{\partial \theta_0} = \frac{1}{2m} \sum_{i=1}^m 2(h_\theta(x^{(i)}) - y^{(i)}) \cdot 1 = \mathbf{\frac{1}{m} \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})}\]

Catatan Matematis: Angka 2 dari turunan pangkat membatalkan konstanta \(\frac{1}{2}\) pada fungsi biaya secara eksak (\(2 \times \frac{1}{2} = 1\)).

2 Turunan Parsial terhadap Slope \(\theta_1\) \(\partial J / \partial \theta_1\)

Dengan langkah yang sama, turunkan suku kuadrat \(u = \theta_0 + \theta_1 x^{(i)} - y^{(i)}\) terhadap parameter kemiringan \(\theta_1\).

// Terapkan Aturan Rantai (Chain Rule):

\[\frac{\partial J}{\partial \theta_1} = \frac{1}{2m} \sum_{i=1}^m \frac{\partial (u^2)}{\partial u} \cdot \frac{\partial u}{\partial \theta_1}\]

Karena \(\frac{\partial (u^2)}{\partial u} = 2u\) dan \(\frac{\partial u}{\partial \theta_1} = x^{(i)}\):

\[\frac{\partial J}{\partial \theta_1} = \frac{1}{2m} \sum_{i=1}^m 2(h_\theta(x^{(i)}) - y^{(i)}) \cdot x^{(i)} = \mathbf{\frac{1}{m} \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)}) \cdot x^{(i)}}\]

Inti Fisis: Faktor pengali \(x^{(i)}\) muncul karena sensitivitas slope (\(\theta_1\)) berbanding lurus dengan besaran nilai input \(x\).

Hubungan Formula Slide Perkuliahan UII vs Standar Buku Teks Machine Learning

Pada slide perkuliahan UII, formulasi disajikan dalam bentuk jumlah kuadrat murni tanpa pembagi \(m\), yaitu \(J(\theta) = \frac{1}{2} \sum (h - y)^2\) dan gradien \(\sum (h - y) x_j\). Sedangkan pada textbook machine learning standar (Andrew Ng, Scikit-learn), formulasi dinormalisasi terhadap jumlah sampel \(m\) (\(\frac{1}{2m} \sum\)). Keduanya identik dalam arah penurunan gradien; perbedaannya hanya pada skala efektif laju belajar \(\alpha\). Anda dapat mencoba kedua metode di atas lewat tombol toggle: "Slide UII \(\frac{1}{2}\sum\)" atau "Standar MSE \(\frac{1}{2m}\sum\)".

Referensi Formal: 4 Langkah Prosedur & Implementasi Bahasa R ▼

4 Langkah Prosedur Regresi Linear:

Define model structure: Tentukan variabel prediktor \(X\) dan target \(Y\).
Initialize parameters: Mulai dari tebakan sembarang (misal \(\theta_0 = 0, \theta_1 = 1\)).
Optimize parameters: Terapkan algoritma Gradient Descent untuk meminimalkan fungsi biaya MSE.
Evaluate & Predict: Gunakan model terlatih untuk memprediksi data baru.

Sintaks Komputasi Bahasa R:

# Data 3 titik Slide
x <- c(1, 2, 3)
y <- c(2, 4, 5)

# Pemodelan Regresi Linear
model <- lm(y ~ x)
summary(model)

# Prediksi data baru
predict(model, newdata = data.frame(x = 3.5))

Klasifikasi Biner & Model Sigmoid

Logistic Regression: Klasifikasi Variabel Diskret

Target Diskret: \(y \in \{0, 1\}\)

Transisi dari Regresi Linear ke Logistik:

Pada regresi linear, target \(y\) diasumsikan kontinu (misal harga rumah, berat badan).
"What if \(y\) is discrete? E.g., pass/fail, yes/true, 1/0, etc, that leads to nonlinear fashion and a classification task." (Slide 4).

Studi Kasus Kelulusan Ujian:

• Input \(x\): Study hour (jam belajar)

• Target \(y\): Exam status (0 = Fail, 1 = Pass)

Plot Sebaran Jam Belajar vs Status Ujian

Pilih model untuk mengamati kegagalan garis linear vs sigmoid

Model Sigmoid: Fungsi logistik \(g(\theta^T x) = \frac{1}{1 + e^{-\theta^T x}}\) membentuk kurva "S" yang anggun. Outputnya selalu terikat di rentang \([0, 1]\), sempurna untuk probabilitas kelulusan!

Fungsi Hipotesis Sigmoid:

\(h(x) = g(\theta^T x)\)

\[h_\theta(x) = \frac{1}{1 + e^{-(\theta_0 + \theta_1 x)}}\]

Parameter \(\theta_0\) (Pergeseran / Shift): -9.0

Parameter \(\theta_1\) (Kecuraman Transisi S): 2.0

Ambang Batas Kelulusan (\(h(x) = 0.5\)): x ≈ 4.50 Jam

Simulasi Prediksi Mahasiswa Baru:

Jam Belajar: Jam

Nilai \(z = \theta_0 + \theta_1 x\): 0.00

Peluang Lulus P(Pass) = h(x): 50.0%

Keputusan (\(h \ge 0.5\)): LULUS (1)

Cost Function

Binary Cross-Entropy (Log Loss)

Mengapa Tidak Pakai MSE?

Fungsi Biaya Binary Cross-Entropy:

\[J(\theta) = \sum_{i=1}^m \Big( -y^{(i)} \log h_\theta(x^{(i)}) - (1 - y^{(i)}) \log(1 - h_\theta(x^{(i)})) \Big)\]

Jika Mahasiswa Lulus Sebenarnya (\(y = 1\)):

Suku kedua \((1 - y) \log(1 - h)\) bernilai 0. Biaya murni dihitung dari:

\(\text{Cost} = -\log(h_\theta(x))\)

• Jika model memprediksi \(h = 1\) (yakin lulus) \(\rightarrow \text{Cost} = -\log(1) = \mathbf{0}\) (Tepat!).

• Jika model memprediksi \(h \rightarrow 0\) (salah besar) \(\rightarrow \text{Cost} \rightarrow \mathbf{+\infty}\) (Penalti sangat berat!).

Jika Mahasiswa Gagal Sebenarnya (\(y = 0\)):

Suku pertama \(-y \log(h)\) bernilai 0. Biaya murni dihitung dari:

\(\text{Cost} = -\log(1 - h_\theta(x))\)

• Jika model memprediksi \(h = 0\) (yakin gagal) \(\rightarrow \text{Cost} = -\log(1) = \mathbf{0}\) (Tepat!).

• Jika model memprediksi \(h \rightarrow 1\) (salah besar) \(\rightarrow \text{Cost} \rightarrow \mathbf{+\infty}\) (Penalti sangat berat!).

Training Procedure

Simulasi Live Training Logistic Regression

Kurva Sigmoid Menyesuaikan Data Ujian h(x) = σ(-9.0 + 2.0x)

Epoch: 0

Loss J(\(\theta\)): 0.00

Parameter \(\theta_0, \theta_1\): -9.0, 2.0

Akurasi Klasifikasi: 100% (9/9)

Kurva Penurunan Loss (\(J\) vs Epoch):

Classroom Whiteboard: Evaluasi Titik & Gradien Cross-Entropy

Papan Kalkulasi Step-by-Step Logistic Regression

Live Synchronized Table

Panduan Pengajaran untuk Dosen: Tabel di bawah mengevaluasi 9 titik data mahasiswa secara real-time pada epoch saat ini. Perhatikan bagaimana nilai linear \(z\) diubah oleh fungsi Sigmoid menjadi probabilitas kelulusan \(h(x)\), lalu dihitung residual error \((h - y)\) dan kontribusi gradiennya untuk memperbarui parameter.

Mahasiswa i	Jam Belajar (x)	Target Aktual (y)	Skor Linear \(z = \theta_0 + \theta_1 x\)	Prediksi \(h = \sigma(z)\)	Error \((h - y)\)	Loss \(-[y \log h + (1-y)\log(1-h)]\)	Gradien \(\theta_0\): \((h - y)\)	Gradien \(\theta_1\): \((h - y) \cdot x\)

1 Perhitungan Cross-Entropy Loss \(J(\theta)\)

2 Pembaruan Bobot \(\theta_0\) dan \(\theta_1\) via Gradient Descent

Hasil Pembaruan Setelah Epoch Ini: Parameter \(\theta_0\) dan \(\theta_1\) disesuaikan serentak mengikuti arah penurunan gradien Cross-Entropy.

\(\theta_0\): -2.50 \(\rightarrow\) -2.46

\(\theta_1\): 0.50 \(\rightarrow\) 0.54

Loss \(J\): 3.42 \(\rightarrow\) 3.25

Akurasi: 88.9% \(\rightarrow\) 100%

Keajaiban Matematika (Mathematical Elegance)

Mengapa Turunan Logistic Regression Persis Sama dengan Linear Regression?

The "Aha!" Moment

Banyak mahasiswa dan pembelajar terkejut saat melihat rumus pembaruan Gradient Descent pada Logistic Regression: meskipun fungsi hipotesisnya rumit (Sigmoid) dan fungsi biayanya berbentuk logaritma (Cross-Entropy), hasil turunannya tetap:

\[\frac{\partial}{\partial \theta_j} J(\theta) = \sum_{i=1}^m \Big( h_\theta(x^{(i)}) - y^{(i)} \Big) x_j^{(i)}\]

1. Turunan Sigmoid:

Jika \(g(z) = \frac{1}{1 + e^{-z}}\), turunannya adalah perkalian anggun:

\[g'(z) = g(z)(1 - g(z)) = h(1 - h)\]

2. Turunan Log Loss:

Turunan fungsi biaya \(J\) terhadap prediksi \(h\) menghasilkan:

\[\frac{\partial J}{\partial h} = -\frac{y}{h} + \frac{1-y}{1-h} = \frac{h - y}{h(1 - h)}\]

3. Saling Membatalkan!

Saat digabungkan dengan Aturan Rantai:

\[\frac{h - y}{\mathbf{h(1-h)}} \cdot \mathbf{h(1-h)} \cdot x_j = (h - y) x_j\]

Penyebut \(h(1-h)\) dicoret sempurna oleh turunan sigmoid!

Probabilitas Bersyarat & Asumsi Independensi Naive

Naïve Bayes Classifier: Klasifikasi Berbasis Teorema Bayes

Generative / Probabilistic Classifier

Asumsi Utama Naïve Bayes Conditional Independence

Pada ruang fitur berdimensi tinggi (seperti 50.000 kata email), kombinasi probabilitas bersama membutuhkan miliaran parameter. Naïve Bayes mengasumsikan bahwa seluruh fitur \(x_j\) saling independen jika kelas target \(y\) diketahui:

\[P(x_1, \dots, x_n \mid y) = \prod_{j=1}^n P(x_j \mid y)\]

Aturan Keputusan Klasifikasi (Maximum A Posteriori):

\[\arg \max_y P(y \mid x) = \arg \max_y \left[ P(y) \cdot \prod_{j=1}^n P(x_j \mid y) \right]\]

Dataset: 14 Observasi Aktivitas | Main (\(y=1\)) = 9 | Tidur (\(y=0\)) = 5

P(1)=9/14, P(0)=5/14

Simulator Prediksi Keputusan Hari Baru

Cuaca (\(x_1\)):

Suhu (\(x_2\)):

Kelembaban (\(x_3\)):

Berangin (\(x_4\)):

Laplace Smoothing (+1 / +k):

OFF

P(y = 1 / Main | x):

0.0212

3/9 × 4/9 × 3/9 × 6/9 × 9/14

P(y = 0 / Tidur | x):

0.0183

2/5 × 2/5 × 4/5 × 2/5 × 5/14

Keputusan Akhir: MAIN (Class 1)

Alasan / Argmax: 0.0212 > 0.0183

Classroom Whiteboard: Perhitungan Manual

Bedah Perhitungan Aritmatika Probabilitas Bersyarat

Perkalian Fraksi Eksak

1 Perhitungan untuk Kelas \(y = 1\) (Main)

2 Perhitungan untuk Kelas \(y = 0\) (Tidur)

Kasus Khusus: Masalah Frekuensi Nol & Solusi Laplace Smoothing

Zero-Frequency Problem

Jika ada kombinasi atribut yang tidak pernah muncul di dataset training pada suatu kelas (contoh: kata atau cuaca cerah tidak pernah muncul saat tidur), maka nilai probabilitas bersyaratnya menjadi 0. Akibat perkalian berantai, seluruh probabilitas posterior akan hancur menjadi 0/0 (algoritma tidak dapat mengambil keputusan!).

Rumus Laplace Smoothing: \[\phi_{j \mid y=1} = \frac{\sum 1\{x_j=1 \wedge y=1\} + \mathbf{1}}{\sum 1\{y=1\} + \mathbf{k}}\] Tambah +1 pada pembilang dan +k (jumlah kemungkinan nilai) pada penyebut.

Hasil pada Cuaca Cerah (Tanpa Data):

\(P(\text{Main} \mid x) = \frac{1}{11} \times \frac{5}{11} \times \frac{4}{11} \times \frac{7}{11} \times \frac{9}{14} = \mathbf{0.0061}\)

\(P(\text{Tidur} \mid x) = \frac{1}{7} \times \frac{3}{7} \times \frac{5}{7} \times \frac{3}{7} \times \frac{5}{14} = \mathbf{0.0067}\)

Keputusan: 0.0067 > 0.0061 ➔ TIDUR! (Terselamatkan!)

Dataset Sampel 14 Hari Cuaca & Keputusan Aktivitas

14 Baris Data Training

No	Cuaca (\(x_1\))	Suhu (\(x_2\))	Kelembaban (\(x_3\))	Berangin (\(x_4\))	Status Aktivitas (\(y\))

Partisi Rekursif, Entropy & Information Gain

Decision Tree: Klasifikasi Berbasis Pohon Keputusan

Visualisasi Struktur Pohon Keputusan Optimal 100% Training Accuracy

[Root Node] Usia (Age)?

Young (5)

Sex (Gender)?

DRUG A

3 pts (100%)

DRUG B

2 pts (100%)

Middle-age (4)

Pure Node!

DRUG B

4 pts (100%)

Senior (5)

Cholesterol?

High

DRUG A

2 pts (100%)

Normal

DRUG B

3 pts (100%)

Drug A = 5 Pasien | Drug B = 9 Pasien

Setiap daun mencapai kemurnian 100% (Entropy = 0).

Uji Prediksi Pasien Baru (Inference)

Usia (Age):

Jenis Kelamin (Sex):

Tekanan Darah (BP):

Kolesterol:

Jalur Keputusan Pohon (Decision Path):

Root: Age = Middle-age ➔ Pure Node Leaf

Rekomendasi Obat: DRUG B

Tingkat Keyakinan: 100% (Murni)

Membangun Decision Tree: Eksplorasi Partisi

Atribut Apa yang Terbaik Memisahkan Data?

Coba Fitur:

Classroom Whiteboard: Perhitungan Manual

Kalkulasi Step-by-Step: Shannon Entropy & Information Gain

Formula: \(E(S) = -\sum p_i \log_2 p_i\)

Rumus Shannon Entropy:

\[E(S) = -p(A)\log_2(p(A)) - p(B)\log_2(p(B))\]

Rumus Information Gain:

\[\text{Gain}(S, A) = E(S) - \sum_{v \in \text{Values}(A)} \frac{|S_v|}{|S|} E(S_v)\]

Pemenang (Winner) Gain = 0.151

Gain(S, Sex)

\(E(S) = 0.940\) (Awal: 9 B, 5 A)

\(E(\text{Female}) = 0.985\) (3 B, 4 A / 7 total)

\(E(\text{Male}) = 0.592\) (6 B, 1 A / 7 total)

\(\text{Gain} = 0.940 - \left[ \frac{7}{14}(0.985) + \frac{7}{14}(0.592) \right] = \mathbf{0.151}\)

More Predictiveness: Membagi data secara lebih teratur dan menurunkan ketidakpastian secara signifikan!

Kalah (Lower Gain) Gain = 0.048

Gain(S, Cholesterol)

\(E(S) = 0.940\) (Awal: 9 B, 5 A)

\(E(\text{Normal}) = 0.811\) (6 B, 2 A / 8 total)

\(E(\text{High}) = 1.000\) (3 B, 3 A / 6 total)

\(\text{Gain} = 0.940 - \left[ \frac{8}{14}(0.811) + \frac{6}{14}(1.000) \right] = \mathbf{0.048}\)

Hasil terbelah acak: Pada Cholesterol High, data terbelah 50:50 (\(E=1.00\)), sehingga perolehan informasinya sangat rendah.

Peringkat Information Gain Seluruh Atribut (Tahap 1):

Peringkat	Atribut Fitur	Jumlah Cabang	Weighted Entropy	Information Gain	Status Pemilihan
1	Age (Usia)	3 (Young, Middle, Senior)	0.6935	0.2467	Terpilih sebagai Root Node
2	Sex (Gender)	2 (F, M)	0.7885	0.1518	Terpilih di Sub-cabang Young
3	Cholesterol	2 (Normal, High)	0.8922	0.0481	Terpilih di Sub-cabang Senior
4	Blood Pressure (BP)	3 (Low, Normal, High)	0.9111	0.0292	Tidak Diperlukan

Dataset Sampel 14 Pasien Medis

14 Baris Training + 1 Pasien Uji (p15)

ID Pasien	Usia (Age)	Sex	Blood Pressure (BP)	Cholesterol	Obat (Target)

Pengukuran Kinerja, Validasi Silang & Bias-Variance

Evaluasi Model: Metrik Regresi, Klasifikasi & Generalisasi

Model Validation & Diagnostics

Visualisasi Residual Error Regresi \((y_i - \hat{y}_i)\)

Injeksi Outlier Ekstrem!

Kemiringan Garis (Slope \(m\)): 2.0

Pergeseran Garis (Intercept \(c\)): 1.0

Garis putus-putus merah vertikal = Residual Error \(e_i = y_i - \hat{y}_i\).

Mean Absolute Error (MAE) 0.00

\[\text{MAE} = \frac{1}{n} \sum_{i=1}^n |y_i - \hat{y}_i|\]

Mengukur rata-rata magnitudo error. Kelebihan: Robust terhadap outlier dan memiliki skala satuan yang persis sama dengan variabel target.

Mean Squared Error (MSE) 0.00

\[\text{MSE} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2\]

Mengkuadratkan residual sebelum dirata-rata. Karakteristik: Memberi penalti yang sangat berat pada error besar (outlier).

Root Mean Squared Error (RMSE) 0.00

\[\text{RMSE} = \sqrt{\text{MSE}}\]

Akar kuadrat dari MSE. Mengembalikan satuan error ke satuan asli target, namun tetap sensitif terhadap keberadaan outlier.

Koefisien Determinasi (\(R^2\)) 0.00

\[R^2 = 1 - \frac{\sum (y_i - \hat{y}_i)^2}{\sum (y_i - \bar{y})^2}\]

Proporsi variansi data yang berhasil dijelaskan oleh model. Nilai \(1.0\) berarti prediksi sempurna; \(0.0\) setara menebak rata-rata \(\bar{y}\); dan nilai negatif berarti model lebih buruk daripada garis horizontal rata-rata!

Eksperimen Interaktif: Dampak Outlier terhadap MAE vs MSE

Centang opsi "Injeksi Outlier Ekstrem" di atas. Perhatikan bahwa saat satu titik data meleset jauh dari garis, nilai MSE dan RMSE melonjak drastis secara eksponensial karena adanya pemangkatan kuadrat \((y - \hat{y})^2\), sedangkan MAE hanya bertambah proporsional secara linear. Inilah alasan praktis mengapa MAE lebih disukai saat dataset banyak mengandung anomali/noise.

Pilih Skenario Kasus Uji:

Matriks Konfusi 2x2 (Confusion Matrix)

Binary Classification

Aktual: Positif

Aktual: Negatif

Prediksi: Positif

True Positive (TP) Pred: + | Asli: +

False Positive (FP) Type I Error (Alarm Palsu)

Prediksi: Negatif

False Negative (FN) Type II Error (Terlewat)

True Negative (TN) Pred: − | Asli: −

Total Data Sampel: 100

Akurasi (Accuracy) 90.0%

\[\frac{TP + TN}{TP + TN + FP + FN}\]

Proporsi seluruh tebakan yang benar terhadap total sampel.

Presisi (Precision) 90.0%

\[\frac{TP}{TP + FP}\]

Dari seluruh data yang diprediksi Positif, berapa yang memang Positif.

Recall (Sensitivitas / TPR) 90.0%

\[\frac{TP}{TP + FN}\]

Dari seluruh data yang aslinya Positif, berapa yang berhasil terdeteksi.

F1-Score (Harmonic Mean) 90.0%

\[2 \times \frac{\text{Prec} \times \text{Rec}}{\text{Prec} + \text{Rec}}\]

Rata-rata harmonik antara Presisi dan Recall. Menghukum model jika salah satu nilai anjlok.

Spesifisitas (Specificity / TNR) & FPR 90.0% (FPR: 10.0%)

Spesifisitas = \(\frac{TN}{TN + FP}\). False Positive Rate (\(\text{FPR}\)) = \(1 - \text{Spesifisitas} = \frac{FP}{FP + TN}\). Metrik inilah yang menjadi sumbu horizontal pada kurva ROC-AUC!

Performa Model Seimbang

Akurasi, Presisi, dan Recall berada pada level tinggi dan seimbang. Model memiliki kapabilitas diskriminasi yang baik.

Contoh Matriks Konfusi Multiclass (Slide 17: Buah Apel, Jeruk, Mangga)

3-Class Evaluation

Prediksi \ Asli	Apple	Orange	Mango
Pred: Apple	7 (Benar)	8 (Salah)	9 (Salah)
Pred: Orange	1 (Salah)	2 (Benar)	3 (Salah)
Pred: Mango	3 (Salah)	2 (Salah)	1 (Benar)

Prinsip: Elemen diagonal hijau \((7, 2, 1)\) adalah prediksi yang tepat. Elemen non-diagonal merah adalah kekeliruan (confusion). Akurasi total multiclass = \(\frac{7 + 2 + 1}{7 + 8 + 9 + 1 + 2 + 3 + 3 + 2 + 1} = \frac{10}{36} = 27.8\%\).

Visualisasi Partisi Data & K-Fold Iterasi

Mencegah bias seleksi satu kali (Single-split weakness)

Metode Resampling:

Teknik Sampling:

Partisi Data (Fold Blocks):

Training Set Validation / Test Set

Estimasi Rata-rata Skor Cross Validation: Akurasi: 92.4% ± 1.8%

\(\text{Score}_{CV} = \frac{1}{k} \sum_{i=1}^k \text{Score}_i\). Seluruh baris data diuji tepat satu kali sebagai validation set, sehingga evaluasi jauh lebih objektif dan tahan terhadap keberuntungan split satu kali.

Perbandingan Teknik Sampling (Slide 8)

1. Random Sampling

Mencegah bias data modeler. Namun pada kelas tidak seimbang (*imbalanced*), bisa terjadi suatu fold kekurangan atau kehilangan sampel kelas minoritas.

2. Stratified Random Sampling

Memastikan proporsi tiap kelas (misal 80% Kelas A, 20% Kelas B) terdistribusi sama persis di setiap fold training dan validation. Sangat direkomendasikan untuk klasifikasi!

3. Non-random / Time-series Sampling

Data masa lalu untuk pelatihan, data terkini (*most recent*) untuk pengujian. Digunakan saat ada ketergantungan urutan waktu.

Kapan Menggunakan LOOCV vs K=5 / K=10?

LOOCV (\(k = N\)): Dilatih sebanyak \(N\) kali pada \(N-1\) sampel dan diuji pada 1 sampel. Sangat bagus untuk dataset berukuran sangat kecil (\(N < 50\)), namun sangat lambat dan memakan komputasi tinggi pada dataset besar. Standar industri praktis yang paling seimbang adalah 5-Fold atau 10-Fold CV.

Eksplorasi Kurva: Underfitting vs Good Fit vs Overfitting Good Fit / Robust

Kompleksitas Model (Derajat Polinomial \(d\)): d = 2 (Kuadratik)

Error Latih (Train MSE):

0.42

Error Uji (Test MSE):

0.48

1. Underfitting (High Bias)

Model terlalu sederhana untuk menangkap relasi data riil (misal garis lurus memaksakan data kuadratik). Gejala: Train Error tinggi dan Test Error juga tinggi.

2. Good Fit / Robust (Optimal Trade-off)

Model menangkap pola esensial tanpa terpengaruh oleh noise acak. Gejala: Train Error rendah dan Test Error tetap rendah serta seimbang.

3. Overfitting (High Variance)

Model terlalu kompleks sehingga menghafal noise data latih. Gejala: Train Error hampir 0, tetapi Test Error meledak tinggi saat diberi data baru.

5 Cara Mengatasi Overfitting (Slide 24):

Cross-Validation: Evaluasi berulang pada berbagai fold.
Training with more data: Perbanyak sampel data agar model belajar pola umum.
Removing features: Seleksi fitur atau eliminasi prediktor yang redundan / noise.
Regularization (L1 Lasso / L2 Ridge): Memberi penalti pada bobot parameter yang terlalu besar.
Early stopping: Hentikan iterasi gradient descent saat validation loss mulai naik.

Media Pembelajaran Interaktif Fundamental Sains Data (FSD)

Linear Regression & Gradient Descent: Optimasi Parameter Model

Papan Perhitungan Step-by-Step Gradient Descent

Teori Turunan Parsial Gradient Descent: Dari Mana Rumus Pembaruan Berasal?

Logistic Regression: Klasifikasi Variabel Diskret

Plot Sebaran Jam Belajar vs Status Ujian

Fungsi Hipotesis Sigmoid:

Simulasi Prediksi Mahasiswa Baru:

Binary Cross-Entropy (Log Loss)

Simulasi Live Training Logistic Regression

Papan Kalkulasi Step-by-Step Logistic Regression

1 Perhitungan Cross-Entropy Loss \(J(\theta)\)

2 Pembaruan Bobot \(\theta_0\) dan \(\theta_1\) via Gradient Descent

Mengapa Turunan Logistic Regression Persis Sama dengan Linear Regression?

Naïve Bayes Classifier: Klasifikasi Berbasis Teorema Bayes

Simulator Prediksi Keputusan Hari Baru

Bedah Perhitungan Aritmatika Probabilitas Bersyarat

1 Perhitungan untuk Kelas \(y = 1\) (Main)

2 Perhitungan untuk Kelas \(y = 0\) (Tidur)

Kasus Khusus: Masalah Frekuensi Nol & Solusi Laplace Smoothing

Dataset Sampel 14 Hari Cuaca & Keputusan Aktivitas

Support Vector Machine (SVM): Pemisah Margin Terbesar

Eksplorasi Parameter Garis & Margin

Kernel Trick: Transformasi ke Ruang Dimensi Lebih Tinggi

Bedah Matematika: Primal vs Dual Optimization Problem

1 Masalah Optimasi Primal

2 Masalah Optimasi Dual

Decision Tree: Klasifikasi Berbasis Pohon Keputusan

Uji Prediksi Pasien Baru (Inference)

Atribut Apa yang Terbaik Memisahkan Data?

Kalkulasi Step-by-Step: Shannon Entropy & Information Gain

Gain(S, Sex)

Gain(S, Cholesterol)

Peringkat Information Gain Seluruh Atribut (Tahap 1):

Dataset Sampel 14 Pasien Medis

Evaluasi Model: Metrik Regresi, Klasifikasi & Generalisasi

Matriks Konfusi 2x2 (Confusion Matrix)

Contoh Matriks Konfusi Multiclass (Slide 17: Buah Apel, Jeruk, Mangga)

Visualisasi Partisi Data & K-Fold Iterasi

Perbandingan Teknik Sampling (Slide 8)