Discriminative vs. Generative Learning

Algoritma Machine Learning pada umumnya mencoba untuk mempelajari input space ๐” , lalu memetakannya kedalamย  output label ๐”‚. Jenis algoritma ini biasa disebut Discriminative Learning Algorithm (DLA) contohnya algoritma klasifikasi linear (Linear Classification), regresi logistik, Support Vector Machines (SVMs), Algoritma berbasis tree, Neural network, dan lain-lain. Karakteristik utama dari model yang berbasi DLA adalah model tersebut berusaha untuk membuat sebuah decision boundary dalam melakukan tasknya. Misalnya model SVM, dimana pada algoritma ini akan ditemukan sebuah Hyperplane yang menjadi pembatas antara kelas satu dan lainnya. Hyperplane ini adalah salah satu bentuk decision boundary tersebut. Secara matematika maka DLA mencoba memperlajariย  ๐”‚ berdasarkan ๐”,ย  P(y | x).

Kebalikan dari DLA adalaha Generative Learning Algorithm (GLA).ย  GLA mempelajari input (๐”) berdasarkan output(๐”‚), P(x | y)) . Contoh algoritma GLA adalah Naive Bayes,Generative Adversarial Networks, Hidden Markov Model dan Gaussian discriminant analysis. Pada GLA, modelnya tidak mencoba menemukan decision boundary,ย namun yang berusaha di indentifikasi dari (๐”) adalah fungsi distribusi dari data tersebut.

  Discriminative Model Generative Model
Tujuan Memperlajari output ๐”‚ berdasarkan input ๐”, P(y | x).
Proses Learning Menemukan class boundary pada data Menemukan fungsi distribusi data
Ilustrasi  
Keuntungan Konvergen lebih cepat Memiliki error yang relatif lebih kecil
Contoh Algortima klasifikasi linear (Linear Classification), regresi logistik, Support Vector Machines (SVMs), Algoritma berbasis tree, Neural Network Naive Bayes,Generative Adversarial Networks, Hidden Markov Model dan Gaussian discriminant analysis

Agar mempermudah pemahaman, maka kita akan mencoba melihat dua jenis model ini dalam sebuah kasus yaitu bagaimana sebuah model dalam menentuka bahasa apa yang digunakan oleh semorang pembicar

Generative Model

Pada generatif model, model akan berusaha mempelajarai setiap bahasa yang ada, lalu mencoba mencocokkan bahasa pembicara pada bahasa yang telah dipelajari

Discriminative Learning

Pada model ini lebih mudah, model mempelajari pebedaan-perbedaan dari bahasa-bahasa yang ada, lalu menggunakankannya dalam mencocokkan bahasa yang dipelajari.

Daftar Pustaka

[1] https://www.geeksforgeeks.org/ml-variational-bayesian-inference-for-gaussian-mixture/?ref=rp
[2] http://cs229.stanford.edu/notes2020spring/cs229-notes2.pdf
[3] https://www.projectrhea.org/rhea/index.php/Discriminant_Functions_For_The_Normal(Gaussian)_Density
[4] https://mathformachines.com/posts/discriminant-analysis/
[5] https://people.eecs.berkeley.edu/~jrs/189s20/lec/07.pdf
[6]https://gmortuza.medium.com/gaussian-discriminative-analysis-e5701f12f3e9

Write a Comment

Your email address will not be published. Required fields are marked *

17 − one =