Ex. 4 : Algorithmes recents de classification

Description

Comparaison d'un algorithme classique (knn) avec des algorithmes plus recents, comme passive, mlp (reseau de neurones)

Realisation : Mapping learning team - 01/11/2019

Resume

Entree(s)
- Echantillons : iris
- Valeur nulle (NA) : nan
Pretraitement
- Scale
Traitement : classification
- 3 algorithme(s) : knn, mlp, passive
- Approche 3-fold
- Distance : euclidean
Sortie
- Dossier : /home/thomas_a/dev/maplearn/tmp/example4

1. Chargement des donnees

Source : iris

2. Pretraitement

Description des echantillons

Repartition des 3 classes (150 individus) :

Nombre	Classe	Pourcentage
50	1	33.0%
50	2	33.0%
50	3	33.0%

Description du jeu de donnees

150 donnees
4 feature(s) : [0, 1, 2, 3]
Resume statistique :

              0         1         2         3
count  1.50e+02  1.50e+02  1.50e+02  1.50e+02
mean  -1.47e-15 -1.82e-15 -1.61e-15 -9.47e-16
std    1.00e+00  1.00e+00  1.00e+00  1.00e+00
min   -1.87e+00 -2.43e+00 -1.57e+00 -1.45e+00
25%   -9.01e-01 -5.92e-01 -1.23e+00 -1.18e+00
50%   -5.25e-02 -1.32e-01  3.36e-01  1.33e-01
75%    6.75e-01  5.59e-01  7.63e-01  7.91e-01
max    2.49e+00  3.09e+00  1.79e+00  1.71e+00

Signature des donnees

Signature du jeu de donnees

Signature spectrale : classe 1

Signature spectrale : classe 2

Signature spectrale : classe 3

3. Traitement

Liste de(s) algorithme(s)

Plus d'informations sur les algorithmes et les parametres sont disponibles sur le site de scikit-learn

knn : KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski', metric_params=None, n_jobs=-1, n_neighbors=5, p=2, weights='uniform')
passive : PassiveAggressiveClassifier(C=1.0, average=False, class_weight=None, early_stopping=False, fit_intercept=True, loss='hinge', max_iter=None, n_iter=None, n_iter_no_change=5, n_jobs=-1, random_state=None, shuffle=True, tol=None, validation_fraction=0.1, verbose=0, warm_start=False)
mlp : MLPClassifier(activation='relu', alpha=0.0001, batch_size='auto', beta_1=0.9, beta_2=0.999, early_stopping=False, epsilon=1e-08, hidden_layer_sizes=(100,), learning_rate='constant', learning_rate_init=0.001, max_iter=200, momentum=0.9, n_iter_no_change=10, nesterovs_momentum=True, power_t=0.5, random_state=None, shuffle=True, solver='adam', tol=0.0001, validation_fraction=0.1, verbose=False, warm_start=False)

knn - Entrainement classification

knn (1/3)

Confusion Matrix on 51 samples

Score (F1) :

Entrainement = 0.95

Validation = 0.96

NB: Un score eleve sur les echantillons d'entrainement et faibles pour ceux de la validation -> signe de surentrainement

class	accuracy	recall	f1-score	support
1	1.00	1.00	1.00	17
2	0.94	0.94	0.94	17
3	0.94	0.94	0.94	17
micro-avg	0.96	0.96	0.96	51
macro-avg	0.96	0.96	0.96	51
weighted-avg	0.96	0.96	0.96	51

knn (2/3)

Confusion Matrix on 51 samples

Score (F1) :

Entrainement = 0.98

Validation = 0.94

NB: Un score eleve sur les echantillons d'entrainement et faibles pour ceux de la validation -> signe de surentrainement

class	accuracy	recall	f1-score	support
1	1.00	1.00	1.00	17
2	0.89	0.94	0.91	17
3	0.94	0.88	0.91	17
micro-avg	0.94	0.94	0.94	51
macro-avg	0.94	0.94	0.94	51
weighted-avg	0.94	0.94	0.94	51

knn (3/3)

Confusion Matrix on 48 samples

Score (F1) :

Entrainement = 0.96

Validation = 0.98

NB: Un score eleve sur les echantillons d'entrainement et faibles pour ceux de la validation -> signe de surentrainement

class	accuracy	recall	f1-score	support
1	1.00	1.00	1.00	16
2	1.00	0.94	0.97	16
3	0.94	1.00	0.97	16
micro-avg	0.98	0.98	0.98	48
macro-avg	0.98	0.98	0.98	48
weighted-avg	0.98	0.98	0.98	48

knn - Cross-Validation 3-fold :

Accuracy: 0.95 (+/-0.04)

Kappa : 0.94 (+/-0.05)

passive - Entrainement classification

passive (1/3)

Confusion Matrix on 51 samples

Score (F1) :

Entrainement = 0.93

Validation = 0.82

NB: Un score eleve sur les echantillons d'entrainement et faibles pour ceux de la validation -> signe de surentrainement

class	accuracy	recall	f1-score	support
1	1.00	1.00	1.00	17
2	0.68	0.88	0.77	17
3	0.83	0.59	0.69	17
micro-avg	0.82	0.82	0.82	51
macro-avg	0.84	0.82	0.82	51
weighted-avg	0.84	0.82	0.82	51

passive (2/3)

Confusion Matrix on 51 samples

Score (F1) :

Entrainement = 0.96

Validation = 0.98

NB: Un score eleve sur les echantillons d'entrainement et faibles pour ceux de la validation -> signe de surentrainement

class	accuracy	recall	f1-score	support
1	1.00	1.00	1.00	17
2	0.94	1.00	0.97	17
3	1.00	0.94	0.97	17
micro-avg	0.98	0.98	0.98	51
macro-avg	0.98	0.98	0.98	51
weighted-avg	0.98	0.98	0.98	51

passive (3/3)

Confusion Matrix on 48 samples

Score (F1) :

Entrainement = 0.82

Validation = 0.87

NB: Un score eleve sur les echantillons d'entrainement et faibles pour ceux de la validation -> signe de surentrainement

class	accuracy	recall	f1-score	support
1	1.00	0.94	0.97	16
2	0.73	1.00	0.84	16
3	1.00	0.69	0.81	16
micro-avg	0.88	0.88	0.88	48
macro-avg	0.91	0.88	0.87	48
weighted-avg	0.91	0.88	0.87	48

passive - Cross-Validation 3-fold :

Accuracy: 0.91 (+/-0.08)

Kappa : 0.84 (+/-0.20)

mlp - Entrainement classification

mlp (1/3)

Confusion Matrix on 51 samples

Score (F1) :

Entrainement = 0.95

Validation = 0.94

NB: Un score eleve sur les echantillons d'entrainement et faibles pour ceux de la validation -> signe de surentrainement

class	accuracy	recall	f1-score	support
1	1.00	1.00	1.00	17
2	0.94	0.88	0.91	17
3	0.89	0.94	0.91	17
micro-avg	0.94	0.94	0.94	51
macro-avg	0.94	0.94	0.94	51
weighted-avg	0.94	0.94	0.94	51

mlp (2/3)

Confusion Matrix on 51 samples

Score (F1) :

Entrainement = 0.96

Validation = 0.96

NB: Un score eleve sur les echantillons d'entrainement et faibles pour ceux de la validation -> signe de surentrainement

class	accuracy	recall	f1-score	support
1	1.00	1.00	1.00	17
2	0.94	0.94	0.94	17
3	0.94	0.94	0.94	17
micro-avg	0.96	0.96	0.96	51
macro-avg	0.96	0.96	0.96	51
weighted-avg	0.96	0.96	0.96	51

mlp (3/3)

Confusion Matrix on 48 samples

Score (F1) :

Entrainement = 0.95

Validation = 0.96

NB: Un score eleve sur les echantillons d'entrainement et faibles pour ceux de la validation -> signe de surentrainement

class	accuracy	recall	f1-score	support
1	1.00	0.94	0.97	16
2	0.89	1.00	0.94	16
3	1.00	0.94	0.97	16
micro-avg	0.96	0.96	0.96	48
macro-avg	0.96	0.96	0.96	48
weighted-avg	0.96	0.96	0.96	48

mlp - Cross-Validation 3-fold :

Accuracy: 0.95 (+/-0.07)

Kappa : 0.93 (+/-0.03)

Comparaison de(s) 3 algorithme(s)

Cross-Validation 3-fold

Algorithm	Accuracy	Recall	F1	Kappa
knn	0.95 (+/-0.04)	0.95 (+/-0.02)	0.95 (+/-0.02)	0.94 (+/-0.05)
passive	0.91 (+/-0.08)	0.81 (+/-0.03)	0.91 (+/-0.07)	0.84 (+/-0.20)
mlp	0.95 (+/-0.07)	0.97 (+/-0.04)	0.94 (+/-0.08)	0.93 (+/-0.03)