Algorithme Boruta

#Installation et chargement des paquets
#install.packages(c("Boruta", "Amelia", "randomForest", "sp", "pdp"))
library(Boruta)
library(Amelia)
library(randomForest)
library(sp)
library(pdp)

#Données
data("meuse") #jeu de données sur la pollution de métaux lourds dans la plaine d'inondation de La Meuse (Pays-Bas)

#Vérification des données
str(meuse)  # Tout est beau! Les valeur catégoriques sont encodées en facteurs

meuse <- meuse[, -c(1,2)] #enlever les coordonnées géographiques, car on n'en a pas besoin pour utiliser le Boruta

#Vérifier les NAs
missmap(meuse) #On a des NAs!

#Enlever les données manquantes
meuse <- na.omit(meuse)# normalement, on aurait générer les données, mais pour l'atelier, c'est parfait

missmap(meuse) #Tout est beau, on continue!

set.seed(666) # Ajouter de l'aléatoire et assurer la reproductibilité

boruta.tree <- Boruta(landuse~.,meuse, doTrace = 2) # le test

getSelectedAttributes(boruta.tree, withTentative = F) #le résultat

result.boruta <- attStats(boruta.tree) # sauver les résultats dans un objet
result.boruta # Tout est confirmé sauf ffreq qui est une tentative (fréquence d'inondation)

boruta.tree.2 <- TentativeRoughFix(boruta.tree)#classer les tentatives

getSelectedAttributes(boruta.tree.2, withTentative = F)#nouveaux résultats

result.boruta <- attStats(boruta.tree.2)
result.boruta # Finalement tout est significatif pour expliquer l'utilisation des terres

median<-data.frame(boruta.tree.2$ImpHistory)#données importantes pour rapporter les résultats, normalement, on rapporte les facteurs trouvés significatifs et le taux de réussite de l'algorithme (% de facteurs significatifs par rapport au nombre total entré dans le modèle)

median(median$shadowMax)

median(median$shadowMin) 

median(median$shadowMean) 

median(median$cadmium) 

median(median$copper) 

median(median$lead)

median(median$zinc)

#etc...

plot(boruta.tree.2, las = 2, cex.axis = 0.7) # rouge = rejeté, bleu = ombre, vert = significatif (le plus important est dist.m, soit la distance de la meuse en mètre)

# Maintenant, quel est l'impact de la distance sur l'utilisation des terres?
#On va utiliser un graphique de dépendance partielle

landuse<- randomForest(landuse~ ., meuse, importance = T) # on ajoute les facteurs trouvés significatifs  

graph.landuse<- pdp::partial(landuse,pred.var = "dist.m", which.class = "W", plot=F) #calculs du graph pour les prairies
pdp::plotPartial(graph.landuse) # le graph, yhat = probabilité de prairies, à plus de 500 m de la meuse, la probabilité d'avoir une prairie est très réduite

graph.landuse<- pdp::partial(landuse,pred.var = "soil", which.class = "W", plot=F) #calculer le graphique pour les prairies
pdp::plotPartial(graph.landuse) # le graphique, yhat = probabilité de prairie, La présence de sol calcaire (1) est un bon prédicteur de la présence des prairies, suivi des sol non-calcaire (2) et des sols de briques rouges (3)

set.seed(666) # Ajouter de l'aléatoire et assurer la reproductibilité

boruta.tree <- Boruta(zinc~.,meuse, doTrace = 2) # le test

getSelectedAttributes(boruta.tree, withTentative = F) #le résultat

result.boruta <- attStats(boruta.tree) # sauver les résultats dans un objet
result.boruta # Tout est confirmé sauf l'utilisation des sols

boruta.tree.2 <- TentativeRoughFix(boruta.tree)

result.boruta <- attStats(boruta.tree.2) # sauver les résultats dans un objet
result.boruta # Tout est confirmé sauf l'utilisation des sols

median<-data.frame(boruta.tree.2$ImpHistory)#données importantes pour rapporter les résultats, normalement, on rapporte les facteurs trouvés significatifs et le taux de réussite de l'algorithme (% de facteurs significatifs par rapport au nombre total entré dans le modèle)

median(median$shadowMax)

median(median$shadowMin) 

median(median$shadowMean) 

median(median$cadmium) 

median(median$copper) 

median(median$lead)

median(median$elev)

#etc...

plot(boruta.tree.2, las = 2, cex.axis = 0.7) # rouge = rejeté, bleu = ombre, vert = significatif (le plus important le plomb)

# Maintenant, quel est l'impact de la concentratration du plomb sur celle du zinc?
#On va utiliser un graphique de dépendance partielle

zinc <- randomForest(zinc ~ cadmium + copper + lead + elev +
                       dist + om + ffreq + soil + lime, meuse, importance = T) # on ajoute les facteurs trouvés significatifs  

graph.zinc<- pdp::partial(zinc,pred.var = "lead", plot=F) #calculs du graph
pdp::plotPartial(graph.zinc) # le graph, yhat = probabilité de zinc, plus il y a de plomb et plus il y a de zinc

graph.zinc<- pdp::partial(zinc,pred.var = "soil", plot=F) #calculer le graphique pour mai
pdp::plotPartial(graph.zinc) # le graphique, yhat = probabilité de zinc, le sol calcaire est plus contaminé en zinc que les autres