Tester les effets[En construction]

Si mon modèle tient la route, que puis-je dire des facteurs ?

Une fois que votre modèle est supposément le meilleur pour expliquer vos données, reste à déterminer la direction et la magnitude des effets.

Tester le modèle vs. tester les effets

Nous pourrions penser que déterminer le meilleur modèle par rapport à d'autres revient à en tester les facteurs. Si un modèle explique mieux les données qu'un autre, c'est que ses facteurs sont pertinents. Certes, oui. Mais dans notre démarche intellectuelle, nous (en tout cas, je fais partie de ceux-là) progressons pas-à-pas :

1. Construction & choix du modèle

2. Examen de la significativité et des facteurs et de leurs interactions

Il y a donc une décision à prendre au niveau des modèles et une interprétation à faire au niveau des facteurs. Pour prendre ces décisions, nous pouvons nous baser ou non sur des statistiques inférentielles.

Les principaux tests et indices pour tester les effets fixes

Le ratio de vraisemblance

Nous l'avons vu dans la section "Tester des modèles" et c'est somme toute, logique : comparer un modèle 1 à un modèle 2 rigoureusement identique sauf l'ajout d'un effet fixe revient à tester la significativité de cet effet.

Concrètement il s'agit de calculer un indice de vraisemblance pour chaque modèle puis d'en réaliser un ratio. Ce ratio sera comparé à une distribution Chi² et une valeur p nous permettra de déterminer la significativité de ce fameux modèle qui contient un facteur fixe de plus.

Les tests de Wald

La statistique Wald estime le coefficient de l'effet fixe et son erreur standard et la compare ensuite à une distribution normale ou t. Une valeur p nous permettra de statuer sur les effets fixes.

Les ajustements des degrés de liberté

Calculer les ddl des MLM est autrement plus difficiles que pour les ANOVA, principalement à cause de la complexité ajoutée par les effets aléatoires. Deux méthodes ont été développées :

• Méthode de Satterthwaite : Ajuste les degrés de liberté en tenant compte des effets aléatoires.

• Méthode de Kenward-Roger : Ajuste à la fois les degrés de liberté et la matrice de variance-covariance des paramètres fixes pour mieux refléter la variabilité due à la structure du modèle.

Les tests de permutations

Les tests de permutations se basent sur les statistiques mentionnées ci-dessus (Wald, ratio de vraisemblance, etc) à une distribution issue de la permutation des données (comme pourrait le faire une simulation Monte-Carlo).

Le choix de la statistique

Méthode	Avantages	Inconvénients
Ratio de vraisemblance	Peu biaisé pour les petits échantillons	Nécessite une démarche de comparaison de modèles pas-à-pas
Wald	Approche classique (valeur p)	Moins fiable pour les petits échantillons Moins fiable dans les modèles complexes
Ajustements des ddl (Satterthwaite ou Kenward-Roger)	Approche classique (valeur p) et relativement fiable pour les petits échantillons ou les modèles complexes	Restent une approximation
Permutations	Aveugles à la distribution	Nécessitent des ressources de calcul

Mes choix

Petit échantillon, modèle simple : Satterthwaite/Kenward-Roger ou Ratio de vraisemblance

Petit échantillon, modèle complexe : Satterthwaite/Kenward-Roger, permutations

Grand échantillon, modèle simple : Satterthwaite/Kenward-Roger ou Ratio de vraisemblance

Grand échantillon, modèles complexe : Satterthwaite/Kenward-Roger, permutations

En vérité, je pourrais utiliser les permutations pour toutes les situations. Mais dans le cas de modèles simples, c'est un peu comme utiliser une bombe atomique pour tuer une mouche : une méthode moins coûteuse fera tout aussi bien le travail.

Pourquoi dans certains cas et pas d'autres ? Nous allons voir cela dans la section suivante.