Forum de mathématiques - Bibm@th.net

Bonjour,

Je cherche a tester si deux échantillons sont significativement différents. H_0: μ_x == μ_y.
Hypothèses de normalité non remplie, donc pas de test de Student classique.
Voici quelques exemples de code :

Le (1) est un test de permutation avec scipy. Le (2) est une réimplémentation manuelle censée faire exactement la même chose. Il semble cependant y avoir un léger biais entre les deux approches. C’est difficile à estimer dans la mesure où les valeurs peuvent changer d’un tirage aléatoire à un autre, mais sur certaines colones, il semble que la p-value données par la méthode scipy soit systématiquement plus faible de quelques % par rapport à la méthode manuelle. Pourquoi?

Ensuite j’ai mis deux implémentations du bootstrap. Le premier est présenté comme servant à tester l’égalité de deux moyennes. Le deuxième comme servant à tester l’égalité de deux distribution (Efron & Tibshirani). Ils donne des pvalue similaire voire un peu plus élevées que (2). J’ai du mal à comprendre les nuance entre les deux. (4) est identique à (2), à ceci près que les tirages sont effectués avec replacement. (3) est un peu différent et je ne comprends pas trop ce que signifie le centrage sur la moyenne de z. Pourquoi (3) testerait-il plus l’égalité des moyenne et (4) l’égalité des distributions?

Merci d’avance.

* forum bug : si j’ajoute le i de « wth», j’ai un message «no spam please». Il est donc interdit de lire «avec» en anglais sur ce forum!

prenons $X \sim \mathcal{N}\left(μ; σ^2\right)$

On peut estimer $μ$ grâce à $\overline{x}_n = \frac{1}{n}\sum_{i=1}^{n}x_i$ et $σ$ grâce à $s_n^2 = \frac{1}{n}\sum_{i=1}^{n}\left(x_i - μ\right)^2$ ou ${s^*}_n^2 = \frac{1}{n-1}\sum_{i=1}^{n}\left(x_i - \overline{x}_n\right)^2$ selon que $μ$ est connue ou non.

On peut ensuite trouver leurs intervalles de confiance car on a $\overline{x}_n \sim \mathcal{N}\left(μ; \frac{σ^2}{n}\right)$ ou $\sqrt{n}\frac{\overline{x}_n - μ}{{s^*}_n} \sim \mathcal{T}_{n-1}$ selon que $σ$ est connue ou non, et $\frac{n}{σ^2}s_n^2 \sim \mathcal{X}_n^2$ et $\frac{n-1}{σ^2}{s^*}_n^2 \sim \mathcal{X}_{n-1}^2$.

Jusque là très bien, on trouve ça dans tous les bouquins.

Maintenant, prenons $X \sim \mathcal{L}$, avec $\mathcal{L}$ une loi quelconque d’espérance $μ$ et de variance $σ^2$. En vertu du TCL, les résultats précédents sont toujours valables sous réserve que $n$, la taille de l’échantillon, soit suffisamment grand. Jusque-là, j’ai toujours bon? C’est évident pour l’espérance, je suis moins sûr pour la variance.

Ok. Maintenant ça veut dire quoi «$n$ suffisamment grand»? Généralement on parle d’au moins une trentaine, mais pourquoi? Ou plutôt à quelle approximation ça correspond? Ça me semble avoir peu de sens de se donner un intervalle de confiance si la précision de ses bornes n’est pas connue. Existe-t-il une méthode pour déterminer la précision (ou un majorant de cette précision) en fonction de $n$?

Merci d’avance.

Bonjour à tous,

Je suis nouveau sur le forum. Pour présenter un peu le contexte, j’ai repris les
études dans le domaine des science de l’environnement, où j’ai eu quelques cours d’analyses de données. Bien sûr on est dans le domaine des maths appliqués : le but n’est pas de refaire toute la théorie de la mesure, mais de comprendre les différents outils, leurs principes de fonctionnement, leurs limites, etc.

De même, côté enseignants, aucun d’eux n’est mathématicien. Ils connaissent ces
outils parce qu’ils en ont besoins dans leurs travail de tous les jours, mais
certains maîtrisent mieux que d’autres et en comprennent mieux que d’autre le
fonctionnement sous-jacent. La conséquence, c’est qu’ils ont un peu tendance à
retransmettre leur savoir tel qu’ils ont appris l’utiliser, mais j’ai encore un
peu de mal à trouver les réponses à certaines intérrogations.

Je commence donc par ouvrir un topic sur les tests les plus simples : Fisher &
Student. D’autres questions suivront.

Ces deux tests ont pour principale hypothèse la normalité des données. Et celui
de Student a en plus une hypothèse d’homoscédasticité.

Le problème c’est qu’ils s’agit d’échantillons prélevés sur le terrain, pas toujours très nombreux, pour lesquelles on a pas forcément de raison *a priori* de préviligier une loi plutôt qu’une autre.

Une des méthodes présentées en cours peut se résumer à peu près comme suit :

1. test de Shapiro-Wilk;
    * Si p<0.95 tentative de normalisation et on reprends au 1.
    * Sinon, on passe au 2.
2. test de Fisher.
    * si p<0.95 on déduit avec 95% de certitude que les données n’appartiennent pas au même échantillon.
    * Sinon on passe au 3.
3. test de Student
    * si p<0.95 on déduit avec 95% de certitude que les données n’appartiennent pas au même échantillon.
    * sinon, on ne peux rien déduire.

La méthodo me titille un peu. Le test de SW permets de prouver la non-normalité,
mais pas la normalité. Et celui de F permets de prouver l’hétéroscédasticité,
mais pas l’homoscédasticité. Au mieux, ils permettent de dire «les jeux de
données sont indicernables de jeux de données gaussiens de même variance».
Surtout que lorsqu’il s’agit d’environnement, on a pas toujours la chance
d’avoir des jeux de données de 200 échantillons (les prélèvements peuvent être
destructifs, prendre du temps, etc), Donc les tests auront beaucoup de mal à
invalider H0.

Premiere série de questions :

1/ Qu’est-ce que vous pensez de ce genre de raisonnement. Est-ce que ça vous
parait rigoureux?
2/ Quelles sont les conséquences si on fait un test-t sur des données qu’on
suppose gaussiennes, et que ces dernières de le sont pas.
3/ Faire un test de SW est-il vraiment plus fiable que de simplement vérifier
l’histogramme? Est-ce juste un moyen de quantifier cette normalité par la
valeur de p?

Ensuite, j’ai posé la question à un autre prof qui nous a fait un cours succins
sur les GLM. Lui, il a un avis complètement différents. Il ne l’a pas formulé
comme ça, mais en gros, c’est : «c’est une méthodologie obsolette, tous les
scientifiques ont arrêté de l’utiliser depuis 20 ans, sauf en sciences de
l’environnement. Les tests de Fisher et de Student ont été développés pour des
besoins très particuliers, et ne sont pas adaptés dans notre contexe. Vous ne
devais pas essayer d’inférer a posteriori de la distribution de vos données
d’après vos échantillons, mais vous devais faire vos hypothèses a priori en
fonction des propriétés attendus, et modéliser ensuite avec le bon GLM.».

Cette dernière phrase fait allusion à ce type d’arbre de décision : https://bedeffinianrowedavies.com/stati … nk-1-1.png

D’une certaine manière son raisonnement me parait plus honnête
intellectuellement : on fait une hypothèse parce qu’on a des raisons de la
faire, plutôt que d’essayer de se convaincre par des tests qui ne prouve rien
qu’une hypothèse est bonne parce qu’on en a besoin (enfin c’est mon impression).

D’un autre côté, je ne suis pas non plus certains de la justification des ces
hypothèses. Après tout, une loi de probabilité, c’est à peu de chose près
n’importe quelle fonction dont l’intégrale est égale à 1. Donc lorsqu’il dit
qu’il faut prendre une loi de Poisson si la données est discrète, définie
positive et non majorée, j’ai une peu envie de demander pourquoi pas n’importe
quelle autre loi discrète positive et non majorée. Après tout, il ne doit pas
être difficile de construire une infinité de loi de probabilité qui respecte ces
critères non?

Donc dernière question (pour le moment) :

5/ Est-ce qu’il y a une justification rigoureuse à ce genre de diagramme?
Qu’est-ce que vous pensez de cette méthodologie?

Merci d’avance pour vos réponses.