logo

TechCodeview

Comprendre les tests d'hypothèses

Les tests d'hypothèses consistent à formuler des hypothèses sur les paramètres de la population sur la base de statistiques d'échantillon et à évaluer rigoureusement ces hypothèses par rapport à des preuves empiriques. Cet article met en lumière l’importance du test d’hypothèse et les étapes critiques impliquées dans le processus.

Qu’est-ce que le test d’hypothèse ?

Le test d'hypothèse est une méthode statistique utilisée pour prendre une décision statistique à l'aide de données expérimentales. Les tests d’hypothèses sont essentiellement une hypothèse que nous faisons à propos d’un paramètre de population. Il évalue deux déclarations mutuellement exclusives sur une population afin de déterminer laquelle des déclarations est la mieux étayée par les données de l'échantillon.



Exemple: Vous dites que la taille moyenne dans la classe est de 30 ans ou qu'un garçon est plus grand qu'une fille. Tout cela est une hypothèse que nous supposons, et nous avons besoin d’un moyen statistique pour le prouver. Nous avons besoin d’une conclusion mathématique, peu importe ce que nous supposons être vrai.

Définir des hypothèses

  • Hypothèse nulle (H 0 ) : En statistiques, l'hypothèse nulle est une déclaration générale ou une position par défaut selon laquelle il n'y a aucune relation entre deux cas mesurés ou aucune relation entre les groupes. En d’autres termes, il s’agit d’une hypothèse de base ou formulée sur la base de la connaissance du problème.
    Exemple : La production moyenne d’une entreprise est de 50 unités/par jour H0: mu= 50.
  • Hypothèse alternative (H 1 ) : L'hypothèse alternative est l'hypothèse utilisée dans le test d'hypothèse qui est contraire à l'hypothèse nulle.
    Exemple : La production d’une entreprise n’est pas égale à 50 unités/par jour soit H1: mu cinquante.

Termes clés des tests d’hypothèses

  • Niveau de signification : Il fait référence au degré de signification dans lequel nous acceptons ou rejetons l'hypothèse nulle. Une précision de 100 % n'est pas possible pour accepter une hypothèse, c'est pourquoi nous sélectionnons un niveau de signification qui est généralement de 5 %. Ceci est normalement noté par alphaet généralement, il est de 0,05 ou 5 %, ce qui signifie que votre sortie doit être sûre à 95 % pour donner un type de résultat similaire dans chaque échantillon.
  • Valeur P : Le Valeur P , ou probabilité calculée, est la probabilité de trouver les résultats observés/extrêmes lorsque l'hypothèse nulle (H0) d'un problème donné à l'étude est vraie. Si votre valeur P est inférieure au niveau de signification choisi, vous rejetez l'hypothèse nulle, c'est-à-dire acceptez que votre échantillon prétend soutenir l'hypothèse alternative.
  • Statistique de test: La statistique de test est une valeur numérique calculée à partir d'un échantillon de données lors d'un test d'hypothèse, utilisée pour déterminer s'il faut rejeter l'hypothèse nulle. Elle est comparée à une valeur critique ou valeur p pour prendre des décisions sur la signification statistique des résultats observés.
  • Valeur critique : La valeur critique en statistiques est un seuil ou un point de coupure utilisé pour déterminer s'il faut rejeter l'hypothèse nulle dans un test d'hypothèse.
  • Degrés de liberté: Les degrés de liberté sont associés à la variabilité ou à la liberté dont on dispose dans l'estimation d'un paramètre. Les degrés de liberté sont liés à la taille de l'échantillon et déterminent la forme.

Pourquoi utilisons-nous les tests d’hypothèses ?

Les tests d’hypothèses sont une procédure importante en statistique. Les tests d'hypothèse évaluent deux énoncés de population mutuellement exclusifs pour déterminer lequel des énoncés est le plus étayé par des échantillons de données. Quand nous disons que les résultats sont statistiquement significatifs, grâce aux tests d’hypothèses.

Test unilatéral et bilatéral

Le test unilatéral se concentre sur une direction, supérieure ou inférieure à une valeur spécifiée. Nous utilisons un test unilatéral lorsqu'il existe une attente directionnelle claire basée sur des connaissances ou une théorie antérieures. La région critique est située d’un seul côté de la courbe de distribution. Si l’échantillon se situe dans cette région critique, l’hypothèse nulle est rejetée en faveur de l’hypothèse alternative.



Test unilatéral

Il existe deux types de tests unilatéraux :

  • Test de gauche (côté gauche) : L'hypothèse alternative affirme que la vraie valeur du paramètre est inférieure à l'hypothèse nulle. Exemple : H0 : mu geq 50et H1:
  • 0: mu leq50 et H1: mu>50

Test bilatéral

Un test bilatéral considère les deux directions, supérieures et inférieures à une valeur spécifiée. Nous utilisons un test bilatéral lorsqu'il n'y a pas d'attente directionnelle spécifique et que nous souhaitons détecter toute différence significative.

Exemple : H0: dans =50 et H1: mu eq 50



Que sont les erreurs de type 1 et de type 2 dans les tests d’hypothèse ?

Dans les tests d'hypothèse, Erreurs de type I et de type II sont deux erreurs possibles que les chercheurs peuvent commettre lorsqu’ils tirent des conclusions sur une population sur la base d’un échantillon de données. Ces erreurs sont associées aux décisions prises concernant l'hypothèse nulle et l'hypothèse alternative.

  • Erreur de type I : Lorsque nous rejetons l’hypothèse nulle, alors que cette hypothèse était vraie. L'erreur de type I est désignée par alpha ( alpha).
  • Erreurs de type II : Quand on accepte l'hypothèse nulle, mais elle est fausse. Les erreurs de type II sont désignées par bêta( êta).


L'hypothèse nulle est vraie

L'hypothèse nulle est fausse

L'hypothèse nulle est vraie (accepter)

Décision correcte

Erreur de type II (faux négatif)

L'hypothèse alternative est vraie (rejeter)

Erreur de type I (faux positif)

Décision correcte

Comment fonctionnent les tests d’hypothèses ?

Étape 1 : Définir les hypothèses nulles et alternatives

Énoncez l’hypothèse nulle ( H_0), représentant aucun effet, et l'hypothèse alternative ( H_1​), suggérant un effet ou une différence.

Nous identifions d'abord le problème sur lequel nous voulons faire une hypothèse en gardant à l'esprit que nos hypothèses doivent être contradictoires, en supposant que Données normalement distribuées.

Étape 2 – Choisissez le niveau de signification

Sélectionnez un niveau de signification ( alpha), généralement 0,05, pour déterminer le seuil de rejet de l'hypothèse nulle. Cela valide notre test d’hypothèse, garantissant que nous disposons de suffisamment de données pour étayer nos affirmations. Habituellement, nous déterminons notre niveau de signification avant le test. Le valeur p est le critère utilisé pour calculer notre valeur de significativité.

Étape 3 – Collecter et analyser des données.

Recueillir des données pertinentes par l’observation ou l’expérimentation. Analyser les données en utilisant des méthodes statistiques appropriées pour obtenir une statistique de test.

Étape 4-Calculer les statistiques de test

Les données pour les tests sont évaluées au cours de cette étape, nous recherchons différents scores en fonction des caractéristiques des données. Le choix de la statistique du test dépend du type de test d’hypothèse effectué.

Il existe différents tests d'hypothèse, chacun approprié à différents objectifs pour calculer notre test. Cela pourrait être un Test Z , Chi carré , Test T , et ainsi de suite.

  1. Test Z : Si les moyennes de population et les écarts types sont connus. La statistique Z est couramment utilisée.
  2. test t : Si les écarts types de la population sont inconnus. et la taille de l'échantillon est petite, la statistique du test t est plus appropriée.
  3. Test du chi carré : Le test du Chi carré est utilisé pour les données catégorielles ou pour tester l'indépendance dans les tableaux de contingence
  4. Test F : Le test F est souvent utilisé dans l'analyse de variance (ANOVA) pour comparer les variances ou tester l'égalité des moyennes sur plusieurs groupes.

Nous disposons d'un ensemble de données plus petit. Le test T est donc plus approprié pour tester notre hypothèse.

La statistique T est une mesure de la différence entre les moyennes de deux groupes par rapport à la variabilité au sein de chaque groupe. Il est calculé comme la différence entre les moyennes de l’échantillon divisée par l’erreur type de la différence. Elle est également connue sous le nom de valeur t ou score t.

Actrice Rubina Dilaik

Étape 5 – Comparaison des statistiques de test :

À ce stade, nous décidons où nous devons accepter l’hypothèse nulle ou rejeter l’hypothèse nulle. Il existe deux manières de décider si nous devons accepter ou rejeter l’hypothèse nulle.

Méthode A : Utilisation de valeurs critiques

En comparant les statistiques de test et la valeur critique tabulée dont nous disposons,

  • Si Statistique du test> Valeur critique : rejetez l'hypothèse nulle.
  • Si la statistique du test ≤ valeur critique : ne parvient pas à rejeter l'hypothèse nulle.

Note: Les valeurs critiques sont des valeurs seuils prédéterminées qui sont utilisées pour prendre une décision lors du test d'hypothèse. Déterminer valeurs critiques pour tester les hypothèses, nous nous référons généralement à un tableau de distribution statistique, tel que les tableaux de distribution normale ou de distribution t basés sur.

Méthode B : Utilisation des valeurs P

Nous pouvons également parvenir à une conclusion en utilisant la valeur p,

  • Si la valeur p est inférieure ou égale au niveau de signification, c'est-à-dire ( pleqalpha), vous rejetez l’hypothèse nulle. Cela indique qu’il est peu probable que les résultats observés soient le fruit du seul hasard, ce qui fournit des preuves en faveur de l’hypothèse alternative.
  • Si la valeur p est supérieure au niveau de signification, c'est-à-dire ( pgeq alpha), vous ne parvenez pas à rejeter l’hypothèse nulle. Cela suggère que les résultats observés sont cohérents avec ce à quoi on pourrait s’attendre sous l’hypothèse nulle.

Note : La valeur p est la probabilité d'obtenir une statistique de test aussi extrême, voire plus extrême, que celle observée dans l'échantillon, en supposant que l'hypothèse nulle est vraie. Déterminer valeur p pour tester les hypothèses, nous nous référons généralement à un tableau de distribution statistique, tel que les tableaux de distribution normale ou de distribution t basés sur.

Étape 7 - Interpréter les résultats

Enfin, nous pouvons conclure notre expérience en utilisant la méthode A ou B.

Calcul des statistiques de test

Pour valider notre hypothèse sur un paramètre de population que nous utilisons fonctions statistiques . Nous utilisons le score z, la valeur p et le niveau de signification (alpha) pour prouver notre hypothèse de données normalement distribuées .

1. Statistiques Z :

Lorsque les moyennes de population et les écarts types sont connus.

numéroter l'alphabet

z = frac{ar{x} - mu}{frac{sigma}{sqrt{n}}}

où,

  • ar{x}est la moyenne de l'échantillon,
  • μ représente la moyenne de la population,
  • σ est l'écart type
  • et n est la taille de l'échantillon.

2. Statistiques T

Le test T est utilisé lorsque n <30,

Le calcul de la statistique t est donné par :

t=frac{x̄-Μ}{s/sqrt{n}}

où,

  • t = score t,
  • x̄ = moyenne de l'échantillon
  • μ = moyenne de la population,
  • s = écart type de l'échantillon,
  • n = taille de l'échantillon

3. Test du chi carré

Test du chi carré pour les données catégorielles d'indépendance (distribuées non normalement) utilisant :

chi^2 = sum frac{(O_{ij} - E_{ij})^2}{E_{ij}}

où,

  • O_{ij}est la fréquence observée dans la cellule {ij}
  • i, j sont respectivement les index des lignes et des colonnes.
  • E_{ij}est la fréquence attendue dans la cellule {ij}, calculé comme suit :
    frac{{ ext{{Total de la ligne}} imes ext{{Total de la colonne}}}}{{ ext{{Observations totales}}}}

Exemple de test d'hypothèse réel

Examinons les tests d'hypothèses à l'aide de deux situations réelles,

Cas A : D Un nouveau médicament affecte-t-il la tension artérielle ?

Imaginez qu’une société pharmaceutique développe un nouveau médicament qui, selon elle, peut réduire efficacement la tension artérielle chez les patients souffrant d’hypertension. Avant de commercialiser le médicament, ils doivent mener une étude pour évaluer son impact sur la tension artérielle.

Données:

  • Avant le traitement : 120, 122, 118, 130, 125, 128, 115, 121, 123, 119
  • Après traitement : 115, 120, 112, 128, 122, 125, 110, 117, 119, 114

Étape 1 : Définir l'hypothèse

  • Hypothèse nulle : (H.0)Le nouveau médicament n’a aucun effet sur la tension artérielle.
  • Hypothèse alternative : (H.1)Le nouveau médicament a un effet sur la tension artérielle.

Étape 2: Définir le niveau de signification

Considérons le niveau de signification à 0,05, indiquant le rejet de l'hypothèse nulle.

Si les preuves suggèrent moins de 5 % de chances d’observer les résultats en raison d’une variation aléatoire.

Étape 3 : Calculer la statistique du test

En utilisant test T apparié analyser les données pour obtenir une statistique de test et une valeur p.

La statistique du test (par exemple, la statistique T) est calculée sur la base des différences entre les mesures de la pression artérielle avant et après le traitement.

t = m/(s/√n)

Où:

  • m = moyenne de la différence soit X après, X avant
  • s = écart type de la différence (d) soit d je = X après, je − X avant,
  • n = taille de l'échantillon,

alors, m= -3,9, s= 1,8 et n= 10

nous calculons la statistique T = -9 sur la base de la formule du test t apparié

Étape 4 : Trouver la valeur p

La statistique t calculée est de -9 et les degrés de liberté df = 9, vous pouvez trouver la valeur p à l'aide d'un logiciel statistique ou d'un tableau de distribution t.

ainsi, valeur p = 8,538051223166285e-06

Étape 5 : Résultat

  • Si la valeur p est inférieure ou égale à 0,05, les chercheurs rejettent l’hypothèse nulle.
  • Si la valeur p est supérieure à 0,05, ils ne parviennent pas à rejeter l’hypothèse nulle.

Conclusion: Puisque la valeur p (8,538051223166285e-06) est inférieure au niveau de signification (0,05), les chercheurs rejettent l’hypothèse nulle. Il existe des preuves statistiquement significatives selon lesquelles la tension artérielle moyenne avant et après le traitement avec le nouveau médicament est différente.

Implémentation Python des tests d'hypothèses

Créons des tests d'hypothèses avec Python, où nous testons si un nouveau médicament affecte la tension artérielle. Pour cet exemple, nous utiliserons un test T apparié. Nous utiliserons le scipy.stats> bibliothèque pour le test T.

Nous allons implémenter notre premier problème réel via python,

Python3

import> numpy as np> from> scipy>import> stats> # Data> before_treatment>=> np.array([>120>,>122>,>118>,>130>,>125>,>128>,>115>,>121>,>123>,>119>])> after_treatment>=> np.array([>115>,>120>,>112>,>128>,>122>,>125>,>110>,>117>,>119>,>114>])> # Step 1: Null and Alternate Hypotheses> # Null Hypothesis: The new drug has no effect on blood pressure.> # Alternate Hypothesis: The new drug has an effect on blood pressure.> null_hypothesis>=> 'The new drug has no effect on blood pressure.'> alternate_hypothesis>=> 'The new drug has an effect on blood pressure.'> # Step 2: Significance Level> alpha>=> 0.05> # Step 3: Paired T-test> t_statistic, p_value>=> stats.ttest_rel(after_treatment, before_treatment)> # Step 4: Calculate T-statistic manually> m>=> np.mean(after_treatment>-> before_treatment)> s>=> np.std(after_treatment>-> before_treatment, ddof>=>1>)># using ddof=1 for sample standard deviation> n>=> len>(before_treatment)> t_statistic_manual>=> m>/> (s>/> np.sqrt(n))> # Step 5: Decision> if> p_value <>=> alpha:> >decision>=> 'Reject'> else>:> >decision>=> 'Fail to reject'> # Conclusion> if> decision>=>=> 'Reject'>:> >conclusion>=> 'There is statistically significant evidence that the average blood pressure before and after treatment with the new drug is different.'> else>:> >conclusion>=> 'There is insufficient evidence to claim a significant difference in average blood pressure before and after treatment with the new drug.'> # Display results> print>(>'T-statistic (from scipy):'>, t_statistic)> print>(>'P-value (from scipy):'>, p_value)> print>(>'T-statistic (calculated manually):'>, t_statistic_manual)> print>(f>'Decision: {decision} the null hypothesis at alpha={alpha}.'>)> print>(>'Conclusion:'>, conclusion)> 
>
>

Sortir: 

T-statistic (from scipy): -9.0 P-value (from scipy): 8.538051223166285e-06 T-statistic (calculated manually): -9.0 Decision: Reject the null hypothesis at alpha=0.05. Conclusion: There is statistically significant evidence that the average blood pressure before and after treatment with the new drug is different.>

Dans l'exemple ci-dessus, étant donné la statistique T d'environ -9 et une valeur p extrêmement faible, les résultats indiquent de solides arguments pour rejeter l'hypothèse nulle à un niveau de signification de 0,05.

  • Les résultats suggèrent que le nouveau médicament, traitement ou intervention a un effet significatif sur la baisse de la tension artérielle.
  • La statistique T négative indique que la pression artérielle moyenne après le traitement est significativement inférieure à la moyenne supposée de la population avant le traitement.

Cas B : Niveau de cholestérol dans une population

Données: Un échantillon de 25 individus est prélevé et leur taux de cholestérol est mesuré.

Niveaux de cholestérol (mg/dL) : 205, 198, 210, 190, 215, 205, 200, 192, 198, 205, 198, 202, 208, 200, 205, 198, 205, 210, 192, 205, 198, 205, 210, 192, 205.

java queue

Moyenne des populations = 200

Écart type de population (σ) : 5 mg/dL (donné pour ce problème)

Étape 1: Définir l'hypothèse

  • Hypothèse nulle (H 0 ) : Le taux de cholestérol moyen dans une population est de 200 mg/dL.
  • Hypothèse alternative (H 1 ) : Le taux de cholestérol moyen dans une population est différent de 200 mg/dL.

Étape 2: Définir le niveau de signification

Comme la direction de l'écart n'est pas donnée, nous supposons un test bilatéral et, sur la base d'un tableau de distribution normale, les valeurs critiques pour un niveau de signification de 0,05 (bilatéral) peuvent être calculées via le table z et sont d'environ -1,96 et 1,96.

Étape 3 : Calculer la statistique du test

La statistique de test est calculée à l'aide de la formule z AVEC = (203,8 - 200) / (5divsqrt{25})​ et nous obtenons en conséquence, AVEC =2,0399999999999992.

Étape 4 : Résultat

Puisque la valeur absolue de la statistique de test (2,04) est supérieure à la valeur critique (1,96), nous rejetons l'hypothèse nulle. Et concluez qu'il existe des preuves statistiquement significatives que le taux de cholestérol moyen dans la population est différent de 200 mg/dL.

Implémentation Python des tests d'hypothèses

Python3

import> scipy.stats as stats> import> math> import> numpy as np> # Given data> sample_data>=> np.array(> >[>205>,>198>,>210>,>190>,>215>,>205>,>200>,>192>,>198>,>205>,>198>,>202>,>208>,>200>,>205>,>198>,>205>,>210>,>192>,>205>,>198>,>205>,>210>,>192>,>205>])> population_std_dev>=> 5> population_mean>=> 200> sample_size>=> len>(sample_data)> # Step 1: Define the Hypotheses> # Null Hypothesis (H0): The average cholesterol level in a population is 200 mg/dL.> # Alternate Hypothesis (H1): The average cholesterol level in a population is different from 200 mg/dL.> # Step 2: Define the Significance Level> alpha>=> 0.05> # Two-tailed test> # Critical values for a significance level of 0.05 (two-tailed)> critical_value_left>=> stats.norm.ppf(alpha>/>2>)> critical_value_right>=> ->critical_value_left> # Step 3: Compute the test statistic> sample_mean>=> sample_data.mean()> z_score>=> (sample_mean>-> population_mean)>/> > >(population_std_dev>/> math.sqrt(sample_size))> # Step 4: Result> # Check if the absolute value of the test statistic is greater than the critical values> if> abs>(z_score)>>max>(>abs>(critical_value_left),>abs>(critical_value_right)):> >print>(>'Reject the null hypothesis.'>)> >print>(>'There is statistically significant evidence that the average cholesterol level in the population is different from 200 mg/dL.'>)> else>:> >print>(>'Fail to reject the null hypothesis.'>)> >print>(>'There is not enough evidence to conclude that the average cholesterol level in the population is different from 200 mg/dL.'>)> 
>
>

Sortir: 

Reject the null hypothesis. There is statistically significant evidence that the average cholesterol level in the population is different from 200 mg/dL.>

Limites des tests d’hypothèses

  • Bien qu’il s’agisse d’une technique utile, la vérification d’hypothèses n’offre pas une compréhension complète du sujet étudié. Sans refléter pleinement la complexité ou le contexte global des phénomènes, il se concentre sur certaines hypothèses et leur signification statistique.
  • L'exactitude des résultats des tests d'hypothèse dépend de la qualité des données disponibles et de la pertinence des méthodes statistiques utilisées. Des données inexactes ou des hypothèses mal formulées peuvent conduire à des conclusions erronées.
  • S'appuyer uniquement sur les tests d'hypothèses peut amener les analystes à négliger des tendances ou des relations significatives dans les données qui ne sont pas capturées par les hypothèses spécifiques testées. Cette limitation souligne l’importance de compléter les tests d’hypothèses avec d’autres approches analytiques.

Conclusion

Les tests d’hypothèses constituent la pierre angulaire de l’analyse statistique, permettant aux data scientists de naviguer dans les incertitudes et de tirer des inférences crédibles à partir d’échantillons de données. En définissant systématiquement des hypothèses nulles et alternatives, en choisissant des niveaux de signification et en tirant parti de tests statistiques, les chercheurs peuvent évaluer la validité de leurs hypothèses. L'article explique également la distinction critique entre les erreurs de type I et de type II, offrant une compréhension complète du processus décisionnel nuancé inhérent aux tests d'hypothèses. L’exemple concret du test de l’effet d’un nouveau médicament sur la tension artérielle à l’aide d’un test T apparié présente l’application pratique de ces principes, soulignant l’importance de la rigueur statistique dans la prise de décision fondée sur les données.

Foire aux questions (FAQ)

1. Quels sont les 3 types de tests d’hypothèse ?

Il existe trois types de tests d’hypothèse : à droite, à gauche et bilatéral. Les tests à droite évaluent si un paramètre est supérieur, à gauche s'il est inférieur. Les tests bilatéraux vérifient les différences non directionnelles, plus ou moins importantes.

2.Quelles sont les 4 composantes du test d’hypothèse ?

Hypothèse nulle ( H_o) : Aucun effet ni différence n’existe.

Hypothèse alternative ( H_1) : Un effet ou une différence existe.

Niveau de signification ( alpha) : Risque de rejeter une hypothèse nulle alors qu’elle est vraie (erreur de type I).

Statistique de test : valeur numérique représentant les preuves observées contre l'hypothèse nulle.

3.Qu'est-ce que les tests d'hypothèses en ML ?

Méthode statistique pour évaluer les performances et la validité des modèles d'apprentissage automatique. Teste des hypothèses spécifiques sur le comportement du modèle, par exemple si les fonctionnalités influencent les prédictions ou si un modèle se généralise bien à des données invisibles.

4.Quelle est la différence entre Pytest et l'hypothèse en Python ?

Pytest utilise un cadre de test général pour le code Python, tandis que Hypothesis est un cadre de test basé sur les propriétés pour Python, axé sur la génération de cas de test basés sur les propriétés spécifiées du code.