Loi de Poisson

[paix 0]

Je vous explique. Comme à mon habitude, plutôt que de glander, j'entretiens une relation quasi fusionnelle avec Calc d'OpenOffice.org. Et là, après la conversation avec ElNino27 au sujet de la variabilité du climat, et tout ça, et tout ça, je tente de faire coller la variabilité naturelle à une loi de probabilité. J'avais déjà tenté une loi normale avec des valeur d'anomalie relative, mais c'était bof bof. Donc, je reprends ce jour ci avec la méthodo suivante :

Je calcule la moyenne glissante sur 30 ans pour chaque mois (par exemple, pour décembre 64, je calcule la moyenne sur décembre 34 à décembre 65). Mes données ne sont peut être pas rangé de manière optimale, mais bon, je m'en sors. Après je fais la différence entre la valeur observé et la valeur théorique. Par exemple, pour décembre 09, cela me fait 2.9°C pour une moyenne de 4.1°C, soit une différence de -1,5°C. Je fais ensuite une moyenne glissante des anomalies sur 12 mois, pour avoir la variation sur 12 mois et donc un cycle climatique complet. Je fais un petit calcul matriciel de distribution fréquentielle, en valeur absolue. Je prend un groupe de 30 années arbitrairement, j'ai choisi 48/77 pour avoir une période assez neutre niveau évolution du climat. Cela me fait logiquement 12 valeurs par an sur 30 ans, soit 360 valeurs:

1. Classe 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 2.0 2.1 2.2 2.3 2.4 2.5 2.6 2.7
2. Fréq 48/77 0.0778 0.1278 0.1250 0.1361 0.1000 0.0694 0.1083 0.0500 0.0583 0.0333 0.0139 0.0333 0.0139 0.0111 0.0000 0.0111 0.0056 0.0028 0.0111 0.0028 0.0028 0.0028 0.0028 0.0000 0.0000 0.0000 0.0000 0.0000

Espérance : 0.6929

Variance : 0.7729

Je me dis, tiens cela ressemble à une loi de Poisson avec un paramètre ~0.7. Je regroupe en 6 classes, je colle dessus une loi de Poisson, paramètre pris arbitrairement à 0.76 (fallait bien choisir, et je n'étais pas motivé pour faire aussi un test pour trouver le meilleur lambda ):

1. Classe 0 1 2 3 4 5 6
2. Observé 0.46666667 0.32777778 0.13888889 0.03611111 0.02222222 0.00833333 0.00000000
3. 0.76 0.4677 0.3554 0.1351 0.0342 0.0065 0.0010 0.0001

Là, je fais un graphique, et je me dis : oulà, cela ressemble à quelque chose....

Un peu inquiet, je fais un test du khi². J'élargis à 8 classes pour avoir les quelques pouillèmes qui traînent encore dans la loi de Poisson à la classe 8. Cela me fait 7 degrés de liberté, et donc des seuils à a=0.05 et a=0.01 de 14.07 et 18.48 respectivement. Je calcule le copain khi², je trouve 0.1.

Je demande à un programme JavaScipt que j'ai trouvé sur Internet si il a la même opinion que moi, et v'là ce qu'il me sort :

(à cause des arrondis, j'ai retoucher un tout petit peu les données pour avoir les mêmes sommes, sinon le programme râle).

J'ai essayé aussi, mais sans faire de test statistique ni d'optimiser le lambda, sur d'autres séries de températures (Suisse et Islande), et on dirait aussi que la valeur absolue des anomalie sur 12 mois suit aussi une loi de Poisson de paramètre quelque chose entre 0.7 et 1.0.

Et là je commence franchement à être inquiet, parce que je ne suis pas censé avoir de compétences spécifiques en stat's ou en climato' et que cela commence à devenir sérieux. Je viens donc ici demander votre opinion. Pensez vous que ma méthodo soit foireuse à un moment ou à un autre ? Est-ce que cela à un sens physique de sortir la valeur absolue des anomalies sur 12 mois ? Est -ce que je peux faire confiance au copain Khi² ? Etc... , liste non exhaustive de question

Modifié 22 décembre 2010 par paix

[nicolas1007 0]

Tu as déjà essayé de corréler les valeurs (sans les valeurs absolues, cette fois-ci, même si je ne pense pas que cela change vraiment quelque chose) avec une courbe de Laplace-Gauss? Il me paraîtrait plus logique que la courbe respecte cette loi, qu'en penses-tu?

[paix 0]

Ouaip avec la loi normale, mais je trouve cela assez peu convaincant tout de même (même période de 30 ans, sur 48/77 ) :

Cela ressemble à une loi normale, effectivement, mais je trouve cela assez peu convaincant. La moyenne est à 0.13°C (climat qui se réchauffe un poil...), mais la médiane à -0.1°C, avec une asymétrie assez marqué autour du 0 et une grosse baisse de la fréquence dès qu'on plonge à -0.6°C. Je n'ai pas il est vrai pousser l'investigation plus loin. J'ai par contre essayé de faire un truc plus propre pour ma loi de poisson :

Tout est écris pour une fois... À gauche, la distrib' fréquentielle par rapport aux anomalies en absolu. Les petit "b" sont les bornes des classes, bornes incluses. En haut à droite, le regroupement en classe, avec les données observées, la distrib' fréquentielle de la loi de Poisson paramètre 0.75, la distib' de la loi de Poisson multipliée par 360 pour comparée aux données observée, et le test Khi² à côté. En plein milieu, le graphique réajusté.

J'avais pris la fréquence, dont la somme est égale à 1, mais cela minimise évidemment le résultat du khi². En multipliant par 360 pour ne plus avoir les fréquences mais les données, et en calibrant un peu mieux ma loi de Poisson à 0.75, j'ai toujours un Khi² très faible. J'ai maintenu 7 degrés de liberté, mais cela marche aussi avec 5 degrés de liberté. Je me demande tout de même si tout ceci à un sens. Peut-on choisir arbitrairement tel regroupement de classe plutôt que tel autre ? Peut-on rendre discret un phénomène par essence continu ? ...

Modifié 22 décembre 2010 par paix

[paix 0]

Pour un patelin islandais au nom imprononçable, Stykkishólmur (le mieux, la notion toute relative de ville : http://fr.wikipedia.org/wiki/Stykkish%C3%B3lmur ... Au moins, il y a autant d'effet de chaleur urbaine qu'il y a de neige dans le tombeau de Nefertiti)

Toujours le même tableau, même période de référence, mais cette fois ci avec un lambda plus faible (pris arbitrairement à 0.55, entre moyenne et variance pour rappel) :

Ce qui m'affole, c'est que même sans optimiser mon machin, je trouve des résultats très probants. Je n'ai pas les outils pour essayer de calculer le meilleur paramètre de la loi de Poisson pour minimiser le khi², tout en ajustant simultanément les classes, et pourtant... Soit je suis un génie et j'arrive à calibrer les classes et la loi de Poisson sans calcul, soit j'ai vraiment un problème de méthodo quelque part

Pour Nicolas :

La distribution en relatif. Si encore pour Uccle, on pouvait débattre d'une loi normale, je crois que là c'est mort... Moyenne à -0.23°C et médiane à -0.6°C .

Je m'en vas aussi calculer les coefficients de corrélation. Je l'ai fait, mais j'ai oublié de sauvegarder. De mémoire, ils étaient un peu trop bon pour être vrai....

[paix 0]

J'ai récupéré les coefficients de corrélations entre la loi de poisson à 0.75 et la série d'Uccle de 1948 à 1977 :

r=0.8860607 (0.89)

De même, pour le patelin Islandais, entre loi de poisson à 0.55 et série de données de 1948 à 1977 :

r=0.8886041 (0.89)

Modifié 22 décembre 2010 par paix

[paix 0]

J'ai essayé de diversifier un peu, avec toujours un climat à forte influence océanique, mais à l'autre bout du monde cette fois çi, Suttsu ( http://en.wikipedia.org/wiki/Suttsu , j'essaye de garder des stations exemptes de tout effet de chaleur urbain, ce qui explique que ce soit des patelins pommés au nom imprononçable Pour la qualité des stations, je fais confiance aux organismes nationaux ), et toujours la même période de référence. Il y a toujours un lambda faible, le plus faible jusqu'à présent à 0.5 environ.

Toutes les données essentielles sont dans le tableau, toujours disposées de la même manière. Le Khi² reste très faible (c'est, bien sûr les chiffre en bas de la colonne nommé Khi² ), et que l'on soit à 2 degrés de liberté ou à 8, on est largement en dessous du seuil critique. De même la corrélation se maintient aux alentour de 0.88 alors que je n'ai rien fait pour choisir mon paramètre de la loi de poisson (le fait que j'ai des paramètres par pas de 0.05 veut tout dire )

Pour Nicolas, la distribution des valeurs relatives :

La moyenne est à 0.15°C et la médiane à -0.1°C

Et j'ai pris une station plus continentale, Engelberg ( http://en.wikipedia.org/wiki/Engelberg ) mais sans doute aussi marqué par l'influence de la montagne, avec une altitude de 1035 mètres pour la station d'après Météo Suisse.

Le lambda monte à 0.77, seule valeur à 0.01 près entre 0.76 et 0.78. On pourra noter que c'est la station qui s'approche le plus du cas idéal moyenne=variance.

Pour Nicolas, la distribution des valeurs relatives :

La moyenne est à 0.045°C, la médiane à -0.01°C.

Vous comprendrez sans doute pourquoi j'ai rejeté l'idée d'une distribution gaussienne. Pour certaines stations, ce n'est pas si mauvais, mais pour d'autres ce n'est vraiment pas cela.

Je vais essayé de trouver des stations continentale. L'empire Russe a une longue histoire de relevées de températures, notamment pour la capitale impériale. Je vais voir. Je me demande cependant si je ne suis pas en train de faire des stat's dans le vide, en mettant en évidence un phénomène physique (lequel d'ailleurs ?) qui n'existe pas.

Modifié 22 décembre 2010 par paix

[paix 0]

J'ai essayé de changer de méthodo, pour vérifier si le modèle était robuste, et c'est ce qui m'inquiète, il l'est Je ne vois aucune raison qui explique comment tout ceci peut avoir un sens, et pourtant le modèle est toujours là...

J'ai essayé cette fois ci de prendre la moyenne sur 30 ans centrés sur l'année en question. Par exemple, je prend la moyenne de décembre 1933 à décembre 1963, décembre 1948 exclu, pour le mois de décembre 1948. Je calcule là dessus l'anomalie mensuelle, puis une moyenne glissante sur 12 mois. Et j'ai toujours une loi de Poisson avec un test de Khi² et une corrélation qui me dise que cela colle...

[paix 0]

J'ai tenté pour la ville de Чердынь, dans le kraï de Perm ( http://fr.wikipedia.org/wiki/Tcherdyne ). "Ville rurale" de 5000 habitants, à 900 km de l'Océan le plus proche (et encore, si on peut appeler cela un océan, c'est l'Arctique). La série présente malheureusement quelques discontinuités, durant la saison froide 1919/1920, sans doute dû à la guerre civile. J'ai donc fait des moyennes sur 29 ans, en excluant les mois sans données, pour 1948 et 1949. Cela ne change pour ainsi dire rien. J'ai également un trou bien curieux en Janvier 1948, que j'ai bouché avec l'aide de NCEP/NCAR. C'est une valeur arbitraire, mais elle semble réaliste, et cela ne change aussi pas grand chose.

J'ai remarqué que cet abruti de Calc me décaler toutes les classes. Ainsi, les valeurs à 0.0 sont comptés dans la colonne à 0.1, et ainsi de suite. Cela ne change rien au final, mais cela est tout de même bien curieux. Problème d'arrondi ? De borne sup/inf ? Je n'en sais rien...

De plus, c'est une ville au pied de l'Oural, avec un climat très froid et de gros écart annuel. Le tableau des fréquences déborde donc un peu de l'image, mais il ne manque pas grand chose. La moyenne est à 0.82°C, la variance à 0.62. C'est la première fois que je tombe sur un tel écart entre moyenne et variance. Limite du modèle ? Modèle de limite ? Pourtant, une loi de Poisson passe encore bien avec un paramètre de 0.75. Je n'ai pas tenté d'optimiser le truc plus que cela (comme d'hab ), et pourtant cela passe bien.

Curieusement, le paramètre de la loi de Poisson reste faible, avec la même valeur que pour Uccle, comparable au patelin suisse de toute à l'heure. La question qui me vient à l'esprit, la différence entre les différents lambda que je sors au fur et à mesure est-elle significative ? Parce que là, on tourne quand même entre 0.55 et 0.77, en ayant eu de l'océanique, du continental, et du montagnard. Je ne prétend pas que l'échantillon soit représentatif, mais là je ne me suis que rarement posé autant de questions. Je n'arrive pas à comprendre ce que je suis en train de faire, et l'intérêt que cela peut avoir, ni même si le modèle existe vraiment. Certes, la loi de Poisson, c'est la loi des événements rares, cela s'accommode plutôt bien avec une valeur d'anomalie qui existe mais ne revient pas souvent, même sur 360 essais, etc... mais tout de même. Tout ceci a-t-il un sens.

Je suis désolé aussi de présenter ainsi mes résultats en vrac. C'est de la plus grande incorrection. Pour ma défense, je suis vraiment perturbé par cette histoire de modèle statistique.

Modifié 23 décembre 2010 par paix

[bib 0]

Je suis ignare dans ce domaine, donc je ne peux pas t'aider, mais par contre j'aime apprendre.

J'aimerais donc savoir, en gros ce qu'est cette "loi de Poisson". Sur Wiki je trouve ceci:

En théorie des probabilités et en statistiques, la loi de Poisson est une loi de probabilité discrète qui décrit le comportement du nombre d'évènements se produisant dans un laps de temps fixé, si ces évènements se produisent avec une fréquence moyenne connue et indépendamment du temps écoulé depuis l'évènement précédent. La loi de Poisson est également pertinente pour décrire le nombre d'évènements dans d'autres types d'intervalles, spatiaux plutôt que temporels, comme des segments, surfaces ou volumes.

(...)

Par exemple, si un certain type d'évènements se produit en moyenne 4 fois par minute, pour étudier le nombre d'évènements se produisant dans un laps de temps de 10 minutes, on choisit comme modèle une loi de Poisson de paramètre λ = 10× 4 = 40.

C'est donc une sorte d'extrapolation, partant d'un fait (fréquence sur une période de temps) ?

Si je "perçois" bien: il y a différentes lois, qui se basent sur des calculs différents, chacune applicables dans certains cas et pas dans d'autres ?

Qu'est-ce qui pousse à choisir l'une plutôt que l'autre ?

Et qu'est-ce que tu as remarqué en faisant tes calculs qui t'étonne tellement (sorry j'y ai rien compris, c'est du chinois pour moi !)

Répond trrrrès simplement, si c'est possible ! C'est un domaine complexe et je n'ai pas de connaissance en math sup'.

Merci !

Modifié 23 décembre 2010 par bib

[paix 0]

Avec un peu de musique, ce sera mieux, non ?

http://www.youtube.com/watch?v=Ay5V7EF6HGA...feature=related

Si je "perçois" bien: il y a différentes lois, qui se basent sur des calculs différents, chacune applicables dans certains cas et pas dans d'autres ?

Tout à fait. La première notion importante est l'idée de variable aléatoire. C'est une grandeur qui peut prendre différentes valeurs. Par exemple, l'anomalie absolue de température est une grandeur, et elle peut prendre les valeurs 0.0 , 0.1 , 0.2 , ...

Il existe des variables aléatoires discrètes, c'est à dire qui ne prenne qu'un nombre fini de valeurs. Par exemple, le jet d'un dé est une variable aléatoire discrète, qui ne prend que 6 valeurs : 1, 2,... ,6 .

Et des variables aléatoire continus, qui prennent une infinité de valeur. Par exemple, la taille, qui prend valeur entre 1.4 et 2 mètres généralement, avec une courbe en cloche.

Une loi de probabilité va associer à chaque valeur d'une variable aléatoire une probabilité. Par exemple, pour un dé non pipé, chaque face a 1/6 chance (risque ? ) de sortir. On associe alors à chaque valeur 1, 2, ..., 6, une probabilité de 1/6. C'est une loi de probabilité. Dans ce cas, elle porte le nom de loi équiprobable, car chaque valeur de la variable aléatoire à la même probabilité. On peut représenter graphiquement ces lois, comme toutes fonctions, en mettant la probabilité d'une valeur en ordonnée et les valeurs de la variable en abscisse.

Il existe des lois pour les variables aléatoires continus et des lois pour les variables aléatoires discrètes. La loi est le cas théorique, mais dans la pratique, la variable aléatoire va prendre différentes valeurs avec différentes probabilités sans correspondre parfaitement à la loi. Il existe alors des tests pour vérifier si les valeurs de la variable aléatoire colle à la loi. Un exercice classique dans l'enseignement, est de fournir un tableau avec le nombre de fois où chacune des 6 faces d'un dé est sorti, et de demander si le dé est pipé ou non. On calcule alors la fréquence d'apparition de chaque face du dé. Puis on compare ces fréquences à la probabilité donnée par la loi, qui pour un dé non pipé, est la loi équiprobable. Si le test confirme qu'on colle à la loi, le dé n'est pas pipé, sinon il l'est.

Cependant, on ne peut pas être absolument affirmatif. Il existe par exemple toujours une probabilité, même si elle est infime, qu'un dé non pipé sortent 20 fois de suite un 6 (la probabilité est de (1/6)^20 ). Il existe donc ce qu'on appelle un risque alpha de première espèce, qui mesure le risque qu'on a de se tromper. On choisit généralement un risque à 0.05, ou de manière équivalente une certitude à 95%. On peut faire ce genre de test avec n'importe quelle loi de probabilité, et n'importe quel jeu de fréquences d'une variable. Les plus connus (les seuls que je maitrise aussi ) sont le test du χ² (prononcé chi-deux ou chi-carré) et le test t de student. On pourrait aussi rajouter le coefficient de corrélation. Ce n'est pas vraiment sa place, puisqu'il n'est pas en aucun cas un test statique, mais il permet quand même de savoir si deux courbes collent et il est toujours utile.

Qu'est-ce qui pousse à choisir l'une plutôt que l'autre ?

C'est mon problème !

Dans l'enseignement, l'idée d'une distribution plutôt qu'une autre est généralement subtilement suggéré, dans la vie réel cela pose rarement problème, mais alors là, présentement, ????

Il y a quand même des indices. Déjà visuellement, la courbe qui représente la probabilité en fonction des valeurs d'une variable aléatoire n'est pas la même d'une loi à l'autre. Ensuite, chaque loi a ses caractéristiques.

Pour la loi normale, loi continue, en théorie, on a moyenne=médiane, ce qui est déjà un indice, et la distribution est symétrique, et incluse à 99% entre 3 écart type, bref en général on la voit venir assez facilement.

Pour la loi de Poisson, loi discrète, on a moyenne=variance=paramètre de la loi, c'est le principal indice à ma connaissance.

Etc... , il y a des tas de lois, chacune avec leur particularité et leur caractéristique qui aide à naviguer.

C'est donc une sorte d'extrapolation, partant d'un fait (fréquence sur une période de temps) ?

Techniquement, ce n'est pas une extrapolation, mais une modélisation. On a des faits d'un côté, on a les maths de l'autre, et on essaye de réunir les deux. Une extrapolation peut se faire suite à une modélisation, en donnant les résultats du modèles pour des valeurs qui n'ont pas été mesurés.

Et qu'est-ce que tu as remarqué en faisant tes calculs qui t'étonne tellement (sorry j'y ai rien compris, c'est du chinois pour moi !

Tout les calculs sont inexacts. Mathématiquement c'est juste, mais physiquement c'est complétement foireux, et je n'arrive pas à trouvé la modélisation qui va bien, ni la méthodo pour y arriver.

Ma variable aléatoire est l'anomalie absolue de température, qui prend pour valeurs : 0.0 , 0.1 , 0.2 , ...

Curieusement, la variable semble suivre la même loi qu'elle que soit le climat et la région du monde. Bon, ce n'est pas si surprenant, mais je ne m'attendais pas à une telle stabilité de la variabilité à travers les stations visités. Et le deuxième point qui me perturbe est la modélisation. La loi de Poisson a toutes les chances d'être fausse, mais je n'arrive pas à faire passer une courbe à travers les données. J'ai tout un tas de questions qui se pose.

Est-ce-que ma variable aléatoire est discrète ou continue ? A priori, la température est un phénomène continu, la variable aléatoire serait donc continu, invalidant l'hypothèse d'une loi de Poisson. Mais compte tenu de l'incertitude de mesure, dut fait que les valeurs sont données à 0.1°C près, est-ce-que considérer la variable comme discrète n'est pas plus raisonnable.

Mon gros problème, c'est que je tourne en rond avec la modélisation. Je me doutais que la loi de Poisson avait toute les chances d'être inexactes, mais j'ai refusé de l'admettre, plus parce que je n'avais pas d'autre porte de sortie que par fierté.

Voici les résultats bruts pour diverses stations :

Suttsu

Naze

Ilulissat

Uccle

Engelberg

C'est la fréquence d'apparition d'une anomalie absolue sur la période 48/77, pour diverses stations pour les carrés bleus, et la fréquence cumulée pour les losanges orange. Je suis limité à 250ko et je ne vais pas sortir les graphiques pour 50 stations, mais pour d'autres stations comme Чердынь; ou Stykkishólmur ou d'autre encore, le graphique à la même tête. La question qui se pose est donc déjà de savoir si j'ai une variable discrète ou continue. La deuxième est de savoir comment modéliser ce bazar. Chaque courbe ressemble à une autre, et curieusement, à l'exception d'Ilulissat ou ce phénomène est moins marqué, la fréquence d'apparition devient très faible pour des anomalies de plus de 1.5°c, même à Чердынь, pourtant une station bien continentale. Il y a quand même bien un étalement pour Ilulissat ou Чердынь; vers des valeurs extrêmes de plus de 2°C, mais leur fréquence est faible ( <0.015 ). Ilulissat est réellement la station ou la courbe est la plus "dégeu", pour toutes les autres stations que j'ai visité le graphique se comporte de la même manière que les autres stations présentées ici.

L'autre question est celle du zéro, car on a pour certaines stations un petit rebond de la fréquence pour le zéro, et avec un peu de malchance, je pourrais avoir un phénomène sinusoïdale qui se super impose...

Je ne pense pas que le fait qu'il y ait un rebond à la valeur 0 change la modélisation. Je le dis, en voyant le graphique de Suttsu, Naze, et Engelberg, où il pourrait y avoir en réalité un phénomène de transition progressive qui peut tout à fait rentrer dans le cadre d'une même modélisation en fonction des paramètres fixés.

J'ai essayé de faire passer un peu près tout là dedans, et je n'arrive à rien qui soit physiquement et mathématiquement juste. J'ai essayé la loi de Poisson, j'ai essayé la loi continue du bêta prime (ne cherchez pas sur wikipedia en français, il n'y a pas d'articles : http://en.wikipedia.org/wiki/Beta_prime_distribution ), une exponentielle convergente sur la courbe de la fréquence cumulée, mais rien qui semble réellement convaincant.

Le cas de l'exponentielle croissante est d'ailleurs resté sur les graphique d'Uccle et d'Engelberg. C'est une fonction de la forme :

y=1-exp(-A*x+, les paramètres A et B étant référencés dans la légende de la série (2.3 et ln(0.85) pour Uccle et 2.3 et ln(0.88) pour Engelberg). La corrélation est bonne (0.96 environ), mais cela ne me convient pas car pour remonter à la courbe de la fréquence qui est la plus intéressante, cela ne même nul part.

Je vais essayer de rester simple, mais l'idée de la fréquence cumulée d'une variable aléatoire est d'être l'intégrale, c'est à dire la somme infinitésimale, de la courbe de la fréquence continue. Et l'intégration donne un résultat plutôt lissé, avec perte d'information de la courbe de départ. Donc, même des équations bateaux passent pour la fréquence cumulée, mais pour retrouver la fréquence, cela n'aboutit nul part.

Répond trrrrès simplement, si c'est possible ! C'est un domaine complexe et je n'ai pas de connaissance en math sup'.

Je ne suis pas non plus censé en avoir, c'est pour cela que je suis ici d'ailleurs J'espère être resté simple

[bib 0]

waw mille merciiiiis.

J'ai parcouru, et cela a l'air passionnant et compréhensible, c'est vraiment gentil de t'être donné cette peine. Je le relirai à l'aise et te répondrai en détail, mais je dois y aller, maintenant.