Comparer les modèles

[dr_plans 0]

Bonsoir,

Je ne suis pas très actif sur le forum mais je lis régulièrement avec attention vos prévisions.

J'ai constaté que, comme moi, beaucoup se pose des questions sur la fiabilité des modèles.

Quel est le meilleurs modèles ? Le GFS18z est il réellement plus mauvais que ses petits frères ? Que vaut BOM ?

Autant de questions auquels il est difficile de répondre sans statistiques...

Ayant trouvé peu de stat sur les performances des modèles j'ai décidé de développer un petit outil qui sera très prochainement en ligne.

L'idée est simple : une page web propose 2 cartes (une prévision au hasard et la situation réellement observer qq jours plus tard) qu'il suffit de noter. A terme, si il y a suffisament de votes, cela pourrait donner une idée sur la fiabilité des modèles

Actuellement, par carte il y a deux note à attribuer : "position" et "intensité". Je suis pas sûre que ce soit pertinant.

Je pense aussi ajouter un système qui permet de décrire le "type de situation" (bloquage, zonal, ...), mais à voir...

Le but serait de voir si un modèle sort du lot dans certain type de situation.

Si vous avez des idées, avis, suggestions, elles sont les bienvenues.

bonne soirée.

(et petite pensée aux hivernophiles dégouté d'avoir suivi au radar la zone de neige du 29/11/2010 se désagréger sur la Belgique (comme d'hab quoi)).

[Piet 0]

Salut,

une étude sur le site de MeteoFrance montre un graphe comparant des modèles principaux.

ECMWF (modèle européen du CEPMMT), en bleu clair sur le graphe, gagne haut la main sur les autres: http://entreprise.meteofrance.com/jsp/site...p;page_id=13438

A noter que je connaissais une personne de MeteConsult Hollande qui faisait des statistiques et m'avait à l'époque confirmé que ECMWF était nettement au-dessus de GFS, surtout au-delà d'un jour ou deux d'échéance.

A noter qu'on parle des modèles principaux qui vont jusqu'à moyen terme, pas des modèles à maille fine comme le WRF et autres, qui visent la précision à court terme.

[dr_plans 0]

Bonsoir,

Merci pour votre réponse et pour le graph instrucitf. Je ne le connaissais pas.

Je sais qu'il y a des stats et que CEP est réputé le meilleurs mais je n'ai jamais vu grand chose.

Et je ne sais pas trop comment sont établi ces classements.

Par exemple, cela m'étonnerais pas que GFS perde des point à cause de comme certain l'appel son zonal auto après 200h.

Ce qui théoriquement ne l'empècherais pas d'être performant à des échéances plus raisonable.

Néanmoins, j'espère que vous partager mon avis sur le peu de stats accessible au public amateur sur l'éfficacité des modèles.

J'ai quand même passé qq heures à codé mon appli ;)

J'ai mis la V0.0.001 alpha pre-release Nightlybuild en ligne. C'est moche (pour toujours), pas (encore) un peu sécurisé, buggé (je fais de mon mieux) et traduit par JCVD, mais l'idée de base est là.

Si certains d'entre vous veullent allez jeter un oeil, ça ce passe là : http://www.becyber.be/modcomp/home.php

J'ai pas encore fini (c'est peu dire) la page stat : http://www.becyber.be/modcomp/home.php

N'hésitez pas à me donner votre avis. Même si vous trouver ça nul et inutile.

Merci d'avance et Bonne nuit.

[Eulzor 0]

Je ne suis pas un gros "calibre" comme d'autres ici, mais j'essaye de faire de mon mieux...

Effectivement, se demander quel est le meilleur modèle est une bonne question, et si le graphique de Piet le dit, c'est que ça doit être vrai ! J'admire d'ailleurs sa patience à nous présenter son expérience précieuse, ramenant tant bien que mal certains à modérer leur enthousiasme.

Comparer les divers runs part d'un bon esprit, mais revient à lire tous les avis divergeants sur la page des prévisions et à la fin on ne sait même plus quelle heure il est

Chacun son ou ses favoris, je sais que je vais encore m'attirer des foudres vis-à-vis des "prévisions automatiques sur un pointage de lieu", mais j'aime encore assez le petit programme proposé sur Météociel basé sur GFS. Je m'en tiens à ceux publiés à minuit qui, j'ignore pourquoi, me semblent souvent plus pertinents. Le dimanche matin j'en fait une barette que je compare à la suite des évènements au courant de la semaine afin d'en dégager une tendance.

Si on fait la différence entre celle sortie ce dimanche :

Et celle de ce matin :

On constate que le redoux pourrait se pointer plus tôt que prévu, et je le verrais même arriver avec ses gros sabots avant le week-end, vu le retour de vent dans un axe sud-ouest plus en accord avec les normes saisonnières. Là bien entendu ça devient une question de "feeling", mais n'oublions pas qu'il s'agit de modèles informatisés et que tout-puissant soit un ordinateur, il n'a que ce qu'on lui a programmé. Votre idée n'est pas nulle ou inutile, mais elle va demander beaucoup de paramètres à ne pas négliger !

Modifié 30 novembre 2010 par Eulzor

[dr_plans 0]

Bonjour à tous

et merci Eulzor pour votre réponse.

Je pense aussi que le graph de Piet est correcte. Je ne remets pas en cause la supériorité de CEP.

J'émettais juste l'hypothèse que partant du fait que GFS ne vaut pas grand chose apd +196h, cela peut considérablement impacter sa moyenne.

Mon but n'est pas de prouvé que GFS est meilleurs que CEP, loin de là. C'étais juste un exemple plausible pour montrer ce que des stats plus fine pourraient montrer comme info.

Dans un premier temps, les stats que je compte mettre en ligne sont :

note* moyenne pour chaque modèles

note* moyenne pour chaque modèles par échéance +12h, +24h, +48h, ...

note* moyenne pour chaque modèles par jour/mois/années (~graph de Piet)

+ ...

* : toujours deux notes : une pour le placement des centres d'actions, une seconde pour leurs intensités.

Pour ce qui est de comparer les modèles, c'est sûre que certains vont privilégier tel ou tel modèle parce que c'est son favori ou que la prévision lui convient. J'imagine bien l'hivernophile frustré qui colle à 0/10 à un modèle parce que celui-ci avait annoncé de la neige et qu'il n'y en a pas eu chez lui mais que la carte est à 99% juste.

Cependant, je penses que c'est une miniorité et que cela sera lissé par le nombre de vote.

Bonne après midi et prudence sur les routes.

Il a beau n'être tombé qu'1 ou 2 malheureux centimètres sur le centre mais ça gliiisse.

tester le comparateur de modèle : http://www.becyber.be/modcomp/home.php

Modifié 30 novembre 2010 par dr_plans

[Piet 0]

J'émettais juste l'hypothèse que partant du fait que GFS ne vaut pas grand chose apd +196h, cela peut considérablement impacter sa moyenne.

En fait le graphe montre les scores de différents modèle à une échéance de +72h pour être précis. Donc même à 72h, ECMWF semble meilleur que GFS.

Je ne pense pas qu'il faille jeter GFS à la poubelle pour la cause, mais son succès vient avant tout d'un énorme panel de cartes consultables gratuitement par les passionnés sur le net.

Pour ECMWF, c'était le désert et il était impossible jusqu'il y a peu de faire une prévision précise avec les données gratuites de ce modèle. Mais ça change peu à peu...

Modifié 30 novembre 2010 par Piet

[farid2003 0]

Mais ou trouvez vous les cartes de précipitations ECM

J'ai vu aussi que sur meteo group le modèle consultable est GFS NCEP (ensemble)

Je ne comprends pas trop ... Ce sont deux modèles différents?

En fait, je ne saisis pas la différence cep et ecm

[Piet 0]

Mais ou trouvez vous les cartes de précipitations ECM

Mon p'tit Farid...Ca fait déjà 2 ou 3 fois qu'un membre donne le lien dans le forum prévision pour cette semaine. Relis les posts et tu trouveras.

J'ai vu aussi que sur meteo group le modèle consultable est GFS NCEP (ensemble)

GFS (global forecast system) est le modèle americain développé par le NCEP (national center for environmental prediction): ce sont donc deux même choses.

En fait, je ne saisis pas la différence cep et ecm

cep et ecm sont les abréviations utilisées dans les forums pour désigner le même modèle, issu du centre européen CEPMMT (centre européen pour les prévisions meteorologiques à moyen terme) ou, plus connu en anglais, ECMWF (european center for medium-range forecast).

ECMWF, d'après des études sérieuses (pas une impression subjective sur base de quelques situations), semble plus fiable que GFS à +72h.

[farid2003 0]

Mon p'tit Farid...Ca fait déjà 2 ou 3 fois qu'un membre donne le lien dans le forum prévision pour cette semaine. Relis les posts et tu trouveras.

GFS (global forecast system) est le modèle americain développé par le NCEP (national center for environmental prediction): ce sont donc deux même choses.

cep et ecm sont les abréviations utilisées dans les forums pour désigner le même modèle, issu du centre européen CEPMMT (centre européen pour les prévisions meteorologiques à moyen terme) ou, plus connu en anglais, ECMWF (european center for medium-range forecast).

ECMWF, d'après des études sérieuses (pas une impression subjective sur base de quelques situations), semble plus fiable que GFS à +72h.

Merci mon grand Piet! Fainéant comme je suis, je n'ai pas pris la peine de tout relire.

En tout cas merci pour ton dévouement ^^ Que c'est bon de savoir ce que l'on consulte

[dr_plans 0]

En fait le graphe montre les scores de différents modèle à une échéance de +72h pour être précis. Donc même à 72h, ECMWF semble meilleur que GFS.

Je ne pense pas qu'il faille jeter GFS à la poubelle pour la cause, mais son succès vient avant tout d'un énorme panel de cartes consultables gratuitement par les passionnés sur le net.

Pour ECMWF, c'était le désert et il était impossible jusqu'il y a peu de faire une prévision précise avec les données gratuites de ce modèle. Mais ça change peu à peu...

Re,

à nouveau merci pour votre réponse !

Visiblement mon idée ne suscite pas un emballement frénétique.

Pour essayer de comprendre la raison de mon échec, j'aimerais savoir pourqoi vous n'accrocher pas ?

Est ce parce ...

.1..que des stats pro et fiables existent et qu'il n'y a aucun intérêt à faire des stats d'amateurs même public.

.2..que l'objectif est noble mais la méthode de cotation par des utilisateurs est trop subjective.

.3..que noter des image n'est pas une bonne méthode.

.4..que : autre :

Je persiste à penser qu'un outil d'analyse des performances des modèles pourrait dans certain cas vraiment aider à faire des prévisions.

L'outil actuel est vraiment juste une base inutilisable tel quel. J'ai décidé d'en parler sur le forum avant d'aller trop loin dans le developpement pour avoir vos avis avant.

Parallelement je boss sur 2 méthodes d'analsyes différentes ne fesant pas appel à l'utilisateur : algoritme de différence entre 2 images et sytème de mesure d'écart entre valeurs prévue et observée (t°, P, vent) à des endroits donnés.

La ou l'utilisateur pourrait être intéressant (+ que donner un 7/10) serait de pouvoir ajouter des informations d'analyse sur les cartes.

Y'a plusieurs solution pratique possible, par exemple des check box à cocher en fonction de la synoptique (zonal, patator, tempêtes,...).

En corrélant les données d'analyse et "numérique", on pourrait (je pense) arriver à mieux utiliser les modèles en fonction des circonstances.

Encore une fois, je ne remets pas du tout en cause la supériorité globale de CEP. Cependant, il n'a pas toujours raison.

Et quand CEP à tord, parfois un autre à raison. Lequel ? Est ce toujours le même ? Dans quel type de synoptique cela se passe.

Plus concrètement, la tempête de neige d'hier est un bon exemple. A force d'avoir vu les modèles changer d'avis tellement de fois au sujet de cette méga dépression au large du Portugal, je ne sais même plus quel modèle est le 1er à avoir déliré et lequel est resté le plus stable sans voire cette dépression.

Enfin voilà, j'espère avoir été + clair sur le but de mon projet et pourquoi pas avoir convaincu de son intérêt.

Bonne nuit.

Modifié 30 novembre 2010 par dr_plans