Дневник погоды в Петербурге (spb_weather) wrote,
Дневник погоды в Петербурге
spb_weather

Category:

Сравнение точности прогнозов в 2019 году.

Заканчивается ещё один год, и настало время итогов. И первый из постов, посвящённый итогам года, как обычно, будет посвящён оправдываемости прогнозов. Что это такое, и как её считают, я уже подробно рассказывал в прошлом году, поэтому просто даю ссылку на прошлогодний пост. Я веду статистику по точности прогнозов уже несколько лет. За это время накопилась приличная база данных, которая используется при составлении прогнозов моей "экспериментальной модели". Из-за недостатка времени я пока не распорядился имеющимся материалом в полной мере, но всё равно уже сейчас ясно, что такой подход оправдан, и именно он может дать наилучшие результаты. За этот год экспериментальная модель научилась предсказывать осадки, так что со следующего года она будет участвовать в соревновании уже совсем на равных с остальными.

Немного всё же поясню названия моделей для тех, кому совсем лень читать прошлогодний пост. "Official" - это прогнозы, составленные официальными синоптиками, которые можно увидеть на сайте meteo.nw.ru. "Pogoda812" - ежедневные прогнозы, публикуемые в группе "Погода в Петербурге". SPBW - прогнозы, которые я составляю сам вручную для своих обзоров. EXP - прогнозы моей "экспериментальной модели". В табличке в конце каждого обзора я публикую прогноз, который по температуре и облачности представляет собой средние значения между моим ручным и автоматическим прогнозом. Осадки я давал вручную, но со следующего года тоже будут использоваться модельные данные. Коэффициенты, которые я публикую в этом обзоре, важны, так как на их основе экспериментальная модель будет составлять прогнозы в следующем году.

Итак, посмотрим, чьи же прогнозы были точными в этом году, а чьи - не очень. И начнём, как обычно, с температуры.




По прогнозам максимальной температуры на 1 сутки снова, как и в прошлом году, лидирует группа "Погода в Петербурге". Что и понятно, ведь синоптики группы всегда уделяли этому параметру самое большое внимание, особенно в тех ситуациях, когда модели просчитывают максимальную температуру плохо. Всего один "пролёт" по этому параметру за год. Напомню, что прогнозом "на 5" у меня считается такой прогноз, отклонение которого от фактического значения не превышает 1.5 градуса, на 4 - 2.5 градуса, на 3 - 3.5 градуса. У нас в группе также существует соревнование по оправдываемости прогнозов среди синоптиков группы, и там критерии более строгие. Среди аутсайдеров по температуре - Гисметео. Причём, этот сайт хуже всех предсказывает температуру "во всех номинациях". Следует также отметить, что систематическая погрешность во всех случаях положительная. Это означает, что все модели максимальную температуру занижают.

С прогнозом на 2-3 дня у группы дело обстоит несколько хуже. Вероятно, потому, что этот прогноз у нас не оценивается. А мои прогнозы в обзорах на 2-3 дня делаются по той же самой методике, что и на 1 день, поэтому их точность падает незначительно.

С минимальной температурой ситуация похожая: на 1 сутки всё отлично, а вот на 2-3 суток прогнозы группы обошли не только мои прогнозы, но и прогнозы от Intellicast и Foreca. В итоге - лишь пятое место.



Вне конкурса идут прогнозы на 4 суток. Тут уже нет ни официалов, ни прогнозов группы, но я эту статистику тоже считаю, потому что в обзорах публикуется прогноз с четверга на понедельник. Тут мой ручной прогноз оказался лучше модельного. Вероятно, на такой срок нужно использовать другие коэффициенты. Гисметео опять хуже всех, из моделей в долгосрочных прогнозах неплохо себя показывают Intellicast и Foreca.



Переходим к облачности. Тут мне есть чем гордиться. Экспериментальная модель в этом году по облачности показала просто отличные результаты. Я это заметил даже без подсчёта оправдываемости. Часто оказывалось так, что её прогноз на 2, а то и на 3 дня оказывался точнее, чем прогноз на 1 день, сделанный вручную. По всей видимости, облачность зависит от такого количества случайных факторов, что учесть их вручную очень сложно, а совокупный прогноз моделей, так или иначе, учитывает всё, что можно. Отдельно тут хочется сказать про официалов. К сожалению, они считают, что прогнозировать облачность в процентах вообще невозможно, а в их прогнозах этот параметр не оценивается. По этим причинам они не выдерживают конкуренцию ни с одной из моделей, и общий рейтинг у них из-за этого сильно страдает.



С оправдываемостью осадков нам в этом году пришлось много работать. В итоге появилась вот такая сложная табличка, которую мы используем для оценки прогнозов внутри группы. Поскольку у меня оправдываемость считает программа, мне пришлось не учитывать некоторые нюансы, но в целом используемая в программе табличка похожа. К сожалению, хотя внутри города имеются 8 метеостанций, по непонятным причинам в открытом доступе имеются данные только трёх из них. Поэтому нам приходится оценивать осадки только по трём метеостанциям, плюс данные радара и визуальные наблюдения.



И результаты по этому параметру пока не очень. С моими прогнозами всё в порядке: хотя модель научилась прогнозировать осадки только в конце года, методику прогноза я использую вручную уже давно. А вот прогнозы группы даже на 1 день уступают Гисметео, которая по осадкам почему-то вырвалась в лидеры, хотя и в прошлом году смотрелась неплохо. А на 2-3 суток дело обстоит ещё хуже. Думаю, опять-таки из-за того, что синоптики группы не уделяют должного внимания этому прогнозу. Плюс к этому, по иконкам не всегда можно точно определить, какие именно ожидаются осадки. А хуже всего по осадкам норвежская модель Yr, а также MeteoBlue. Причём, по систематической погрешности видно, что именно эти модели часто "не видят" осадки. А вот официалы - наоборот, слишком перестраховываются.



И, в заключение, мы переходим к самому интересному - общему рейтингу моделей. С лидерами тут всё понятно. Мне кажется, мало кто смотрит мои прогнозы в табличке в конце обзора. А зря! Погода в Петербурге - заслуженное третье место. Из моделей самым точным оказался Intellicast, который в этом году значительно вырвался вперёд. Далее идёт "стабильная" Форека. У MeteoBlue и Yr проблемы с осадками, а у Гисметео - с температурой. Официалы неожиданно оказались на самом последнем месте. В основном, из-за облачности. Кроме того, сказывается тот факт, что прогнозы температуры они дают по всему городу, и им надо вписать в интервал оправдываемости все 8 метеостанций. Из-за этого точность конкретно на ИЦП страдает.



По моим правилам, модель, показавшая худший результат, должна быть в следующем году исключена из списка рассматриваемых и заменена на какую-то другую. Но выкидывать официалов не хочется, потому что они - единственные живые синоптики, с которыми мы можем конкурировать. Все остальные модели - это программы. Поэтому заменять придётся предпоследнего в рейтинге - Гисметео. А в качестве новой модели возьмём "Яндекс-погоду", которой слишком многие пользуются. Просто интересно, какие результаты будут у неё. Но это мы узнаем только через год.


Ещё хочется с удовлетворением отметить, что, в целом, точность прогнозов в этом году повысилась, по сравнению с прошлым. Снижение отмечается только по осадкам, но там было большое изменение методики оценки, так что сравнивать некорректно. Это отражает общий тренд: точность моделей со временем постепенно повышается. Но всё же, прогноз погоды ещё долго будет оставаться очень трудной, и потому очень интересной задачей. И наша задача не только в том, чтобы дать максимально точный прогноз. Но также и в том, чтобы объяснить, почему он именно такой, и дать возможность людям погрузиться в эту интересную науку. Поэтому, какие бы ни были ошибки в прогнозах (а они ещё долго будут), мне никогда не были по душе люди, которые считают, что предсказывать погоду нельзя, и что метеорологи зря едят свой хлеб. Не ошибается только тот, кто ничего не делает. Любой желающий может попробовать научиться составлять прогнозы в нашей группе. Это совсем не так просто, как может показаться на первый взгляд. Даже сейчас, когда есть Интернет и множество моделей. Но мы готовы подсказать, научить и сами чему-то научиться, потому что мы тоже знаем далеко не всё.

Так что - успехов всем нам в новом году!
Tags: Итоги года, Точность прогнозов
Subscribe

Posts from This Journal “Точность прогнозов” Tag

promo spb_weather october 16, 2015 12:55 11
Buy for 10 tokens
В этом посте я постараюсь расшифровать некоторые сокращения и объяснить термины, часто используемые в этом журнале. Общностью придётся пожертвовать ради краткости и понятности. Везде подразумевается, что дело происходит в окрестностях Санкт-Петербурга, или, по крайней мере, на севере Европы :) Всё…
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your IP address will be recorded 

  • 7 comments