Дневник погоды в Петербурге (spb_weather) wrote,
Дневник погоды в Петербурге
spb_weather

Categories:

Сравнение точности прогнозов в 2017 году.

Поскольку я по специальности всё-таки не метеоролог, а программист, мне было очень интересно автоматизировать сравнение точности прогнозов, сделанных различными моделями. Интересно посчитать не только какие модели самые точные, но и в какую сторону они чаще ошибаются и на сколько. В этом году я пошёл ещё дальше. Поскольку информация о том, кто что прогнозировал и фактическая погода у меня хранятся уже за 2 года в специальной базе, я решил, что на основе этих данных уже можно посчитать систематическую погрешность разных моделей и использовать её в прогнозах. Данные за 2017 год я много раз обещал опубликовать, вот сейчас я это и делаю.

Несколько пояснений к табличкам. Под "моделью" я понимаю не обязательно численную модель, а "нечто, что умеет прогнозировать погоду". Это могут быть не только сайты в Интернете, но и группы ВК, а также организации типа официальных метеорологов. Мне неоднократно высказывали пожелание, что нужно использовать "сырые" данные моделей, а не пользовательско-ориентированные сайты, но из-за большой накопленной статистики я меняю набор моделей очень медленно. В таблицах ниже обозначения следующие:

GM - ГисМетео
IC - Intellicast (вроде бы его данные должны быть равны GFS, но по факту они иногда отличаются очень сильно).
GFS - GFS (американская модель).
OFF - официальный прогноз синоптиков Санкт-Петербурга.
SA - группа "Погода в Питере".
AI - группа "Небесная канцелярия" (считал только за период, когда прогнозы в этой группе отличались от группы SA).
SPBW - журнал spb_weather, представленный в ВК моими обзорами.
MB - MeteoBlue.
YR - метеограмма норвежской модели.
EXP - моя экспериментальная модель.

Теперь о колонках таблицы. Систематическая погрешность - средняя разность фактической и прогностической температуры. Если она положительная, это значит, что модель в среднем занижает температуру, если отрицательная - завышает. Все модели максимальную температуру занижают, кроме SA в прогнозе на 1 сутки.

Средняя ошибка - средний модуль величины из предыдущей колонки. На сколько в среднем ошибается модель (не важно, в какую сторону).
Далее идёт число прогнозов с оценкой 5, 4, 3 и 2. Критерии следующие: прогноз "на пятёрку" - ошибка не более 1.5 градусов, 4 - 2.5 градуса, 3 - 3.5 градуса. Таким образом, прогноз "на троечку" совпадает с официальным критерием оправдываемости.

Средняя оценка - среднее арифметическое оценок за все прогнозы. Итак, мы видим, что группа "Погода в Питере" по точности прогнозов температуры лидирует. Экспериментальная модель пока вне конкурса.





По облачности я не стал считать оценок. Кроме того, SA и YR я не включил в таблицу на 2-3 дня. Первую из-за того что прогнозы облачности и осадков на 2-3 дня появились у них только осенью, и ещё не набралась достаточная статистика. Результаты довольно странные: в лидерах за 2-3 дня тут MeteoBlue, явный аутсайдер по другим показателям. Нужно разбираться, почему так получилось. Ещё выводы: в среднем облачность можно предсказать с точностью около 10%, при этом по факту облаков чаще бывает больше, чем в прогнозе. Исключение - официалы в прогнозе на 1 сутки.



Труднее всего с осадками. Для автоматической оценки я завёл такую табличку, позволяющую по формулировке прогноза и фактическим миллиметрам вывести оценку. Она далека от совершенства, так что конструктивные предложения, как её исправить, приветствуются. Уточнение: если ИЦП осадков не фиксировал, но в черте города они наблюдались, я ставил 0.1 мм. "Следы осадков" - это тоже 0.1 мм.



Здесь результат тоже интересный: в обоих случаях в лидерах группа AI (их весенние и летние самостоятельные прогнозы). Тоже ещё не анализировал, почему так получилось. Возможно, из-за отсутствия перестраховки. У меня в планах по осадкам тоже посчитать систематическую погрешность, но пока это не сделано. Я подозреваю, что прогнозы осадков гораздо чаще "пролетают" в сторону "обещали дождь, а его не было", хотя пролёт в другую сторону обычно более заметен.



Ну что ж, спасибо всем, кто составляет прогнозы! И мы постепенно приближаемся к подведению итогов года.
Tags: Итоги года, Точность прогнозов
Subscribe
promo spb_weather october 16, 2015 12:55 11
Buy for 10 tokens
В этом посте я постараюсь расшифровать некоторые сокращения и объяснить термины, часто используемые в этом журнале. Общностью придётся пожертвовать ради краткости и понятности. Везде подразумевается, что дело происходит в окрестностях Санкт-Петербурга, или, по крайней мере, на севере Европы :) Всё…
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your IP address will be recorded 

  • 4 comments