Дневник погоды в Петербурге (spb_weather) wrote,
Дневник погоды в Петербурге
spb_weather

Category:

Сравнение точности прогнозов в 2018 году.

Настал час, когда нам предстоит узнать правду о том, чьи прогнозы точнее. Напомню, по результатам недавнего опроса, около 40% читателей считают точность прогнозов наиболее ценным в группе "Погода в Петербурге" и, видимо, считают прогнозы этой группы более точными, чем прогнозы на других сайтах, раз читают. В ЖЖ этот показатель, правда, немного меньше - 27%. В среднем, будем считать, что для трети читателей точность наших прогнозов - это очень важно. Поэтому, мы стремимся её всячески повысить. И вот, теперь необходимо оценить результат.

Немного я расскажу о методике оценки. У меня есть специальная база данных, в которую я заношу прогностические данные с нескольких сайтов каждый понедельник и четверг - то есть в те дни, когда я сам делаю прогнозы. В специальном файле в определённом формате лежат данные - то, что прогнозировали разные модели в этот день на 1-4 дня вперёд. И так - каждый раз, когда я составляю свой обзор. Потом, когда наступают сроки прогноза, я заношу в специальную графу фактическую погоду. Затем запускаю специальную написанную мной программу, которая автоматически считает по этим данным параметры, о которых пойдёт речь дальше. На этот раз я учёл прошлогодние замечания, и выборка у меня по всем моделям одинакова. То есть все прогнозировали в одни и те же дни, имея одни и те же исходные данные и синоптическую ситуацию.

Ещё уточню, что под "моделью" я имею в виду "нечто, способное выдавать прогноз". То есть, наравне с такими моделями, как GFS, сравнивались и прогнозы, составленные живыми людьми - "официальными" метеорологами, коллегами по группе "Погода в Петербурге" и мной. Я на этот раз соревновался также с самим собой - в табличках вы увидите результаты как по прогнозам, составленным мной "вручную" (SPBW), так и автоматические прогнозы моей "экспериментальной модели" (EXP). Причём в табличке в конце обзора я обычно выдавал средние значения облачности и температуры между двумя "подвидами" меня - "мной" и "моей программой" :) Я рассчитываю, что этим мне удалось ещё немного повысить точность. Впрочем, расхождения обычно были очень невелики.

Начнём, как обычно, с температуры. С 1 апреля этого года я стал сравнивать прогнозы не только максимальной, но и минимальной температуры. Отмечу, что под максимальной температурой здесь имеется в виду максимум, зафиксированный в период с 9 до 21 часа, то есть днём.




Первая колонка таблицы показывает, что практически все занижают максимумы. Только в группе "Погода в Петербурге" (Pogoda812) систематической погрешности практически нет. Я думаю, это произошло благодаря тому, что там среди составителей прогнозов есть товарищи, которые не боятся ставить максимум выше, чем дают модели, да ещё и знают, когда это можно делать, а когда - нельзя. Благодаря этому группа вышла на первое место по точности прогнозов максимальной температуры на 1 день. Только у неё средняя ошибка составила меньше одного градуса и нет ни одного "пролёта". Напомню, что критерии оценок следующие: прогноз на 5 - ошибка не более 1.5 градусов, 4 - не более 2.5 градусов, 3 - 3.5 градуса (что соответствует критериям оправдываемости прогноза у официалов). Ошибка более 3.5 градусов - это оценка 2.

Хуже всего прогнозы были у Гисметео. Вообще, нужно отметить, что общие показатели в этом году хуже, чем в прошлом. Этот год был трудным для прогнозирования температуры, поскольку было много солнца и, следовательно, часто был большой суточный ход температуры. Те, кто не умеет его учитывать, оказались в отстающих.

А вот с прогнозами на 2-3 дня в лидеры выдвинулась моя автоматическая модель. Думаю, это объясняется тем, что на таких сроках влияет уже так много случайных факторов, что по отдельности их не проанализировать, и лучше давать просто среднее по моделям, с учётом коэффициентов. Кроме того, как мне кажется, ребята из "Погоды в Петербурге" больше интересуются прогнозами на следующий день, а прогнозы на 2-3 дня надеются потом уточнить.



В прогнозах минимальной температуры EXP пока не участвовала, так как ещё не накопилась статистика. Здесь у меня почему-то получилось лучше, чем у Pogoda812. Интересно, что минимумы большинство моделей тоже занижают (кроме MeteoBlue). Оценки по этому параметру лучше, чем по максимальной температуре. Видимо, потому что ночью нет прогрева, который трудно учитывать.



Перейдём к облачности. В этом году фактическая облачность чаще всего была меньше прогностической. Прогнозы облачности у всех оказались менее точными, чем в прошлом году. И снова в прогнозе на одни сутки лидирует SPBW, а в прогнозе на 2-3 суток - модель EXP. Прогнозы на 4 суток - это уже, по большей части, гадание, и тут внезапно в лидеры выбилась модель MeteoBlue. Ещё хочу сказать, что прогноз облачности очень тянет вниз официалов. Они вообще не всегда его дают, а если дают, то в терминах "облачно" или "переменная облачность". Из-за этого и точность получается соответствующая.



Осадки я оценивал по той же табличке, что и в прошлом году, поскольку к ней не было замечаний. Как и в прошлом году, если ИЦП не отмечал осадков, но я видел или знал, что они были в черте города, то я ставил "0.1 мм". Итак, что же тут получилось?



Лидерство в суточных прогнозах осадков - у группы Pogoda812. К сожалению, модель EXP пока не умеет прогнозировать осадки. Но идеи на этот счёт у меня есть, и планы на 2019 год - тоже. Зато в прогнозах на 2-3 дня я победил с довольно большим отрывом. Интересно, что в этой номинации Pogoda812 оказалась хуже официалов и даже, не побоюсь этого слова, GFS! Неожиданно хороший результат показало Гисметео - "пятёрок" у него вообще больше всех.



И теперь переходим к самому интересному - общему рейтингу. Его я считал как среднее по всем оценкам. Ну, прогнозы на 4 дня решил не учитывать. Сложность была в том, что не все модели выдают все нужные мне типы прогнозов. Например, YR всем хороша, но их графики только на 48 часов. А EXP не умеет прогнозировать осадки. В таких случаях я ставил в таблице "звёздочки" и заменял нужное значение на среднее по этому параметру у других моделей.

Красным я выделил тех, кто "лучше среднего", а синим - "хуже среднего". Хвастаться не буду, всем всё видно :) Скажу честно - ничего не подгонял, данные получены автоматически программой. Выводы я бы сделал следующие:

1. Кому нужны точные прогнозы - добро пожаловать в мой журнал (spb_weather.livejournal.com) и группу "Погода в Петербурге" (vk.com/pogoda812). Также у нас в этом году появился канал в Телеграм t.me/pogoda812.
2. Наилучший результат дают мультимодельные прогнозы, составленные с учётом текущей ситуации. Причём, анализ ситуации имеет решающую роль при прогнозах на сутки. При прогнозах на 2-3 суток стоит довериться статистике.
3. Теоретический предел точности прогнозов, доступный при современном уровне развития науки, по видимому, может быть достигнут, если одновременно учитывать данные многих моделей, а статистику по ним вести с учётом синоптической ситуации. Последнее очень трудно автоматизировать, но кое-какие мысли на этот счёт есть. Думаю, будущее за такими моделями.
4. Модель GFS подтвердила жалобы многих, и действительно выдала в этом году наихудший результат. Скорее всего, я заменю её в следующем году на другую модель (и так буду поступать всегда с аутсайдерами моего рейтинга). Вопрос в том, на что её заменить. Есть предложения?
Tags: Итоги года, Точность прогнозов
Subscribe

Posts from This Journal “Точность прогнозов” Tag

promo spb_weather october 16, 2015 12:55 11
Buy for 10 tokens
В этом посте я постараюсь расшифровать некоторые сокращения и объяснить термины, часто используемые в этом журнале. Общностью придётся пожертвовать ради краткости и понятности. Везде подразумевается, что дело происходит в окрестностях Санкт-Петербурга, или, по крайней мере, на севере Европы :) Всё…
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your IP address will be recorded 

  • 14 comments