Оценка качества прогностической информации

Загрузить лекцию в формате pdf 

Экономическая полезность метеорологической информации будет зависеть от нескольких факторов, в том числе и от её качества.

В настоящее время существуют две системы оценки успешности прогнозов:

Административная система основывается на требованиях, изложенных в наставлении «Руководство по краткосрочным метеорологическим прогнозам».

Система оценки успешности

– это набор правил и численных мер оценки, удовлетворяющий решение целевой задачи.

Показателем качества для административной системы является критерием «общеоправданности прогнозов».

Изменение успешности прогнозов, оцениваемое по критерию общеоправданности, показывает прирост на 10 % за счёт внедрения карт барической топографии в 1930-е гг., ещё на 10% за счёт развития гидродинамических прогнозов в 1940-1950-е гг., +5 % в 1960-1970-е гг. за счёт совершенствования использования методик и внедрения спутниковой информации, +6% в 1980-е и 1990-е гг. за счёт внедрения и совершенствования численных методов прогнозирования и +6% в 2000 гг. за счёт улучшения вычислительной техники. В настоящее время оправдываемость краткосрочных прогнозов составляет 96-98% и остаётся на постоянном уровне.

Критерий общеоправдываемости не является надёжным критерием оценки качества, поскольку не учитывает цену ошибок страховок и ошибок пропусков.

Административная система оценки успешности не удовлетворяют представлениям о качестве прогнозов для потребителя.

 

Матричная система оценки успешности

 

Матричная система – более объективный подход к оценке успешности.

Матричная система оценки качества основывается на представлении прогностической и фактической информации о погоде в виде матрицы сопряжённости.

Критерий успешности определяет степень адекватности прогноза и фактической погоды и используется в совокупности, поскольку каждый критерий характеризует отдельную сторону качества прогнозирования.

Матрица сопряжённости выстраивается с учётом требований потребителя к уровню дискретности и к пороговым значениям градации.

В матричной системе число случаев учитывается без допуска к интервалам при фактической реализации погоды.

Для потребителя возможно представление информации о погоде в виде матриц сопряжённости многофазовых прогнозов.

Матрица сопряжённости составляется за период 5-10 лет, поскольку меняются методики прогнозирования, меняются климатические параметры. Матрица сопряжённости должна отвечать требованиям к выборке.

На основании оценки критерия успешности выявляются зоны с достаточно низкой успешностью методических прогнозов – зоны повышенной сложности прогнозирования.

Изменяется успешность прогнозов во времени, по регионам и в зависимости от дискретности.

С уменьшением ширины градации вероятность правильности прогноза уменьшается.

В матричной системе предусматривается следующий алгоритм оценки.

 

Оценка успешности альтернативных прогнозов

 

Альтернативный прогноз (простая альтернатива) содержит одну из двух взаимоисключающих градаций (состояний, категорий, фаз) погоды: одидается (П) или не ожидается () явление или некоторое состояние погоды. В синоптической практике это трактуется как «наличие» или «отсутствие» ожидаемого состояния погоды. Альтернативными прогнозами преимущественно считаются те, которые относятся к явлениям погоды (гроза, ливень, шквал, туман и др.). Прогнозы метеорологических величин и некоторых специальных характеристик погоды (температура воздуха, скорость ветра, высота нижней границы низких облаков и др.) также могут быть представлены в альтернативном виде. Если установлено некоторое пороговое значение, например, «штормовая скорость ветра >=12м/с», «граница заморозка», «минимум высоты нижней границы облаков», то определенное число фаз, градаций погоды группируются в одну обобщённую опасную для потребителя фазу (градацию), другая часть фаз (градаций) – в неопасную.

Результаты альтернативного методического прогноза можно представить в виде матрицы сопряженности (табл.1).

Она является обобщенной формой представления реализаций прогноза погоды или метеорологической величины по соответствующим градациями. Иначе говоря, рассматривается построение таблицы (матрицы) сопряженности прогностических и фактических значений метеорологичексих величин, явлений или иной характеристики погоды.

Таблица 1. Общий вид матрицы сопряженности альтернативных прогнозов

 

В табл. 1 сопряженность прогноз – факт выражена числом случаев, частотой nij. Соответствующие сочетания характеризуют следующее:

n11 – число случаев оправдавшихся прогнозов наличия явления: явление прогнозировалось и фактически наблюдалось;

n21 – число случаев неоправдавшихся прогнозов наличия явления: явление прогнозировалось, но фактически не наблюдалось;

n12 – число случаев неоправдавшихся прогнозов отсутствия явления: явление не прогнозировалось, но фактически наблюдалось;

n22 – число случаев оправдавшихся прогнозов отсутствия явления: явление не прогнозировалось и фактически не наблюдалось;

n01 – число случаев прогнозов наличия явления – число прогнозов с текстом ;

n02 – число случаев прогнозов отсутствия явления – число прогнозов с текстом ;

n10 – число случаев наличия явления -  столько раз явление фактически наблюдалось;

n20 – число случаев отсутствия явления – столько раз явление фактически не наблюдалось.

Схема сопряженности методических прогнозов разрабатывается по следующей схеме:

Согласно приведенной алгоритмической схеме, разработка матрицы сопряженности легко программируется, что позволяет создать уникальную базу данных об успешности прогнозов.

Схема сопряженности инерционных прогнозов разрабатывается по следующей схеме:

 

Оценка успешности многофазовых прогнозов

 

 Таблица 2. Матрица сопряженности многофазовых прогнозов

 

 

 

Шаблон для самостоятельной работы