Центр экономических исследований и прогнозирования "Финансовый пульс"

UA RU EN
Базовые понятия о валидации моделей оценки рисков

            В рамках текущей деятельности банки постоянно подвергаются различным видам рисков: кредитным, валютным, рыночным, риску ликвидности и прочим. Для оценки каждого из видов  рисков финансовые учреждения разрабатывают специализированные модели. При этом возникает так называемый модельный риск — риск получения убытков в результате использования неадекватных моделей или моделей, которые имеют недостаточную прогнозную способность. При оценке рисков важно найти «золотую середину», так как их недооценка ведет к незапланированным убытками, а переоценка - к недополучению прибыли. 

            Причиной неадекватности или недостаточной точности моделей оценки рисков могут быть: неправильно выбранные параметры моделей, некачественные или недостаточно репрезентативные исходные данные, неверные допущения, методологические ошибки, недоработки при реализации методологии в IT системах и прочее. Кроме того, модель, которая изначально демонстрировала приемлемую точность, со временем может потерять свою адекватность в связи с изменившимися внешними обстоятельствами: сменой экономической ситуации, уровня конкуренции, изменением законодательства и так далее. Поэтому для подтверждения работоспособности моделей необходимо периодически проводить их валидацию, то есть проверку  на адекватность в текущих условиях.  Задача валидации — оценить, насколько точно модель  оценивает риски и  прогнозирует потери при их реализации.

            Например, для подтверждения  адекватности модели оценки кредитного риска путем присвоения заемщикам  внутреннего кредитного рейтинга, анализируется способность модели отличать плохих  заемщиков от хороших, а также точность прогнозирования вероятности дефолта и  уровня потерь при дефолте.

            Первичная валидация проводится на этапе разработки модели: анализируется выбор переменных, набор ограничений, логика модели, достаточность исходных данных и возможность контроля  их качества и прочее. После ввода модели в эксплуатацию осуществляется постоянный мониторинг с целью выявления явных недоработок. Кроме того, в последующем проводится регулярная периодическая валидация модели.

Обычно она включает следующие  направления количественного анализа: 

  • оценку дискриминационной способности модели, то есть ее способности разбивать анализируемые объекты на группы по определенным признакам (например, по уровню платежеспособности);
  •  оценку качества калибрации (точности работы  модели);
  • оценку стабильности модели - проверку устойчивости  модели   к различным изменениям ее параметров, в том числе, к стрессовым изменениям

 

Результатом проведенной валидации может быть один из следующих выводов:

  • модель полностью адекватна и может использоваться без изменений;
  • модель в целом адекватна, но требует некоторой доработки;
  • модель неадекватна и требует кардинальной переработки.

 

            Кроме непосредственных недостатков самой модели, низкая предсказательная способность может быть связана также с недоработками в организации процесса ее использования. Например, модель применяется не в тех сферах, для которых она разрабатывалась, были допущены ошибки при ее автоматизации, недостаточно хорошо организован контроль  за качеством исходных данных, некорректно составлена отчетность по результатам  моделирования, вследствие чего неверно интерпретируются выходные данные и так далее. Поэтому, в рамках проведения валидации, кроме количественного анализа может  использоваться  также качественный анализ, в процессе которого анализируется организация процессов использования модели, соответствие их требованиям регулятора, а также степень проработки документов, которые регламентируют этот процесс. Такой анализ еще называют верификацией.

            Основная трудность процесса проведения валидации состоит в том, что для этого не существует  универсального метода. Поэтому для оценки каждой из используемых моделей необходимо подбирать способ, который  наиболее подходит именно к ней. Кроме того, для обеспечения объективности оценки важно, чтобы периодическая   валидация проводилась независимыми лицами - внешней организацией или подразделением банка, которое не  связано ни с разработкой, ни с использованием моделей, подвергающихся проверке. В соответствии с требованиями п. 110 раздела 14 Постановления НБУ №64 от 11.06.2018 г, банки должны регулярно (не реже, чем раз в год) осуществлять независимую валидацию моделей и инструментов оценки рисков.

            Каждый из банков  по-своему решает для себя вопрос проведения регулярной валидации: кто-то создает  для этой функции отдельное подразделение, кто-то делегирует их уже существующим структурам в качестве дополнительного функционала, кто-то прибегает к помощи сторонних организаций. Для банков, которые не имеют возможности или желания осуществлять валидацию силами штатных работников, Центр экономических исследований и прогнозирования «Финансовый Пульс» предлагает свои услуги. Наши сотрудники имеют необходимую квалификацию и опыт проведения валидации банковских моделей.