Центр економічних досліджень та прогнозування “Фінансовий пульс”

UA RU EN
Базові поняття валідації моделей оцінки ризиків

В рамках поточної діяльності банки постійно наражаються на різні види ризиків: кредитний, валютний, ринковий, ризик ліквідності та інші. Для оцінки кожного з видів ризиків фінансові установи розробляють спеціалізовані моделі. При цьому виникає так званий модельний ризик - ризик отримання збитків в результаті використання неадекватних моделей або моделей, які мають недостатню прогнозну здатність. При оцінці ризиків важливо знайти «золоту середину», так як їх недооцінка веде до незапланованих збитків,  а переоцінка - до недоотримання прибутку.

Причиною неадекватності або недостатньої точності моделей оцінки ризиків можуть бути: неправильно обрані параметри моделей, неякісні або недостатньо репрезентативні вихідні дані, невірні припущення, методологічні помилки, недоліки при реалізації методології в IT системах та інше. Крім того, модель, яка спочатку демонструвала прийнятну точність, з часом може втратити свою адекватність у зв'язку зі зміною зовнішніх обставин: економічної ситуації, рівня конкуренції,  законодавства тощо. Тому для підтвердження працездатності моделей необхідно періодично проводити їх валідацію, тобто перевірку на адекватність в поточних умовах. Завдання валідації - оцінити, наскільки точно модель оцінює ризики і прогнозує втрати при їх реалізації.

Наприклад, для підтвердження адекватності моделі оцінки кредитного ризику шляхом присвоєння позичальникам внутрішнього кредитного рейтингу, аналізується здатність моделі відрізняти поганих позичальників від хороших, а також точність прогнозування ймовірності дефолту і рівня втрат при дефолті.

Первинна валідація проводиться на етапі розробки моделі: аналізується вибір параметрів, перелік обмежень, логіка моделі, достатність вихідних даних і можливість контролю їх якості та інше. Після введення моделі в експлуатацію здійснюється постійний моніторинг з метою виявлення явних недоліків. Крім того, в подальшому проводиться регулярна періодична валідація моделі.

Зазвичай вона включає наступні напрямки кількісного аналізу:

  • оцінку дискримінаційної здатності моделі, тобто її здатності розбивати аналізовані об'єкти на групи за певними ознаками (наприклад, за рівнем платоспроможності);
  • оцінку якості калібрації (точності роботи моделі);
  • оцінку стабільності моделі - перевірку стійкості моделі до різних змін її параметрів, в тому числі, до стресових змін

Результатом проведеної валідації може бути один з наступних висновків:

  • модель повністю адекватна і може використовуватися без змін;
  • модель в цілому адекватна, але потребує деякого доопрацювання;
  • модель неадекватна і вимагає кардинальної переробки.

Крім безпосередніх недоліків самої моделі, низька прогнозна здатність може бути пов'язана також з недоліками в організації процесу її використання. Наприклад, модель застосовується не в тих сферах, для яких вона розроблялася, були допущені помилки при її автоматизації, недостатньо добре організований контроль за якістю вихідних даних, некоректно складена звітність за результатами моделювання, внаслідок чого невірно інтерпретуються вихідні дані і так далі. Тому, в рамках проведення валідації, крім кількісного аналізу може використовуватися також якісний аналіз, врамках якого аналізується організація процесів використання моделі, відповідність їх вимогам регулятора, а також ступінь опрацювання документів, які регламентують цей процес. Такий аналіз ще називають верифікацією.

Основні труднощі процесу проведення валідації полягають в тому, що для цього не існує універсального методу. Тому для оцінки кожної з використовуваних моделей необхідно підбирати спосіб, який найбільш підходить саме до неї. Крім того, для забезпечення об'єктивності оцінки важливо, щоб періодична валідація проводилася незалежними особами - зовнішньої організацією або підрозділом банку, що не пов'язані  з розробкою або з використанням моделей, які піддаються перевірці. Відповідно до вимог п. 110 розділу 14 Постанови НБУ №64 від 11.06.2018 р, банки повинні регулярно (не рідше, ніж раз на рік) здійснювати незалежну валідацію моделей та інструментів оцінки ризиків.

Кожен з банків по-своєму вирішує для себе питання проведення регулярної валідації: хтось створює для цієї функції окремий підрозділ, хтось делегує їх вже існуючим структурам в якості додаткового функціоналу, хтось вдається до допомоги сторонніх організацій. Для банків, які не мають можливості або бажання здійснювати валідацію силами штатних працівників, Центр економічних досліджень і прогнозування «Фінансовий Пульс» пропонує свої послуги. Наші співробітники мають необхідну кваліфікацію та досвід проведення валідації банківських моделей.