Разработка модели логистической регрессии с регулируемой селективностью при наличии экспертных ограничений

Многие российские банки встречаются с проблемами недостатка данных для построения скоринговых моделей. Эта проблема только усугубляется, если выборки еще и некорректны. Для решения предлагается задавать дополнительные экспертноинтерпретируемые ограничения на коэффициенты модели.

Рассмотрим дополнительные ограничения на коэффициенты модели вида:

● 𝑠𝑖𝑔( ) > 0

●

●  ≤ t

●  ≤ t

Такие ограничения устанавливаются аналитиками, решающими конкретную задачу и называются предметно-экспертными. Такие ограничения в некоторых случаях могут повысить обобщающую способность или качество модели. Особенно они полезны в случае некорректной или несбалансированной обучающей выборки.

 Приведем примеры, когда предметно-экспертные ограничения могут повысить качество модели:

●  Может быть экспертно установлено, что чем больше значение какого-то признака, тем выше риски. Например, таким признаком может быть размер запрашиваемой суммы кредита. Тогда признак должен выйти в модель с положительным коэффициентом и имеет смысл ввести следующее ограничение:

≥ 0

Обратная ситуация со сроком кредита. Обычно, чем меньше запрашиваемый срок, тем больше риски и ограничение должно быть следующим:

< 0

● Крайне часто в анализе встречаются признаки, которые надо квантовать, т.е. разбивать на интервалы значений. Может быть выяснено, что интервалы по разному связаны с риском. Например, если в -ом интервале вероятность дефолта больше, чем в -ом, то имеет смысл ввести следующее ограничение:

● Ограничение на норму подвектора вводят для уменьшения эффекта переобучения. Это может помогать в случае, когда есть бинарные признаки, принимающие значение 1 только на объектах целевого класса и каждый из них покрывает только малую часть целевого класса. Обычно модель сначала обучают без ограничений, находят норму вектора коэффициентов и потом в качестве ограничения берут какую-то ее долю.

Накладывая экспертные ограничения на модель логистической регрессии с регулируемой селективностью, получаем следующую задачу минимизации.

           (24)

при линейных ограничениях типа:

φ ( φ ( - выкуплая функция.

Для ее решения предлагается использовать метод штрафных функций.

Модель логистической регрессии с регулируемой селективностью при наличии экспертных ограничений

Описание модели

Вместо задачи (24) предлагается решать следующую задачу:

(25)

где  =

- положительные коэффициенты

Обозначим:

Функции 𝐿 (w) и 𝑃(w) являются непрерывными и выпуклыми. Функции (w) = удовлетворяют свойствам внешних штрафных функций, если  0. Тогда по Теореме 1 получаем, что вместо задачи (24) можно решать задачу (25).