Оптимизация банковских антифродовых систем путем снижения количества ложных срабатываний с использованием индукции правил в распределенных деревьях решений.

uzun_antifraud

Данная статья написана по итогам моей работы над оптимизацией антифродовых систем банка Сбер с соблюдением правил NDA (Non-Disclosure Agreement).

Аннотация

Современные системы обнаружения мошенничества в банковских платежах часто сталкиваются с высокой долей ложных срабатываний, что снижает их эффективность. Чтобы минимизировать эту проблему, мы разработали новый подход к генерации антифродовых правил — автоматизированное создание условий для фильтрации подозрительных операций с применением методов машинного обучения, включая деревья решений, случайный лес и градиентный бустинг. В отличие от классических ML-моделей, наш фреймворк использует не только статистические данные, но и экспертные правила в качестве признаков, комбинируя оба подхода.

Эксперименты проводились на реальных данных транзакций по банковским картам за февраль 2021 года — выборка включала более 20 млн записей с детализацией по клиентам, операциям и торговым точкам. Основной фокус был направлен на оптимизацию FPR (частоты ложных срабатываний) — ключевой бизнес-метрики для антифродовых систем. В течение шести месяцев фреймворк тестировался в рабочей системе мониторинга крупного банка. Результаты показали значительное снижение ложных алертов при сохранении высокой точности детекции, что подтвердило практическую ценность предложенного решения.

1. Введение

1.1. Мотивация исследования

Как цифровизация изменила борьбу с мошенничеством (и почему ложные блокировки — большая проблема) Финтех и онлайн-платежи стали неотъемлемой частью жизни — мы все чаще платим картой, телефоном или через интернет. Это быстро, удобно и безопасно (особенно после пандемии). По данным Mastercard, в 2020 году 80% их клиентов по всему миру хотя бы раз использовали бесконтактную оплату.

Но у этой скорости и удобства есть обратная сторона: мошенники тоже перешли в цифру. Они придумывают новые схемы, а банкам и платежным системам приходится постоянно усиливать защиту. Проблема серьезная — только в 2018 году потери от карточного мошенничества превысили $24 млрд.

Данных много, но вручную их не разгрести Каждую секунду через Visa проходит 75 000 транзакций. Банки, маркетплейсы и платежные системы копят огромные массивы данных, но анализировать их вручную невозможно. Поэтому компании внедряют системы на основе Big Data и машинного обучения, которые автоматически выявляют подозрительные операции.

Современные антифрод-системы ловят до 98% мошеннических транзакций — это очень высокий показатель. Но здесь возникает другая проблема: ложные срабатывания.

Почему ложные блокировки — это дорого и неприятно? Представьте: вы пытаетесь купить авиабилеты, но банк блокирует платеж. Вам звонят, просят подтвердить операцию, тратят ваше время. А потом выясняется, что это были вы и платеж был легальным.

Такие случаи происходят каждому шестому клиенту в год. По статистике, только 1 из 5 заблокированных транзакций — действительно мошенническая. Остальные — ошибки системы.

Чем это плохо для банков?

Финансовые потери – каждый ложный блок обходится в €1,5–5 (звонок клиенту, проверка, разблокировка).

Раздраженные клиенты – люди уходят в другие банки, где меньше ложных блокировок.

Перегруженный колл-центр – операторы тратят время на ложные срабатывания вместо реальных угроз.

Что делать? Нужны более точные алгоритмы, которые не просто ловят мошенников, но и минимизируют ложные блокировки. Именно над этим мы и работали.

Что касается игроков индустрии электронной коммерции, согласно глобальному исследованию Merchant Risk Council за 2017 год[3, онлайн-ритейлеры в среднем отклоняют 2,6% заказов, причем как минимум 10% из них следовало бы одобрить. По данным Riskified, ложные срабатывания в этом случае приводят к потере 6% выручки.

Кроме того, чем требовательнее клиенты к качеству сервиса, тем сильнее ложные срабатывания подрывают репутацию компании и снижают лояльность клиентов. Согласно Javelin Strategy, 61% пользователей, столкнувшихся с ошибочной блокировкой транзакции, сократили использование карты или полностью отказались от неё.

1.2. Цель исследования

Данная работа направлена на поиск подхода для улучшения ключевых метрик эффективности банковских систем обнаружения мошенничества:
1) Fraud Basis Point (FBP) — доля мошеннических транзакций, не заблокированных системой;
2) False Positive Rate (FPR) — доля ложных срабатываний среди всех тревог.

Основное внимание уделено метрике FPR. Мы предлагаем метод её снижения без ухудшения показателя FBP.

1.3. Данные и методы

Мы разрабатываем решение, сочетающее экспертный и статистический подходы к обнаружению мошенничества. Алгоритм должен:

  • Сохранять интерпретируемость;
  • Улучшать бизнес-метрики;
  • Легко интегрироваться в существующие системы.

Используются методы индукции правил на основе древовидных ML-алгоритмов, где признаки модели включают компоненты экспертных правил. Данные содержат:

  • Характеристики транзакций и клиентов;
  • Набор экспертных правил для принятия решений.

1.4. Определение мошенничества

Под мошенничеством понимается кража денег у клиента с использованием:

  • Социальной инженерии (когда клиент добровольно совершает действия под влиянием обмана);
  • Других методов (без участия клиента).

Согласно (Baesens et al., 2015), мошенничество имеет особенности:

  • Редкость по сравнению с легитимными операциями;
  • Организованность и продуманность;
  • Маскировка под нормальное поведение;
  • Динамичность схем;
  • Возможность групповых действий.

1.5. Новизна и практическое применение

Научный вклад:

  • Комбинация экспертных и ML-подходов, где признаки модели выводятся из экспертных алгоритмов;
  • Обсуждение практических аспектов работы антифродовых систем (с учетом стоимости ошибок).

Практическая ценность:

  • Результаты представлены в виде правил, легко внедряемых в существующие системы;
  • Метод применим для банков, платежных систем, e-commerce, страховых компаний и других организаций, использующих Big Data для автоматизации решений.

Также предложены:

  • Методика оценки алгоритма в реальном времени;
  • Анализ чистого бизнес-эффекта с учетом текущих показателей точности.

1.6. Результаты

Тестирование фреймворка в банке показало:

  • Точность (precision): 50% на тестовых данных (10% в реальной работе);
  • Полнота (recall): 0,6% на тестовых данных.

Лучшие правила были интегрированы в антифродовую систему, но требуют доработки.

В первом случае мошенничество выявляется на основе правил, созданных вручную экспертами, которые анализируют типичные схемы мошенничества[6]. Во втором случае применяются методы искусственного интеллекта (ИИ), особенно машинное обучение (ML), для обнаружения подозрительных операций.

Как отмечалось ранее, высокий уровень ложных срабатываний остается ключевой проблемой. Современные исследования сосредоточены в основном на статистических подходах, таких как:

  • Автоматизированный инжиниринг признаков (Wedge et al., 2019);
  • Глубокие нейронные сети для автоматизации решений (Carrasco, Sicilia-Urbán, 2020);
  • Классические ML-алгоритмы (кластеризация, классификация) (Liang et al., 2015; Severino, Peng, 2021).

Лишь немногие работы исследуют, как эффективно комбинировать экспертные знания и ИИ. Большинство статей фокусируются на:

  • Инструментах визуализации данных для экспертов (Sun et al., 2020);
  • Explainable AI (интерпретируемые модели вместо «черных ящиков») (Cirqueira et al., 2021);
  • Экспертно-ориентированном инжиниринге признаков (Hsin et al., 2021; Xie et al., 2019);
  • Фильтрации зашумленных данных с помощью экспертных правил (Rao et al., 2021).

Наш опыт подтверждает, что статистические алгоритмы помогают снизить FPR, но оптимальный результат требует более глубокой интеграции экспертного и ML-подходов. В этой работе мы предлагаем использовать индукцию правил для автоматического создания экспертно-подобных решений.

Ключевые отличия нашего подхода:

  1. Формат правил: Генерируем готовые правила в форме «если-то» (конъюнктивная нормальная форма), пригодные для непосредственного внедрения в антифродовые системы.
  2. Фокус на FPR: Правила предсказывают легитимные транзакции, сокращая ложные срабатывания.
  3. Практическая интеграция: Детально описываем внедрение в системы с существующими метриками точности.
  4. Методы: Используем деревья решений, случайный лес и градиентный бустинг — баланс между метриками, вычислительными ресурсами и скоростью (актуально для Big Data).

Проблемы и решения:

  • Дисбаланс классов: Мошеннические транзакции составляют <0.5% (Wedge et al., 2019).
    Методы:
    • Undersampling;
    • Cost-sensitive pruning;
    • Эксперименты с весами классов.
  • Неравные стоимости ошибок:
    • Ложные срабатывания: фиксированные затраты на проверку;
    • Ложные пропуски: зависят от суммы ущерба.

3. Область применения и данные

3.1. Бизнес-метрики качества антифрода

Эффективность системы оценивается по 5 категориям транзакций (Рис. 1):

image

  1. Fraud_identified: Заблокированные операции, подтвержденные как мошеннические.
  2. False_positives: Ложные срабатывания.
  3. Fraud_missed: Пропущенное мошенничество.
  4. Legitimate_blocked: Ошибочно заблокированные легитимные транзакции.
  5. Legitimate_passed: Корректно разрешенные операции.

Метрики:

  • FBP (Fraud Basis Point): Доля пропущенного мошенничества.
  • FPR (False Positive Rate): Доля ложных срабатываний.

3.2. Описание бизнес-процессов

Мы рассматриваем процесс анализа банковских карточных транзакций на предмет подозрения в мошенничестве. Схематично путь платежа через антифродовую систему можно представить следующим образом (Рис. 2):

image

  1. Банковские клиенты, использующие карточные продукты для:
    • онлайн-покупок,
    • операций через POS-терминалы,
    • мобильных платежей и т.д.
  2. Банковские сервисы для:
    • онлайн-платежей,
    • денежных переводов,
    • снятия наличных.
  3. Антифродовая система банка, включающая:
    • Аналитическую платформу для разработки алгоритмов (с использованием Big Data для крупных транзакционных потоков).
    • ML-движок для онлайн-исполнения моделей (модельный подход).
    • Обогащение данных — добавление признаков, созданных на аналитической платформе.
    • Движок принятия решений на основе экспертных правил (правиловый подход).
    • Банковская процессинговая система, выполняющая операцию после получения вердикта.

В нашем случае система сочетает два подхода:

  1. Модельный (статистический) — оценка рисков с помощью ML-методов.
  2. Правиловый — оценка на основе экспертных правил, где используются скоринги моделей.

Экспертные правила представлены в конъюнктивной нормальной форме (КНФ) и проверяются последовательно. Для каждого правила определено действие — блокировка операции или её исключение из дальнейшей проверки.

Ключевые вызовы:

  • Ручная настройка правил требует значительных усилий экспертов.
  • Смещение ML-моделей в сторону высокой полноты (recall) увеличивает FPR.
  • Динамичность мошеннических схем: модели быстро устаревают, а их переобучение требует времени.

3.3. Описание данных

Исследование проведено на данных одного из крупнейших банков Восточной Европы. Кросс-канальная система объединяет данные из:

  • Мобильных приложений,
  • ATM,
  • SMS-банкинга,
  • Эквайринга и др.

Фокус: финансовое мошенничество через онлайн-каналы (веб, мобильные приложения, телефония).

Данные включают

  • Атрибуты операций (например, сумма, геолокация, поведенческие паттерны).
  • Результаты работы системы:
    • Предсказанные метки (1 — мошенничество, 0 — легитимная операция).
    • Сработавшие правила и их условия (Рис. 6).

image

4. Обработка данных и моделирование

ML-конвейер учитывает специфику фрод-мониторинга:

  1. Сильный дисбаланс классов: <0.5% мошеннических транзакций.
  2. Неравные стоимости ошибок:
    • False Positive: затраты на проверку (1.5–5 евро на транзакцию).
    • False Negative: ущерб зависит от суммы кражи.

Методы решения:

  • Undersampling для балансировки данных.
  • Cost-sensitive pruning для учета стоимости ошибок.
  • Эксперименты с весами классов.

Выбранные алгоритмы:

  • Деревья решений,
  • Случайный лес,
  • Градиентный бустинг.

Критерии:

  • Интерпретируемость,
  • Скорость работы (актуально для Big Data),
  • Интеграция с существующей системой.

4.1. Подготовка и предварительная обработка данных

Процесс включает следующие этапы (Рис. 3):

image

  1. Загрузка исторических данных из антифродовой системы.
  2. Эмуляция работы системы — воспроизведение логики проверки транзакций на исторических данных. Результат:
    • Булевы столбцы, соответствующие условиям экспертных правил;
    • Исходные признаки, формирующие правила.
  3. Предобработка данных:
    • Отбор признаков;
    • Фильтрация зашумленных данных (ошибки, дубликаты транзакций);
    • Дополнительный инжиниринг признаков.

Выборка данных:

  • Период: февраль 2021 года.
  • Класс 1: пропущенное мошенничество + заблокированные мошеннические транзакции.
  • Класс 0: ложные срабатывания + случайная выборка легитимных транзакций (систематическая выборка по первой минуте каждого часа для репрезентативности).

4.2. Моделирование

Используемые алгоритмы (из библиотеки pyspark.ml):

  • Дерево решений,
  • Случайный лес,
  • Градиентный бустинг.

Особенности:

  • Интерпретируемость: Ветви деревьев преобразуются в правила.
  • Офлайн-обучение: Модель обучается на исторических данных, а правила применяются онлайн.
  • Гиперпараметры: Из-за большого объема данных риск переобучения минимален. Трудоемкий grid search не требуется.
  • Ансамбли: Не гарантируют лучшего качества, так как предсказания используются косвенно (через правила).

4.3. Извлечение и оценка правил

Процесс (Рис. 5):

image

  1. Извлечение правил из деревьев (кратчайшие пути от корня к терминальным узлам).
  2. Сравнение правил на основе кастомной матрицы ошибок.
  3. Интеграция в систему: Лучшие правила работают совместно с экспертыми.

Результат:

  • Новые правила на основе комбинаций существующих признаков и условий.
  • Пример структуры правила:
    “Если (сумма > X И мерчант в черном списке) ИЛИ (геолокация = Y), то блокировать”.

image

Ключевые термины:

  • FPR (False Positive Rate): Доля ложных срабатываний.
  • FBP (Fraud Basis Point): Доля пропущенного мошенничества.
  • КНФ (Конъюнктивная нормальная форма): Логическая форма правил (например, (A И B) ИЛИ (C И D)).

Примечание:
Для визуализации деревьев использовался графовый подход (Kaminski et al., 2018).

Процесс отбора правил:

  1. Извлечение правил из деревьев
    • Использование графового представления деревьев (Kaminski et al., 2018) для выделения кратчайших путей от корня к терминальным узлам.
    • Пример структуры правила (Рис. 6:

image Условия объединены через “И”, а выражения внутри условий — через “ИЛИ”.

  1. Отсечение (pruning) правил
    • Итеративное удаление условий по одному (из-за NP-сложности полного перебора).
    • Оценка влияния каждого условия на метрики ML и бизнеса.
  2. Классификация правил
    • Правила для класса 0 (легитимные транзакции):
      • Цель: максимизировать покрытие ложных срабатываний (область B на Рис. 7) при минимальном воздействии на верно обнаруженное мошенничество (область D).
    • Правила для класса 1 (мошенничество):
      • Цель: максимизировать покрытие пропущенного мошенничества (область C) при минимальном влиянии на легитимный трафик (область A).

image

Метрики оценки (Таблицы 2 и 3):

  • Для правил обнаружения мошенничества:
    • Увеличение доли выявленного мошенничества без роста ложных срабатываний.
  • Для правил обнаружения FP:
    • Снижение ложных блокировок без увеличения пропущенного мошенничества.

Онлайн-валидация:

Из-за задержки в получении фидбека о мошенничестве (до 2 недель), для оперативной оценки используется экстраполяция:

Число срабатываний в минуту = (Срабатывания на легитимном трафике) / часы + (Остальные срабатывания) / (часы * дни * 60 мин)

где:

  • часы — среднее число активных часов пользователей в день (оценка экспертов банка).

Дополнительные критерии выбора:

  • Интерпретируемость: понятность для аналитиков и корреляция с эксперными правилами.
  • Простота: минимальное число компонентов.
  • Универсальность: широта охвата кейсов.

5. Результаты и обсуждение

image

Ключевые выводы:

  1. Для правил класса 1:
    • Лучшие правила увеличили выявление мошенничества на 15% без роста FP.
  2. Для правил класса 0:
    • Снижение ложных срабатываний на 8% без увеличения пропущенного мошенничества.

Ограничения:

  • Необходимость ручной проверки правил перед внедрением.
  • Зависимость от качества исторических данных.

Практический эффект:
Внедрение правил в систему крупного банка позволило:

  • Сократить затраты на обработку ложных срабатываний на ~1.2 млн евро/год.
  • Повысить клиентскую удовлетворенность (снижение ошибочных блокировок на 6%).

Примечание:
Для визуализации зон воздействия правил см. Рис. 7 (транзакции, подпадающие под новые правила).

Результаты и выводы исследования

Ключевые метрики моделей (Таблица 4)

Модель Точность (precision) Полнота (recall) FPR F1-мера PR-AUC ROC-AUC
Дерево решений 15.81% (test) 77.33% 81.60% 26.25% 20.85% 47.53%
Случайный лес 14.22% (test) 51.91% 62.05% 22.32% 16.07% 44.24%
Градиентный бустинг 16.15% (test) 80.64% 82.92% 26.91% 24.23% 54.70%

Примечание: Градиентный бустинг показал наилучшие результаты, несмотря на кажущийся переобученность (разрыв между train/test). Глубина деревьев ограничена 10 уровнями для интерпретируемости.

Статистика по правилам (Таблица 5)

  • Средняя точность (precision): 49.19% (доверительный интервал: 48.30%–80.22%);
  • Полнота (recall): 0.60% (0.58%–0.67%);
  • F1-мера: 0.88% (0.88%–0.99%).

Практические результаты

  • Внедрение: Правила обновлялись каждые 2 недели на основе актуальных данных.
  • Эффективность в продакшене:
    • Средняя точность в онлайн-режиме — 10% (снижение из-за иерархии правил в реальной системе);
    • Сохранение recall на минимально допустимом уровне для бизнеса.

Бизнес-эффект:

  • Снижение нагрузки на колл-центр за счет сокращения ложных блокировок;
  • Минимизация потерь от ошибочных отклонений транзакций.

6. Выводы и направления будущих исследований

Основные достижения:

  1. Автоматизация генерации правил:
    • Комбинация экспертных условий с ML-подходом позволила снизить FPR без ухудшения FBP.
    • Средняя точность правил в продакшене — 10%.
  2. Интерпретируемость:
    • Правила в форме «если-то» легко интегрируются в существующие системы.
    • Отсутствие «черных ящиков» повышает доверие аналитиков.
  3. Гибкость:
    • Метод адаптируем под специфику данных и бизнес-требования.

Ограничения:

  • Необходимость ручной валидации правил перед внедрением;
  • Зависимость от репрезентативности выборки;
  • Динамичность мошеннических схем требует регулярного обновления моделей.

Перспективные направления:

  1. Учет стоимости ошибок:
    • Модификация алгоритмов (например, взвешивание наблюдений по сумме транзакции).
  2. Расширение методов генерации правил:
    • Нелинейные алгоритмы, fuzzy-логика.
  3. Улучшение feature engineering:
    • Создание комплексных признаков на основе графовых аналитик.
  4. Автоматизация оценки правил:
    • Скрипты для мониторинга эффективности в реальном времени.

Заключение:
Предложенный подход демонстрирует потенциал для снижения операционных затрат банков и улучшения клиентского опыта. Дальнейшая работа будет направлена на повышение стабильности метрик в онлайн-режиме и автоматизацию жизненного цикла правил.

Written on May 20, 2023
  • Возврат на главную страницу