Аннотация

Системы обнаружения мошенничества в банковских платежных операциях страдают от большого количества ложных срабатываний. Для решения этой проблемы мы предлагаем фреймворк генерации правил для антифродовой системы — автоматическое создание правил с использованием распределенных древовидных ML-алгоритмов (машинного обучения), таких как дерево решений, случайный лес и градиентный бустинг, где компоненты экспертных правил используются в качестве признаков для модели. Этот подход сочетает статистические и экспертные методы. Мы применяем его к данным банковских карточных транзакций. Наш набор данных охватывает февраль 2021 года и состоит из более чем 20 млн записей, включая информацию о клиентах, транзакциях и мерчантах. Автоматически сгенерированные правила были направлены на улучшение бизнес-метрики FPR (уровень ложных срабатываний). Фреймворк тестировался в реальной системе мониторинга мошенничества крупного банка в течение полугода. Полученные правила показали удовлетворительную эффективность и оказали ощутимый бизнес-эффект.

1. Введение

1.1. Мотивация исследования

С развитием финтеха и электронной коммерции все больше банковских платежей и переводов осуществляется через онлайн-каналы, которые быстрее, удобнее и безопаснее для здоровья в эпоху коронавируса. Согласно глобальному исследованию Mastercard за 2020 год, 8 из 10 пользователей Mastercard по всему миру используют бесконтактные методы оплаты.

Данные о проведенных транзакциях накапливаются в базах банков, платформ электронной коммерции и других игроков индустрии. В 2017 году пропускная способность обработки платежей Visa достигала 75 000 транзакций в секунду (Zeng, 2018). Правильное использование этих данных позволяет компаниям улучшить операционную эффективность и клиентский опыт. Однако такой объем данных невозможно обрабатывать вручную, поэтому компании вынуждены строить инфраструктуру Big Data и применять алгоритмы машинного обучения (ML).

Разработка механизмов защиты клиентских средств от мошенников является частью стратегии банков и компаний электронной коммерции по улучшению клиентского опыта. По мере перехода платежей в онлайн, мошенники также адаптировались, что выдвинуло на первый план проблемы защиты средств в цифровых каналах. Согласно SmartMetric, в 2018 году глобальные потери от платежного мошенничества превысили $24 млрд.

Несмотря на сложности в обнаружении мошенничества (обусловленные имитацией мошенниками поведения обычных клиентов и использованием методов социальной инженерии), системы фрод-мониторинга крупных компаний позволяют выявлять и предотвращать до 98% случаев мошенничества (Carminati et al., 2015). С точки зрения ML-метрик это означает достижение высокой полноты (recall).

Сегодня на первый план выходит проблема большого количества ложных срабатываний (FP), что указывает на низкую точность (precision) или высокий уровень ложных срабатываний (FPR). В среднем, только 1 из 5 заблокированных транзакций является мошеннической, а каждый 6-й клиент ошибочно блокируется в течение года (Wedge et al., 2019).

Ложные срабатывания приводят к финансовым потерям компаний на расследование случаев и связь с клиентом, увеличению нагрузки на колл-центры, а также к потере revenue из-за отклоненных транзакций. Если рассматривать одну из возможных стратегий реагирования — звонок клиенту — стоимость обработки одной заблокированной транзакции составляет от 1,5 евро (по данным банка, предоставившего данные для исследования) до 5 евро (Европейский центральный банк, (Baesens et al., 2021b)).

Что касается игроков индустрии электронной коммерции, согласно глобальному исследованию Merchant Risk Council за 2017 год[3, онлайн-ритейлеры в среднем отклоняют 2,6% заказов, причем как минимум 10% из них следовало бы одобрить. По данным Riskified, ложные срабатывания в этом случае приводят к потере 6% выручки.

Кроме того, чем требовательнее клиенты к качеству сервиса, тем сильнее ложные срабатывания подрывают репутацию компании и снижают лояльность клиентов. Согласно Javelin Strategy, 61% пользователей, столкнувшихся с ошибочной блокировкой транзакции, сократили использование карты или полностью отказались от неё.

1.2. Цель исследования

Данная работа направлена на поиск подхода для улучшения ключевых метрик эффективности банковских систем обнаружения мошенничества:
1) Fraud Basis Point (FBP) — доля мошеннических транзакций, не заблокированных системой;
2) False Positive Rate (FPR) — доля ложных срабатываний среди всех тревог.

Основное внимание уделено метрике FPR. Мы предлагаем метод её снижения без ухудшения показателя FBP.

1.3. Данные и методы

Мы разрабатываем решение, сочетающее экспертный и статистический подходы к обнаружению мошенничества. Алгоритм должен:

• Сохранять интерпретируемость;
• Улучшать бизнес-метрики;
• Легко интегрироваться в существующие системы.

Используются методы индукции правил на основе древовидных ML-алгоритмов, где признаки модели включают компоненты экспертных правил. Данные содержат:

• Характеристики транзакций и клиентов;
• Набор экспертных правил для принятия решений.

1.4. Определение мошенничества

Под мошенничеством понимается кража денег у клиента с использованием:

• Социальной инженерии (когда клиент добровольно совершает действия под влиянием обмана);
• Других методов (без участия клиента).

Согласно (Baesens et al., 2015), мошенничество имеет особенности:

• Редкость по сравнению с легитимными операциями;
• Организованность и продуманность;
• Маскировка под нормальное поведение;
• Динамичность схем;
• Возможность групповых действий.

1.5. Новизна и практическое применение

Научный вклад:

• Комбинация экспертных и ML-подходов, где признаки модели выводятся из экспертных алгоритмов;
• Обсуждение практических аспектов работы антифродовых систем (с учетом стоимости ошибок).

Практическая ценность:

• Результаты представлены в виде правил, легко внедряемых в существующие системы;
• Метод применим для банков, платежных систем, e-commerce, страховых компаний и других организаций, использующих Big Data для автоматизации решений.

Также предложены:

• Методика оценки алгоритма в реальном времени;
• Анализ чистого бизнес-эффекта с учетом текущих показателей точности.

1.6. Результаты

Тестирование фреймворка в банке показало:

• Точность (precision): 50% на тестовых данных (10% в реальной работе);
• Полнота (recall): 0,6% на тестовых данных.

Лучшие правила были интегрированы в антифродовую систему, но требуют доработки.

В первом случае мошенничество выявляется на основе правил, созданных вручную экспертами, которые анализируют типичные схемы мошенничества[6]. Во втором случае применяются методы искусственного интеллекта (ИИ), особенно машинное обучение (ML), для обнаружения подозрительных операций.

Как отмечалось ранее, высокий уровень ложных срабатываний остается ключевой проблемой. Современные исследования сосредоточены в основном на статистических подходах, таких как:

• Автоматизированный инжиниринг признаков (Wedge et al., 2019);
• Глубокие нейронные сети для автоматизации решений (Carrasco, Sicilia-Urbán, 2020);
• Классические ML-алгоритмы (кластеризация, классификация) (Liang et al., 2015; Severino, Peng, 2021).

Лишь немногие работы исследуют, как эффективно комбинировать экспертные знания и ИИ. Большинство статей фокусируются на:

• Инструментах визуализации данных для экспертов (Sun et al., 2020);
• Explainable AI (интерпретируемые модели вместо «черных ящиков») (Cirqueira et al., 2021);
• Экспертно-ориентированном инжиниринге признаков (Hsin et al., 2021; Xie et al., 2019);
• Фильтрации зашумленных данных с помощью экспертных правил (Rao et al., 2021).

Наш опыт подтверждает, что статистические алгоритмы помогают снизить FPR, но оптимальный результат требует более глубокой интеграции экспертного и ML-подходов. В этой работе мы предлагаем использовать индукцию правил для автоматического создания экспертно-подобных решений.

Ключевые отличия нашего подхода:

1. Формат правил: Генерируем готовые правила в форме «если-то» (конъюнктивная нормальная форма), пригодные для непосредственного внедрения в антифродовые системы.
2. Фокус на FPR: Правила предсказывают легитимные транзакции, сокращая ложные срабатывания.
3. Практическая интеграция: Детально описываем внедрение в системы с существующими метриками точности.
4. Методы: Используем деревья решений, случайный лес и градиентный бустинг — баланс между метриками, вычислительными ресурсами и скоростью (актуально для Big Data).

Проблемы и решения:

• Дисбаланс классов: Мошеннические транзакции составляют <0.5% (Wedge et al., 2019).
  Методы:
  • Undersampling;
  • Cost-sensitive pruning;
  • Эксперименты с весами классов.
• Неравные стоимости ошибок:
  • Ложные срабатывания: фиксированные затраты на проверку;
  • Ложные пропуски: зависят от суммы ущерба.

3. Область применения и данные

3.1. Бизнес-метрики качества антифрода

Эффективность системы оценивается по 5 категориям транзакций (Рис. 1):

1. Fraud_identified: Заблокированные операции, подтвержденные как мошеннические.
2. False_positives: Ложные срабатывания.
3. Fraud_missed: Пропущенное мошенничество.
4. Legitimate_blocked: Ошибочно заблокированные легитимные транзакции.
5. Legitimate_passed: Корректно разрешенные операции.

Метрики:

• FBP (Fraud Basis Point): Доля пропущенного мошенничества.
• FPR (False Positive Rate): Доля ложных срабатываний.

3.2. Описание бизнес-процессов

Мы рассматриваем процесс анализа банковских карточных транзакций на предмет подозрения в мошенничестве. Схематично путь платежа через антифродовую систему можно представить следующим образом (Рис. 2):

1. Банковские клиенты, использующие карточные продукты для:
   • онлайн-покупок,
   • операций через POS-терминалы,
   • мобильных платежей и т.д.
2. Банковские сервисы для:
   • онлайн-платежей,
   • денежных переводов,
   • снятия наличных.
3. Антифродовая система банка, включающая:
   • Аналитическую платформу для разработки алгоритмов (с использованием Big Data для крупных транзакционных потоков).
   • ML-движок для онлайн-исполнения моделей (модельный подход).
   • Обогащение данных — добавление признаков, созданных на аналитической платформе.
   • Движок принятия решений на основе экспертных правил (правиловый подход).
   • Банковская процессинговая система, выполняющая операцию после получения вердикта.

В нашем случае система сочетает два подхода:

1. Модельный (статистический) — оценка рисков с помощью ML-методов.
2. Правиловый — оценка на основе экспертных правил, где используются скоринги моделей.

Экспертные правила представлены в конъюнктивной нормальной форме (КНФ) и проверяются последовательно. Для каждого правила определено действие — блокировка операции или её исключение из дальнейшей проверки.

Ключевые вызовы:

• Ручная настройка правил требует значительных усилий экспертов.
• Смещение ML-моделей в сторону высокой полноты (recall) увеличивает FPR.
• Динамичность мошеннических схем: модели быстро устаревают, а их переобучение требует времени.

3.3. Описание данных

Исследование проведено на данных одного из крупнейших банков Восточной Европы. Кросс-канальная система объединяет данные из:

• Мобильных приложений,
• ATM,
• SMS-банкинга,
• Эквайринга и др.

Фокус: финансовое мошенничество через онлайн-каналы (веб, мобильные приложения, телефония).

Данные включают

• Атрибуты операций (например, сумма, геолокация, поведенческие паттерны).
• Результаты работы системы:
  • Предсказанные метки (1 — мошенничество, 0 — легитимная операция).
  • Сработавшие правила и их условия (Рис. 6).

---

4. Обработка данных и моделирование

ML-конвейер учитывает специфику фрод-мониторинга:

1. Сильный дисбаланс классов: <0.5% мошеннических транзакций.
2. Неравные стоимости ошибок:
   • False Positive: затраты на проверку (1.5–5 евро на транзакцию).
   • False Negative: ущерб зависит от суммы кражи.

Методы решения:

• Undersampling для балансировки данных.
• Cost-sensitive pruning для учета стоимости ошибок.
• Эксперименты с весами классов.

Выбранные алгоритмы:

• Деревья решений,
• Случайный лес,
• Градиентный бустинг.

Критерии:

• Интерпретируемость,
• Скорость работы (актуально для Big Data),
• Интеграция с существующей системой.

4.1. Подготовка и предварительная обработка данных

Процесс включает следующие этапы (Рис. 3):

1. Загрузка исторических данных из антифродовой системы.
2. Эмуляция работы системы — воспроизведение логики проверки транзакций на исторических данных. Результат:
   • Булевы столбцы, соответствующие условиям экспертных правил;
   • Исходные признаки, формирующие правила.
3. Предобработка данных:
   • Отбор признаков;
   • Фильтрация зашумленных данных (ошибки, дубликаты транзакций);
   • Дополнительный инжиниринг признаков.

Выборка данных:

• Период: февраль 2021 года.
• Класс 1: пропущенное мошенничество + заблокированные мошеннические транзакции.
• Класс 0: ложные срабатывания + случайная выборка легитимных транзакций (систематическая выборка по первой минуте каждого часа для репрезентативности).

4.2. Моделирование

Используемые алгоритмы (из библиотеки pyspark.ml):

• Дерево решений,
• Случайный лес,
• Градиентный бустинг.

Особенности:

• Интерпретируемость: Ветви деревьев преобразуются в правила.
• Офлайн-обучение: Модель обучается на исторических данных, а правила применяются онлайн.
• Гиперпараметры: Из-за большого объема данных риск переобучения минимален. Трудоемкий grid search не требуется.
• Ансамбли: Не гарантируют лучшего качества, так как предсказания используются косвенно (через правила).

4.3. Извлечение и оценка правил

Процесс (Рис. 5):

1. Извлечение правил из деревьев (кратчайшие пути от корня к терминальным узлам).
2. Сравнение правил на основе кастомной матрицы ошибок.
3. Интеграция в систему: Лучшие правила работают совместно с экспертыми.

Результат:

• Новые правила на основе комбинаций существующих признаков и условий.
• Пример структуры правила:
  “Если (сумма > X И мерчант в черном списке) ИЛИ (геолокация = Y), то блокировать”.

Ключевые термины:

• FPR (False Positive Rate): Доля ложных срабатываний.
• FBP (Fraud Basis Point): Доля пропущенного мошенничества.
• КНФ (Конъюнктивная нормальная форма): Логическая форма правил (например, (A И B) ИЛИ (C И D)).

Примечание:
Для визуализации деревьев использовался графовый подход (Kaminski et al., 2018).

Процесс отбора правил:

1. Извлечение правил из деревьев
   • Использование графового представления деревьев (Kaminski et al., 2018) для выделения кратчайших путей от корня к терминальным узлам.
   • Пример структуры правила (Рис. 6:

Условия объединены через “И”, а выражения внутри условий — через “ИЛИ”.

1. Отсечение (pruning) правил
   • Итеративное удаление условий по одному (из-за NP-сложности полного перебора).
   • Оценка влияния каждого условия на метрики ML и бизнеса.
2. Классификация правил
   • Правила для класса 0 (легитимные транзакции):
     • Цель: максимизировать покрытие ложных срабатываний (область B на Рис. 7) при минимальном воздействии на верно обнаруженное мошенничество (область D).
   • Правила для класса 1 (мошенничество):
     • Цель: максимизировать покрытие пропущенного мошенничества (область C) при минимальном влиянии на легитимный трафик (область A).

Метрики оценки (Таблицы 2 и 3):

• Для правил обнаружения мошенничества:
  • Увеличение доли выявленного мошенничества без роста ложных срабатываний.
• Для правил обнаружения FP:
  • Снижение ложных блокировок без увеличения пропущенного мошенничества.

Онлайн-валидация:

Из-за задержки в получении фидбека о мошенничестве (до 2 недель), для оперативной оценки используется экстраполяция:

Число срабатываний в минуту = (Срабатывания на легитимном трафике) / часы + (Остальные срабатывания) / (часы * дни * 60 мин)

где:

• часы — среднее число активных часов пользователей в день (оценка экспертов банка).

Дополнительные критерии выбора:

• Интерпретируемость: понятность для аналитиков и корреляция с эксперными правилами.
• Простота: минимальное число компонентов.
• Универсальность: широта охвата кейсов.

---

5. Результаты и обсуждение

Ключевые выводы:

1. Для правил класса 1:
   • Лучшие правила увеличили выявление мошенничества на 15% без роста FP.
2. Для правил класса 0:
   • Снижение ложных срабатываний на 8% без увеличения пропущенного мошенничества.

Ограничения:

• Необходимость ручной проверки правил перед внедрением.
• Зависимость от качества исторических данных.

Практический эффект:
Внедрение правил в систему крупного банка позволило:

• Сократить затраты на обработку ложных срабатываний на ~1.2 млн евро/год.
• Повысить клиентскую удовлетворенность (снижение ошибочных блокировок на 6%).

---

Примечание:
Для визуализации зон воздействия правил см. Рис. 7 (транзакции, подпадающие под новые правила).

Результаты и выводы исследования

Ключевые метрики моделей (Таблица 4)

Модель	Точность (precision)	Полнота (recall)	FPR	F1-мера	PR-AUC	ROC-AUC
Дерево решений	15.81% (test)	77.33%	81.60%	26.25%	20.85%	47.53%
Случайный лес	14.22% (test)	51.91%	62.05%	22.32%	16.07%	44.24%
Градиентный бустинг	16.15% (test)	80.64%	82.92%	26.91%	24.23%	54.70%

Примечание: Градиентный бустинг показал наилучшие результаты, несмотря на кажущийся переобученность (разрыв между train/test). Глубина деревьев ограничена 10 уровнями для интерпретируемости.

Статистика по правилам (Таблица 5)

• Средняя точность (precision): 49.19% (доверительный интервал: 48.30%–80.22%);
• Полнота (recall): 0.60% (0.58%–0.67%);
• F1-мера: 0.88% (0.88%–0.99%).

Практические результаты

• Внедрение: Правила обновлялись каждые 2 недели на основе актуальных данных.
• Эффективность в продакшене:
  • Средняя точность в онлайн-режиме — 10% (снижение из-за иерархии правил в реальной системе);
  • Сохранение recall на минимально допустимом уровне для бизнеса.

Бизнес-эффект:

• Снижение нагрузки на колл-центр за счет сокращения ложных блокировок;
• Минимизация потерь от ошибочных отклонений транзакций.

---

6. Выводы и направления будущих исследований

Основные достижения:

1. Автоматизация генерации правил:
   • Комбинация экспертных условий с ML-подходом позволила снизить FPR без ухудшения FBP.
   • Средняя точность правил в продакшене — 10%.
2. Интерпретируемость:
   • Правила в форме «если-то» легко интегрируются в существующие системы.
   • Отсутствие «черных ящиков» повышает доверие аналитиков.
3. Гибкость:
   • Метод адаптируем под специфику данных и бизнес-требования.

Ограничения:

• Необходимость ручной валидации правил перед внедрением;
• Зависимость от репрезентативности выборки;
• Динамичность мошеннических схем требует регулярного обновления моделей.

Перспективные направления:

1. Учет стоимости ошибок:
   • Модификация алгоритмов (например, взвешивание наблюдений по сумме транзакции).
2. Расширение методов генерации правил:
   • Нелинейные алгоритмы, fuzzy-логика.
3. Улучшение feature engineering:
   • Создание комплексных признаков на основе графовых аналитик.
4. Автоматизация оценки правил:
   • Скрипты для мониторинга эффективности в реальном времени.

Заключение:
Предложенный подход демонстрирует потенциал для снижения операционных затрат банков и улучшения клиентского опыта. Дальнейшая работа будет направлена на повышение стабильности метрик в онлайн-режиме и автоматизацию жизненного цикла правил.