Online-Unternehmen sind massivem Betrugsdruck ausgesetzt und benötigen wirksame Gegenmaßnahmen. ML-Risikomodelle können helfen, stoßen jedoch auf komplexe statistische Hürden: unzuverlässige Labels mit Zeitverzug, extreme Imbalance, blinde Flecken, aktive Gegenspieler, Feedback-Schleifen u.a.
Viele dieser Themen werden auch in der Forschung behandelt, die Praxis erfordert aber vor allem pragmatische Ansätze. Der Vortrag beleuchtet diese Herausforderungen und präsentiert Lösungswege.

Zielpublikum: Jede/r mit Interesse an ML oder Betrugsprävention, Data Scientists
Voraussetzungen: Grundkenntnisse des Maschinellen Lernens sowie operative oder analytische Erfahrung in der Betrugsprävention sind hilfreich, aber nicht notwendig
Schwierigkeitsgrad: Advanced

Extended Abstract:
Betrugsprävention ist ein spannendes und vielseitiges Themenfeld, das neben fachlichen vor allem auch statistische Herausforderungen bietet. Dies gilt umso mehr beim Einsatz von ML-Risikomodellen. Der Vortrag gibt zunächst Einblicke in die Echtzeit-Betrugsprävention aus den Bereichen E-Commerce und Banking. Dann werden vier konkrete Herausforderungen und Lösungsansätze vertieft:

• Label: Die abschließende Betrugsbewertung basiert auf unterschiedlichen Quellen wie Zahlungsausfällen, Inkassodaten, manuellen Prüfungen, automatisierten Entscheidungen oder Kundenservice-Rückmeldungen. Jede Quelle hat Eigenheiten hinsichtlich Zeitverzug und Zuverlässigkeit. Hinzu kommt eine starke Imbalance: Betrugsfälle machen in der Regel weit weniger als 1 % der Gesamtdaten aus.
• Sampling: Sampling-Methoden spielen eine Schlüsselrolle, um spätere Generalisierungsfehler zu minimieren, insbesondere bei zeitverzögerten Labels, dynamischen Grundmengen (z. B. saisonalen Schwankungen) und aktiven Gegenspielern.
• Feature-Entwicklung: Die Qualität der verwendeten Features hat entscheidenden Einfluss auf die Modellperformance. Komplexe Features wie Graph-Kontexte, Anomalien oder aggregierte Risiken bringen oft Verbesserungen, müssen jedoch historisch korrekt berechnet und effizient gemanagt werden.
• Performance-Metriken: Zur Bewertung der Modellleistung sind klassische Metriken oft ungeeignet, da sie die konkreten praktischen Anforderungen nicht ausreichend widerspiegeln. Idealerweise sollten individuelle KPIs bereits direkt in die Trainingsmethodik eingebracht werden.
Neben diesen zentralen Herausforderungen werden weitere relevante Themen angesprochen, darunter Score-Normalisierung, Erklärbarkeit von ML-Modellen, die Berücksichtigung aktiver Gegenspieler, Entscheidungsoptimierung sowie der Einsatz generativer KI.