Obwohl Scoring als Risikomanagementwerkzeug wichtig ist, hat es doch auch Grenzen und Risiken. Sogenannte PD(Probability of Default)-Scoring-Modelle, die im alltäglichen Einsatz bei Banken sind, schätzen die Ausfallwahrscheinlichkeit innerhalb eines vorgegebenen Zeitraums. Im Normallfall sind es zwölf Monate ab dem Ratingzeitpunkt. Generell gibt es unterschiedliche Faktoren, die die Qualität des Scorings maßgeblich beeinträchtigen.
Datenqualität
Eine korrekte Datenqualität ist eine essentielle Anforderung, die ein Scoringsystem stellt. Im Zuge von Basel II werden in PD-Modellen die Kreditnehmer in Bonitätsklassen eingestuft. Jede dieser Bonitätsklassen hat eine Wahrscheinlichkeit hinterlegt, die das Risiko eines Ausfalls beschreibt. Folgen von „schlechten“ Modellen können eine ungenaue Bonitätseinteilung oder eine ungenaue Ausfallrate der einzelnen Bonitätsstufen sein. Diese hat einen direkten Einfluss auf das zu hinterlegende Eigenkapital. Inkorrekte Daten ergeben daher auch eine inkorrekte Einteilung der Kreditnehmer in Bonitätsklassen und das Modell wird demzufolge instabil sein.
Konjunkturelle Schwankungen
Besonders bei Corporate- aber auch bei Retail-Krediten haben konjunkturelle Schwankungen einen entscheidenden Einfluss auf die Ausfallswahrscheinlichkeit. Um festzustellen, ob ein Scoringsystem diesen Schwankungen standhält, muss eine ständige Überwachung der Stabilität und der Trennschärfe über die Zeit erfolgen. Nur so kann eine eventuelle Notwendigkeit zur Anpassung des Modells festgestellt werden.
Verschiebungen von Merkmalsgewichtungen
Jedes Merkmal hat eine bestimmte Auswirkung auf den vom Modell ermittelten Score. Falls sich diese Merkmale im Laufe der Zeit in ihrer Gewichtung, aber auch in ihrer Zusammensetzung (Klassengrenzen wie Einkommensklassen) ändern, müssen auch die einzelnen Eingangsvariablen, die in ein Modell fließen, einer stetigen Überprüfung unterzogen werden.
Unzureichende Informationen
Unzureichende Informationen können fehlende Informationen sein. Wenn für ein Scoringsystem wichtig ist, dass ein bestimmtes Merkmal vorhanden ist, darf dieses in den Quelldaten nicht fehlen. Wenn für einen Großteil der Kreditnehmer bestimmte Einflussfaktoren nicht vorhanden sind, werden sie in der Regel mit einer Standardbelegung versehen. Eine gute Validierung weist diese Merkmale aus und es kann darauf reagiert werden.
Schlecht getroffene
Klasseneinteilung
In den meisten Scoringmodellen wird eine Klasseneinteilung der einzelnen Merkmalsausprägungen durchgeführt (zum Beispiel Altersklassen <20; 21–30; >30). Wenn diese Klassengrenzen schlecht gewählt sind, hat das einen direkten Einfluss auf die Vorhersagequalität des Modells. Ebenso stellt eine zu geringe oder zu hohe Klassenanzahl ein Problem dar.
Validierung/Backtesting
Validierungs- und Backtesting-Methoden, die ein Bündel von Maßnahmen bezeichnen, helfen dabei, den Einfluss dieser Faktoren möglichst klein zu halten und die Gültigkeit der verwendeten Scoringmodelle nachzuweisen beziehungsweise zu überprüfen.
Dazu zählt beispielsweise die Validierung der Modelle für Untergruppen. Ein PD-Scoringmodell bezieht sich auf die Betrachtung gleicher Ratingtypen (Retail-Kredite, Hypothekar-Kredite). Im Sinne des Backtestings ist es interessant zu sehen, wie sich ein Modell in der Anwendung auf verschiedene Untergruppen verhält. Zum Beispiel könnte untersucht werden, wie sich das gewählte Ratingmodell (Retail-Kredit) in Bezug auf verschiedene Organisationseinheiten (einzelne Business Units, Abteilungen) einer Bank verhält. Ein weiteres Beispiel für eine zu untersuchende Untergruppe wären Kredite, deren Engagement („Exposure“) in einem bestimmten Bereich liegt.