Il quadro in materia di credit scoring, tra l’AI Act e le sentenze SCHUFA

Nel glossario on line offerto dalla Banca d’Italia si legge che l’espressione “ credit scoring ” designa “un sistema automatizzato adottato dalle banche e dagli intermediari finanziari per valutare le richieste di finanziamento della clientela (in genere per la concessione del credito al consumo). Esso si basa su sistemi automatizzati che prevedono l’applicazione di metodi o modelli statistici per valutare il rischio creditizio, e i cui risultati sono espressi in forma di giudizi sintetici, indicatori numerici o punteggi, associati all’interessato, diretti a fornire una rappresentazione, in termini predittivi o probabilistici, del suo profilo di rischio, affidabilità o puntualità nei pagamenti”.

Non stupisce che l’Istituto abbia incluso la nozione nella raccolta di vocaboli relativi al settore bancario e finanziario disponibile sul proprio sito: le attività di credit scoring sono ormai entrate nella quotidianità degli enti creditizi. È quanto metteva in luce nel 2021 anche la Banca Centrale Europea, rilevando: “le attività di credit scoring sono regolarmente svolte dagli enti creditizi nelle prassi quotidiane”.

In quell’occasione, la BCE si occupava del credit scoring nell’ambito del parere relativo alla proposta di Regolamento che stabilisce regole armonizzate sull’intelligenza artificiale, l’ormai celebre “ AI Act ”, recentemente reso noto nella versione risultante dall’accordo politico del dicembre 2023 e ormai quasi al termine del proprio percorso legislativo.

L’AI Act produrrà un impatto significativo sulle attività di credit scoring condotte mediante sistemi di AI, che sono oggetto di specifiche previsioni. Si aggiungerà così un livello normativo a quello già costituito dal Regolamento in materia di protezione dei dati personali, il “ GDPR ”, le cui implicazioni nel campo del credit scoring sono state di recente chiarite dalla Corte di Giustizia dell’Unione europea nelle sentenze c.d. “ SCHUFA ”.

Volendo fare il punto, allora, sul quadro normativo in materia di credit scoring, si deve in primo luogo osservare che i sistemi di AI utilizzati per la valutazione del merito creditizio si dovranno qualificare come sistemi ad alto rischio.

Come è noto, il Regolamento europeo sull’AI adotta un approccio basato sul rischio, imperniato sulla distinzione tra sistemi di AI che determinano un rischio inaccettabile, sistemi ad alto rischio, sistemi a rischio limitato, specificamente nell’ambito della trasparenza, e sistemi a rischio minimo.

Mentre i primi sono banditi dal mercato europeo, i sistemi ad alto rischio sono ammessi, seppur soggetti a stringenti obblighi. Per i sistemi a rischio limitato, invece, si stabiliscono specifici obblighi di trasparenza, mentre per i sistemi a rischio minimo si instaura un regime di free use.

Nell’ambito di questa classificazione, come anticipato, i sistemi di credit scoring ricadono tra i sistemi a rischio alto. Più precisamente, si tratta di uno dei casi d’uso inclusi nell’Annex III del Regolamento, dedicato all’individuazione dei sistemi che, a partire dall’area di riferimento, devono essere qualificati ad alto rischio. Così, l’Annex III fa riferimento agli “AI systems intended to be used to evaluate the creditworthiness of natural persons or establish their credit score, with the exception of AI systems used for the purpose of detecting financial fraud”, che si instaurano nell’area “Access to and enjoyment of essential private services and essential public services and benefits”.

Si comprende un primo elemento, rispetto alla ratio della previsione: il punto è che i sistemi di credit scoring hanno a che fare con il riconoscimento di servizi e benefici essenziali. È quanto si spiega più puntualmente al considerando 37, da cui emerge che a fondare la scelta del legislatore europeo è altresì un’attenzione alla questione discriminatoria. Si legge, infatti, nel considerando: “AI systems used to evaluate the credit score or creditworthiness of natural persons should be classified as high-risk AI systems, since they determine those persons’ access to financial resources or essential services such as housing, electricity, and telecommunication services. AI systems used for this purpose may lead to discrimination of persons or groups and perpetuate historical patterns of discrimination, for example based on racial or ethnic origins, gender, disabilities, age, sexual orientation, or create new forms of discriminatory impacts”.

Gli algoritmi di AI che assegnano un punteggio in ambito creditizio, dunque, sono consentiti, ma, qualificati come sistemi ad alto rischio, sono soggetti agli specifici obblighi e requisiti stabiliti per tali sistemi, quelli già previsti nella proposta di Regolamento della Commissione europea, in alcuni casi parzialmente riformulati, e almeno un nuovo adempimento.

Tra i primi, in particolare, l’obbligo di istituire, attuare, documentare e mantenere un sistema di gestione dei rischi (art. 9), l’obbligo di ricorrere a set di dati di addestramento, convalida e prova che soddisfino criteri di qualità, esattezza, pertinenza e rappresentatività (art. 10), nonché l’obbligo di redigere, prima dell’immissione sul mercato o della messa in servizio del sistema, la documentazione tecnica atta a dimostrarne la conformità ai requisiti del Regolamento e a fornire alle autorità competenti, in maniera chiara ed esaustiva, le informazioni necessarie alla valutazione della sua conformità (art. 11).

Si richiede poi che i sistemi di AI ad alto rischio consentano tecnicamente la registrazione automatica dei log per tutto il proprio ciclo di vita (art. 12) e, ancora, che siano progettati e sviluppati in modo da garantire che il proprio funzionamento sia sufficientemente trasparente da consentire a chi lo utilizzi di interpretarne l’output e utilizzarlo adeguatamente (art. 13). La progettazione e lo sviluppo dei sistemi ad alto rischio devono altresì consentirne l’efficace supervisione da parte delle persone fisiche, anche mediante adeguati strumenti di interfaccia uomo-macchina, e far sì che conseguano un livello adeguato di accuratezza, robustezza e cibersicurezza, che perduri durante tutto il loro ciclo di vita (art. 15).

La rispondenza ai requisiti previsti dal Regolamento dovrà essere verificata ex ante, sottoponendo il sistema di AI ad una procedura di valutazione della conformità prima della sua immissione sul mercato. Ad indicare la conformità del sistema, l’apposizione di un marchio CE, prevedendosi inoltre la registrazione in una banca dati UE “ for high-risk systems listed in Annex III ”.

Gli obblighi si snodano lungo tutta la catena del valore. Diversamente declinati, riguardano tutti i soggetti coinvolti nell’immissione sul mercato, nella messa in servizio e nell’utilizzo dei sistemi di AI nel mercato europeo, dal provider del sistema (artt. 16-25), all’importatore (art. 26) e al distributore (art. 27), fino al deployer (art. 29), termine che designa chi, persona fisica o giuridica, utilizzi un sistema di AI sotto la propria autorità, a meno che il sistema sia impiegato nell’ambito di attività personali, non professionali.

E proprio i deployer di sistemi di AI di credit scoring sono destinatari di un nuovo obbligo. L’art. 29a, infatti, include gli utilizzatori di questi sistemi tra i deployer chiamati a condurre una valutazione dell’impatto dei medesimi sui diritti fondamentali. Più precisamente, i deployer dovranno effettuare una valutazione che ricomprenda una descrizione dei processi in cui il sistema di AI ad alto rischio verrà utilizzato, l’indicazione del periodo di tempo e della frequenza d’uso del sistema, nonché le categorie di persone fisiche e gruppi che, nello specifico contesto di riferimento, è probabile saranno interessate dal suo utilizzo, unitamente agli specifici rischi di danno che è probabile producano un impatto su tali categorie di persone o gruppi. La valutazione dovrà comprendere anche la descrizione delle misure di supervisione umana implementate e di quelle da adottare qualora i rischi prefigurati si materializzino, incluse le modalità di governance interna e i meccanismi di reclamo.

Questo obbligo, imposto anche ai soggetti di diritto pubblico, agli operatori privati che forniscano servizi pubblici e agli utilizzatori di sistemi per la valutazione del rischio nell’ambito di assicurazioni mediche e sulla vita, si applicherà al primo utilizzo del sistema. Si prevede, dunque, che il deployer, in casi similari, possa fare affidamento sulle valutazioni d’impatto precedentemente effettuate o sulle valutazioni d’impatto effettuate dal provider, fermo restando che qualora il deployer riscontri mutamenti che rendano inattuale la valutazione, deve adoperarsi per aggiornare le informazioni. Una volta effettuata la valutazione, il deployer deve notificarne risultati all’Autorità di vigilanza del mercato.

La Banca Centrale Europea, nel già richiamato parere, aveva auspicato che i sistemi di AI per il credit scoring fossero sottratti alla qualificazione come sistemi ad alto rischio quando, utilizzati sotto la supervisione umana, il loro impatto sulla valutazione dell’affidabilità creditizia o del merito di credito risultasse minimo. “Per migliorare la chiarezza nelle aspettative in materia di vigilanza e in linea con l’approccio neutrale rispetto alla tecnologia della BCE, si suggerisce che i sistemi di IA destinati a essere utilizzati per valutare l’affidabilità creditizia delle persone fisiche o stabilire il loro merito di credito e che fungano da leva sull’uso autonomo di regressioni lineari o logistiche o di alberi decisionali sotto la supervisione umana non dovrebbero essere classificati come sistemi di IA ad alto rischio, a condizione che l’impatto di tali approcci sulla valutazione dell’affidabilità creditizia o del merito di credito delle persone fisiche sia minimo”, si legge nel citato parere.

Circostanze analoghe hanno effettivamente assunto rilievo nel Regolamento, che prevede ora un’eccezione alla qualificazione come ad alto rischio dei sistemi inclusi nell’Annex III. Si stabilisce, in particolare, che tali sistemi non debbano essere qualificati ad alto rischio ove non comportino un rischio significativo di danno alla salute, alla sicurezza o ai diritti fondamentali delle persone fisiche. Per presunzione legislativa, questo requisito si ritiene soddisfatto qualora il sistema di AI sia inteso a compiere “ a narrow procedural task ”, a migliorare il risultato di un’attività umana previamente completata, a individuare uno schema decisionale o deviazioni rispetto a schemi decisionali precedenti e non sia inteso a sostituire o influenzare la valutazione umana già conclusa, “without proper human review”, o, infine, ove il sistema di AI sia destinato all’esecuzione di task preparatori.

Questa eccezione, però, pare non estendersi ai sistemi di credit scoring, essendo specificamente previsto che un sistema di AI debba essere sempre considerato ad alto rischio se effettua profilazione delle persone fisiche.

Il riferimento alla profilazione inevitabilmente richiama il GDPR, che infatti è espressamente menzionato nell’AI Act.

Come è noto, per profilazione vi si intende “qualsiasi forma di trattamento automatizzato di dati personali consistente nell’utilizzo di tali dati personali per valutare determinati aspetti personali relativi a una persona fisica, in particolare per analizzare o prevedere aspetti riguardanti il rendimento professionale, la situazione economica, la salute, le preferenze personali, gli interessi, l’affidabilità, il comportamento, l’ubicazione o gli spostamenti di detta persona fisica”.

Le inferenze tra credit scoring, profilazione e GDPR sono state recentemente chiarite dalla Corte di Giustizia in una delle già citate sentenze “ SCHUFA ”, denominazione della compagnia coinvolta nella vicenda in cui si instauravano i rinvii pregiudiziali, una società tedesca che fornisce a partner commerciali informazioni sul merito creditizio di persone e imprese.

Mentre nella prima decisione (cause riunite C-26/22 E C-634/22), la Corte ha principalmente messo a fuoco alcuni requisiti di liceità del trattamento allorché un operatore privato conservi nelle proprie banche dati informazioni provenienti da un registro pubblico, nella seconda si è soffermata specificamente sulle connessioni tra credit scoring, profilazione e disciplina delle decisioni automatizzate.

Muovendo dalle attività di credit scoring condotte da SCHUFA, la Corte ha messo in chiaro se il calcolo automatizzato di un tasso di probabilità riguardante la capacità di una persona di onorare impegni di pagamento in futuro, basato sui dati personali della medesima, costituisca un processo decisionale automatizzato relativo alle persone fisiche, qualora dal tasso di probabilità dipenda in modo decisivo la stipula, l’esecuzione o la cessazione di un rapporto contrattuale con tale persona da parte di un terzo, al quale il tasso di probabilità è comunicato.

In altri termini, la Corte era chiamata a esprimersi sull’applicabilità dell’art. 22 del GDPR , la norma in materia di processi decisionali automatizzati relativi alle persone fisiche che, al primo comma, afferma il diritto dell’interessato di non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato, compresa la profilazione, la quale produca effetti giuridici che lo riguardano o incida in modo analogo significativamente sulla sua persona, sancendo un “ divieto di principio ”, come si legge nella sentenza e nelle conclusioni dell’Avvocato Generale. Così, una decisione basata esclusivamente su un trattamento automatizzato è autorizzata solo nei casi previsti dal 2° comma dell’art. 22: il caso in cui la decisione sia necessaria per la conclusione o l’esecuzione di un contratto tra l’interessato e il titolare del trattamento, sia autorizzata dal diritto dell’Unione o dello Stato membro cui è soggetto il titolare del trattamento, o si basi sul consenso esplicito dell’interessato.

L’applicabilità della disposizione, ha rilevato la Corte, è soggetta a tre condizioni cumulative. Deve esistere una decisione. Tale decisione deve essere “ basata unicamente sul trattamento automatizzato, compresa la profilazione ” e, infine, deve produrre effetti giuridici riguardanti l’interessato o incidere in modo analogo significativamente sulla sua persona. Tre condizioni che il calcolo automatizzato di un tasso di probabilità riguardante la capacità di una persona di onorare, in futuro, impegni di pagamento, di per sé, soddisfa.

La nozione di “ decisione ” ai sensi dell’art. 22, 1° comma, del GDPR è sufficientemente ampia da ricomprendere il risultato del calcolo della solvibilità di una persona sotto forma di tasso di probabilità relativo alla capacità di tale persona di onorare impegni di pagamento in futuro e, allo stesso tempo, giacché l’azione del terzo al quale è trasmesso il tasso di probabilità è guidata “ in modo decisivo ” dal tasso di probabilità calcolato, la decisione produce effetti giuridici riguardanti l’interessato o comunque incide in modo analogo significativamente sulla sua persona. Ancora, quanto al secondo requisito – ed ecco l’esplicitazione del legame tra credit scoring e profilazione – il calcolo automatizzato di un tasso di probabilità riguardante la capacità di una persona di onorare un prestito futuro, basato sui dati personali della medesima, risponde alla definizione di profilazione.

Di qui, l’assoggettamento delle operazioni di calcolo automatizzato di un tasso di probabilità relativo alla capacità di una persona fisica di onorare futuri impegni di pagamento al regime previsto dall’art. 22 del GDPR, con la conseguente necessità che ricorra uno dei casi in cui tale disposizione autorizzi l’adozione di una decisione basata esclusivamente su un trattamento automatizzato, che il titolare del trattamento adempia gli obblighi di informazione supplementari previsti in tal caso e, parimenti, che all’interessato sia riconosciuto il diritto di ottenere dal titolare, tra l’altro, informazioni significative sulla logica utilizzata, l’importanza e le conseguenze del trattamento.

______

*A cura dell’Avv. Giorgia Bianchini – DigitalMediaLaws

Se questo articolo è stato di tuo interesse ma non sei ancora abbonato a NT+ Diritto approfittane subito,prova 1 mese da € 4,90!Scopri di più