La lettura dell’interessante libro di Claudio Delaini “Intelligenza artificiale: i rischi nelle fabbriche” (pubblicato nell’aprile 2025 con la collaborazione dell’avvocato Silvia Zuanon, di Massimo Marini e Roberto Serra) ci offre l’occasione per fare il punto sulle principali declinazioni dell’intelligenza artificiale in ambito aziendale e industriale, per arricchire la mappa dei rischi legati all’uso delle tecnologie della AI e per dare qualche spunto per realizzare sistemi sempre migliori.
***
Basati sull’elaborazione statistica di big data, dotati di un certo grado di autonomia, capaci di evolversi in modo autonomo e di generare output che influenzano l’ambiente circostante, digitale o fisico che sia, i sistemi guidati dalle tecnologie dell’intelligenza artificiale rappresentano per le aziende un’opportunità, ma nel contempo anche un rischio.
Nonostante le attuali differenze fra Regolamento Macchine (2023/1230) ed AI Act (2024/1689), la legislazione comunitaria è concorde nell’affermare che i prodotti (e quindi anche i macchinari industriali) arricchiti dall’intelligenza artificiale devono essere certificati CE e quindi essere sottoposti alla valutazione di rischio, che è parte integrante della marcatura CE.
Claudio Delaini sottolinea che, ex Allegato I, il Regolamento Macchine ci porta a concludere che, se arricchiti dalla AI, le macchine e i componenti di sicurezza immessi separatamente sul mercato vanno considerati sistemi ad alto rischio. In base al regolamento europeo sull’intelligenza artificiale i sistemi ad alto rischio devono essere certificati CE da enti notificati; iscritti in un pubblico registro; tracciabili, dotati di protocolli di verifica e monitorati dopo il lancio sul mercato; accessibili al controllo umano e corredati da piani di gestione degli imprevisti.
L’AI Act non menziona invece esplicitamente macchinari industriali, componenti, dispositivi e assistenti virtuali basati su tecnologie AI e quindi non fornisce ancora i criteri per classificarli come sistemi a rischio alto, limitato e minimo. D’altro canto, a oggi non esistono ancora le norme in base a cui certificare sistemi AI classificati ad alto rischio.
E quindi? Parafrasando Kant, le aziende dovrebbero agire come se macchine, componenti, dispositivi e assistenti virtuali arricchiti dall’intelligenza artificiale fossero sistemi ad alto rischio, data la gravità dei danni che i loro output possono arrecare a persone e cose.
Obiettivo di Claudio Delaini, corroborato dagli interventi dell’avvocato Silvia Zuanon, è aiutare le aziende a prendere coscienza che l’AI industriale è intrinsecamente anche una fonte di rischi, per i cui danni sono chiamati a risponde in modo distribuito, ma interconnesso, il datore di lavoro, il lavoratore e la software house/l’integratore.
In caso di danni, il datore di lavoro, puntualizza Silvia Zuanon, può escludere la sua responsabilità solo dimostrando di avere validato il comportamento del sistema AI; di avere condotto la valutazione dei rischi e, sulla sua base, di avere adottato le possibili misure di mitigazione; di avere formato in modo documentato i lavoratori all’uso sicuro del sistema; di avere redatto procedure operative chiare.
Il lavoratore adeguatamente formato è chiamato in causa solo in caso di dolo o colpa grave nell’uso del sistema AI.
La software house/l’integratore infine è responsabile se il sistema AI è difettoso e se non ha fornito informazioni e documentazione riguardo a capacità, limiti e rischi connessi all’uso del sistema.
Claudio Delaini e i suoi collaboratori si soffermano in particolare sui rischi legati alla qualità di dati e feedback in possesso delle aziende; alle allucinazioni dei sistemi basati sulle tecnologie dell’intelligenza artificiale; alla sicurezza informatica; alla perdita di controllo umano; allo stress tecnologico; alla privacy.
Guardare all’intelligenza artificiale dal punto di vista del rischio, come propone Claudio Delaini, non è solo un obbligo normativo, ma – a mio giudizio – è anche una prospettiva utile per progettare, realizzare, far usare in modo efficace e sicuro, nonché per migliorare in modo continuo i sistemi AI con quali aggiungere valore chiaramente percepibile per gli utilizzatori a macchinari industriali, componenti, assistenti virtuali per il supporto tecnico e altri dispositivi utilizzati nei siti produttivi.
Ecco perché, sulla scorta del bel libro “Intelligenza artificiale: i rischi nelle fabbriche” mi propongo, nel prosieguo del post, ad arricchire la mappa dei rischi connessi all’uso aziendale di sistemi AI, accennando a qualche aspetto tecnico e a possibili misure di mitigazione.
Attualmente (primo semestre del 2025), le principali declinazioni della AI in ambito industriale sono:
- AI integrata in macchinari industriali, componenti e funzioni con l’obiettivo di migliorare processi produttivi, controllo della qualità, attività di manutenzione, ecc.
- Assistenti virtuali industriali, integrati nelle macchine o fruibili mediante sito/app aziendale con l’obiettivo di rendere più semplice ed efficace l’accesso al patrimonio di sapere tecnico esplicitato
- AI gestionale, integrata nei software ERP, MES (Manufacturing Execution Systems) o APS (Advanced Planning and Scheduling) con l’obiettivo di ottimizzare la supply chain, la gestione del magazzino, la previsione della domanda, la schedulazione dinamica della produzione, ecc.
- AI per la sicurezza e la compliance, integrata per esempio in DPI e sistemi di monitoraggio ambientale smart con l’obiettivo di rendere più sicuri gli ambienti di lavoro.
Mentre alcuni rischi sono comuni, perché connaturati all’attuale stadio evolutivo dell’intelligenza artificiale, altri sono specifici delle singole declinazioni della AI industriale, perché relativi al modo in cui i sistemi formulano giudizi, decidono e agiscono sulla base dell’elaborazione statistica di dati oppure al modo in cui i sistemi elaborano, comprendono e generano il linguaggio naturale.
Un fattore di rischio dei sistemi AI industriali è la qualità di dati o contenuti, determinata da un complesso di caratteristiche: significatività e rilevanza rispetto agli obiettivi applicativi da raggiungere; pulizia ed elaborabilità da parte di agenti digitali; assenza di errori, anomalie e rumore; bilanciamento, rappresentatività e assenza di bias; completezza; aggiornamento, assenza di dati obsoleti; validazione da parte dell’azienda o di parti terze titolari.
Se l’output del sistema AI deriva dall’elaborazione statistica di dati, anche la disponibilità di una quantità sufficiente degli stessi è un fattore di qualità (il che rappresenta un problema soprattutto per piccole e medie imprese che potrebbero non avere o non riuscire a produrre volumi sufficienti di dati per ottenere output affidabili).
Prima dell’avvio di ogni progetto basato su tecnologie dell’intelligenza artificiale è opportuno che l’azienda, eventualmente guidata da consulenti esterni, esegua un audit dei dati o contenuti, volto a valutarne qualità, bilanciamento e significatività. Dall’audit scaturiscono la gap analysis, la definizione del percorso da intraprendere per colmare le lacune e la definizione del percorso di miglioramento continuo, per esempio sulla base del monitoraggio delle prestazioni del sistema e dei feedback lasciati attivamente dagli utenti.
Che il compito del sistema sia la generazione di output basati sull’elaborazione statistica di dati o l’interazione con il linguaggio naturale, l’intelligenza artificiale è un fattore di rischio in sé e per sé.
A prescindere dalla correttezza dell’output, se esso non è interpretabile rappresenta un elemento di rischio (rischio della “black box”) da mitigare adottando, se possibile, modelli nativamente più interpretabili e/o ricorrendo a strumenti di explainability come LIME e SHAP.
Come tutte le applicazioni informatiche, anche quelle basate sulle tecnologie dell’intelligenza artificiale possono contenere errori la cui portata rischia di essere amplificata dal grado di autonomia più elevato e dalla natura autoevolutiva dei sistemi. Basti pensare alle conseguenze potenziali di falsi negativi, cioè della mancata segnalazione di situazioni rischiose.
Per decisioni e azioni che, in caso di errore, possono causare danni gravi a persone o cose, è consigliabile incorporare nel sistema AI il cosiddetto fallback umano: l’attuazione di quanto suggerito dall’intelligenza artificiale avviene solo previa validazione attiva da parte di una persona esperta.
Le intelligenze artificiali sono sistemi delicati, la cui efficienza è messa a rischio dalla mancanza di procedure di monitoraggio, aggiornamento e miglioramento continui, dei dati o contenuti, dei modelli e delle applicazioni. Vanno quindi predisposte procedure organizzative e fattuali per accompagnare nel tempo l’evoluzione dei sistemi AI.
Gli assistenti virtuali per supporto tecnico portano con sé rischi peculiari: incomprensioni linguistiche da parte del LLM (Large Language Model) della domanda dell’utente o dei contenuti della knowledge base; risposte imprecise, non accurate, incomplete o addirittura frutto di allucinazioni; errori nella traduzione automatica, in particolare di termini tecnici o facenti parte del gergo aziendale.
La strategia di mitigazione dei rischi connessi agli assistenti virtuali industriali è composita. Redigere i contenuti adottando linguaggi controllati/semplificati, gestire glossari terminologici e tradurre a priori i contenuti nelle lingue più diffuse presso gli interlocutori dell’azienda riducono a monte il rischio di incomprensioni ed errori di traduzione.
Oltre all’informazione trasparente sul fatto che si sta interagendo con un’intelligenza artificiale (prevista dall’AI Act), sul lato applicativo possono essere utili per esempio prompt preconfezionati e filtri che guidano l’interazione dell’utente; la marcatura esplicita di contenuti generati e tradotti dalla AI (per distinguerli da quelli redatti, tradotti e validati dall’azienda); il supporto di un sistema di confidence score (per esempio un semaforo che esprime l’indice di affidabilità della risposta); l’apposizione di avvisi dinamici a risposte su topic che, in caso di errore, possono causare danni a persone o cose (per esempio richiedendo l’intervento di una persona esperta per la validazione della risposta).
Un importante contributo alla mitigazione del rischio di risposte imprecise, inaccurate o frutto di allucinazioni è l’approccio RAG (Retrival Augmented Generation) allo sviluppo di assistenti virtuali per il supporto tecnico. Questo approccio, seguito per esempio da Socrate di E-Plato, integrabile con la documentazione tecnica gestita mediante Argo CCMS di KEA e altre fonti dati, focalizza l’assistente virtuale industriale sulla knowledge base integrata dell’azienda e inoltre cita in modo puntuale e diretto le fonti originali rilevanti ai fini della risposta, consentendo alla persona di fare verifiche con un solo clic.
Nel complesso si tratta di misure che stimolano la consapevolezza critica degli utenti, agevolano la verifica delle fonti e costruiscono via via fiducia nei confronti del funzionamento dell’assistente virtuale AI.
Quando interagiscono con sistemi AI industriali, le persone stesse sono un fattore di rischio. Nel caso di macchinari industriali, componenti e dispositivi gli utenti sono generalmente collaboratori dell’azienda, mentre nel caso di assistenti virtuali per il supporto tecnico possono essere anche lead, personale appartenente ad aziende clienti oppure a parti terze autorizzate.
Fra i rischi che Claudio Delaini ben puntualizza per operatori e tecnici dell’azienda vi sono: il cosiddetto automation bias, la fiducia acritica negli output del sistema AI, che porta a una perdita di controllo da parte delle persone; il voler piegare il sistema di intelligenza artificiale verso usi non previsti e impropri; lo stress da tecnologia; le resistenze all’uso di sistemi AI, percepiti come inutili o minacciosi, e oggetto di boicottaggi nascosti, errori volontari, mancata collaborazione.
Come per tutte le applicazioni informatiche sviluppate a progetto, anche per quelle basate sulle tecnologie dell’intelligenza artificiale è opportuno coinvolgere i destinatari nella progettazione, nel test e nella validazione del sistema, come giustamente sottolinea Claudio Delaini.
Inoltre, operatori e tecnici dell’azienda vanno formati non solo all’uso efficace e sicuro delle applicazioni AI industriali, ma anche al loro uso critico. L’intelligenza artificiale è fallibile e i suoi output vanno letti con spirito critico, non applicati con cieca fiducia.
Se per i collaboratori dell’azienda la formazione è un aspetto cruciale, previsto dalla normativa, per le parti terze che utilizzano per esempio l’assistente virtuale che l’azienda ha messo a punto per il supporto tecnico è consigliabile approntare – oltre alla segnaletica e agli avvisi contestuali all’applicazione – una guida sintetica che illustra capacità, limiti e rischi del sistema AI.
Inoltre è opportuno predisporre canali di feedback immediato, mediante i quali l’utente può segnalare errori (o presunti tali) e/o richiedere l’intervento di una persona esperta. Insieme al monitoraggio automatico delle interazioni, al rilevamento delle domande senza risposta e di quelle per le quali l’utente ha chiesto l’intervento di un esperto umano, i feedback lasciati attivamente dagli utenti sono uno strumento prezioso sia per tenere sotto controllo il funzionamento dell’applicazione, sia per migliorare in modo continuo dati e contenuti (per esempio integrando la knowledge base con contenuti a domande senza risposta).
Blocchi operativi e produttivi, accesso non autorizzati, furti, manipolazione dei dati, ecc. Dal punto di vista della sicurezza informatica l’AI industriale rappresenta un rischio reso più acuto dal fatto che le sue applicazioni sono tendenzialmente mission critical e che non di rado i dati sono inviati su piattaforme gestite in cloud da parti terze – visto che la gestione in azienda delle infrastrutture abilitanti è possibile, ma ancora complessa e costosa, e quindi appannaggio soprattutto di aziende medio-grandi.
L’attenzione costante alla cybersicurezza, la predisposizione di sistemi di monitoraggio e alert, l’aggiornamento dei sistemi e, non da ultimo, la formazione di tutto il personale dell’azienda sono temi importanti per i responsabili IT.
Claudio Delaini sottolinea che, a dispetto di quanto si è soliti credere, anche l’AI industriale può trattare dati personali e dati sensibili. Basti pensare a un assistente virtuale fruibile mediante sito/app aziendale che chiede alle persone di registrarsi per tagliare le risposte su sul profilo e sulle autorizzazioni degli utenti oppure ai DPI smart che registrano un insieme di parametri vitali del lavoratore per prevenire infortuni.
I dati vanno gestiti in modo conforme al GDPR, nominando un responsabile esterno del trattamento dei dati nel caso in cui essi siano inviati a server in cloud di una parte terza. Il contratto fra titolare e responsabile esterno vincola quest’ultimo a gestire i dati secondo il regolamento europeo sulla privacy.
Nel caso di un assistente virtuale ospitato su un server AI remoto, e che chiede alle persone di registrarsi, una semplificazione potrebbe essere quella di separare registrazione/autenticazione e profilazione, evitando così di dover nominare un responsabile esterno del trattamento dei dati. Registrazione e autenticazione avvengono su sito/app dell’azienda, che gestisce i dati personali secondo le procedure già in essere. Quando l’utente esegue il login, il server remoto riceve invece solo l’informazione minima necessaria per profilare l’utente, per esempio il ruolo o la categoria operativa, ma nessun dato personale.
L’intelligenza artificiale è un settore in rapidissima evoluzione, per quanto concerne modelli, applicazioni e infrastrutture.
Il rischio dell’obsolescenza è concreto e quindi è opportuno, per quanto possibile, avere un approccio alle intelligenze artificiali aziendali a prova di futuro.
Far crescere le competenze interne relative alle tecnologie dell’intelligenza artificiale e mantenerle al passo con i tempi; preferire tecnologie aperte o più diffuse e quindi tendenzialmente più facili da migrare; progettare sistemi AI modulari e scalabili; aggiornare regolarmente i componenti del sistema; documentare progetti, sviluppi e miglioramenti; stipulare contratti con fornitori esterni che prevedano non solo Service Level Agreement, ma anche clausole relative a piano di uscita e migrazione; monitorare l’evoluzione del quadro legislativo e normativo, sono strategie che mitigano il rischio di obsolescenza.