Unijny AI Act wprowadza nowe obowiązki dla podmiotów udostępniających systemy oparte na generatywnej sztucznej inteligencji (GenAI). Konieczne będzie uzyskanie gwarancji kompatybilności systemów już eksploatowanych z nowym prawem. W obszarach sklasyfikowanych w kategorii wysokiego ryzyka, systemy GenAI jako “żywy organizm” będą musiały być pod stałym nadzorem po wdrożeniu. Spełnienie tych obowiązków wiąże się m.in. z weryfikacją źródeł i odzwierciedleniem całej ścieżki generowania odpowiedzi przez system oraz monitorowanie zachowania modelu i szybkie wykrywanie nieprawidłowości.
Europejski AI Act to pierwsza na świecie ustawa, wprowadzająca zasady wykorzystania sztucznej inteligencji w bezpieczny i przejrzysty sposób, z poszanowaniem podstawowych praw. Nowe regulacje dotyczą przede wszystkim producentów i sposobu projektowania systemów Gen AI, ale również podmiotów udostępniającym te systemy końcowym użytkownikom. Ustawa przewiduje dodatkowe środki bezpieczeństwa w sytuacji, gdy modele GenAI są wykorzystywane w obszarach wysokiego ryzyka, do których zalicza się m.in identyfikacja biometryczna i kategoryzacja osób fizycznych, zarządzanie i eksploatacja infrastruktury krytycznej oraz zarządzanie pracownikami. W obszarach wymienionych przez ustawodawcę podmioty będą zobowiązane do sprawowania nadzoru nad prawidłowym funkcjonowaniem modeli Gen AI. Podmioty wykorzystujące już systemy AI powinny zadbać o aktualizację umów z dostawcami i uzyskać gwarancję kompatybilności z nowym prawem.
AI Act nie zmienia klasyfikacji wyrobu w myśl regulacji urządzeń medycznych MDR/IVDR – to klasyfikacja medyczna determinuje, czy dany system podlega AI Act. W art. 6 pkt 1 AI Act uzupełnia się istniejące zasady, wprowadzając nowe obowiązki stałego nadzoru nad działaniem systemów po wprowadzeniu ich na rynek. W efekcie producenci i użytkownicy urządzeń medycznych z wbudowanym system GenAI stosują oba reżimy równolegle. „Zaufanie naszym zdaniem jest niezwykle ważne, aby umożliwić pożądany rozwój sztucznej inteligencji. Zastosowania AI muszą być godne zaufania, bezpieczne i niedyskryminujące, ale musimy również rozumieć, jak dokładnie te aplikacje będą działać” – mówi Thierry Breton, europejski komisarz ds. rynku wewnętrznego.
Co realnie zmienia EU AI Act
Od 2 sierpnia 2025 r. nowe regulacje wymagają od producentów modeli GenAI zagwarantowania przejrzystości ich działania i bezpieczeństwa zgodnie z kodeksem dobrych praktyk. Dotyczy to również dużych międzynarodowych platform, takich jak Google czy Meta. Modele GenAI są dynamiczne i rozwijają się w czasie – muszą być traktowane bardziej jak „żywy organizm” niż statyczny produkt. Ocena modeli sztucznej inteligencji będzie konieczna zarówno przed dopuszczeniem produktu na rynek, jak i w trakcie udostępniania ich użytkownikom końcowym. W przypadku wykorzystania systemów w obszarze niskiego ryzyka, udostępniający musi spełnić jedynie wymóg informacyjny.
Już za rok – od sierpnia 2026 roku, a częściowo od 2027 roku, ustawodawca zacznie wymagać spełnienia wymogów bezpieczeństwa także przez użytkowników GenAI w obszarze wysokiego ryzyka, również tych będących integralną częścią innych systemów lub urządzeń podlegających regulacjom MDR/IVDR. Tak jak leki są poddane nadzorowi w czasie ich stosowania (pharmacovigilance), tak samo działanie algorytmów GenAI ma być nadzorowane po wdrożeniu. Od podmiotów udostępniających system GenAI użytkownikom końcowym wymaga się prowadzenia szeregu działań w celu zapewnienia prawidłowego funkcjonowania systemów, które można określić mianem zarządzania cyklem życia AI. Chodzi o cykliczne audyty skuteczności, monitoring i rejestrację zdarzeń w czasie rzeczywistym.
Nadzór nad sztuczną inteligencją w medycynie
Podmioty z sektora medycznego, zarówno szpitale jak i firmy farmaceutyczne, powinny już teraz przygotować opowiednie procesy, aby sprostać obowiązkom wynikającym z AI Act. Poza rewizją warunków umów z dostawcami rozwiązań opartych na GenAI, podmioty te powinny rozważyć wprowadzenie AI governance – kompleksowego systemu zarządzania cyklem życia modeli sztucznej inteligencji. Konieczne będzie monitorowanie technicznego śladu odpowiedzi, a w tym weryfikacja źródeł, stworzenie polityki przechowywania i dostępu do danych oraz rejestrowanie działań i interwencji człowieka.
Definiowanie pochodzenia źródeł (source provenance) umożliwia rekonstrukcję całej ścieżki generowania odpowiedzi przez sztuczną inteligencję. AI Act kładzie nacisk na przejrzystość danych, będących podstawą szkoleń i testów systemu oraz na dokumentowanie, z jakich baz i repozytoriów korzysta system. Proweniencja źródeł jest tu kluczowa, aby udowodnić, że przetworzone dane są rzetelne, kompletne i zgodne z prawem (np. z RODO). W praktyce oznacza to, że model nie może być trenowany na niezweryfikowanych danych z nieznanego pochodzenia – trzeba wskazać źródło.
Jeżeli system GenAI korzysta z zewnętrznej bazy danych tzw. RAG (Retrieval-Augmented Generation) generując odpowiedzi, należy zapewnić transparentność procesu. Observability RAG to protokół wyjaśniający, jakie dokumenty zostały pobrane i dlaczego, a jakie zostały odrzucone. Przedstawia też informację, jak system ocenił trafność dokumentów i jak one wpłynęły na końcową odpowiedź. Observability RAG – to techniczna odpowiedź na wymóg monitoringu i sprawowania realnej kontroli nad systemem przez użytkowników.
Wprowadza się “wyjaśnialność agentów”, czyli systemów zdolnych do wykonywania złożonych sekwencji działań autonomicznie, oznacza możliwość wytłumaczenia, dlaczego agent podjął daną decyzję i jakie kroki doprowadziły go do tego wyniku. Czyli lekarz musi być w stanie rozumieć logikę, np. dlaczego AI rekomenduje daną terapię. Ślad decyzyjny może mieć różne formy – od wizualizacji ścieżki rozumowania, przez wskazanie cytowanych źródeł, po symulację alternatywnych scenariuszy decyzyjnych. W celu śledzenia, co model „zapamiętał” i kiedy, ważne jest, aby pamięć systemów AI była audytowalna. Pozwala to zweryfikować, czy np. decyzja medyczna opierała się na autoryzowanym i poprawnym zapisie.
Wprowadza się również “post-market monitoring”, proces znany z farmakologii i wyrobów medycznych jako post-market surveillance. W przypadku AI oznacza monitorowanie zachowania modelu i szybkie wykrywanie nieprawidłowości, np. “uprzedzeń” (bias) wobec określonej grupy pacjentów, spadku jakości predykcji w nowych warunkach czy pojawienia się nieprzewidzianych efektów ubocznych. W praktyce może to obejmować raportowanie przez lekarzy błędnych rekomendacji GenAI, systemy automatycznej walidacji nowych danych wejściowych, regularne audyty jakości predykcji. Instytucja jest zobowiązana przekazać dostawcy dane eksploatacyjne i odchylenia od standardu, a wewnętrznie prowadzić monitoring jakości predykcji i skutków klinicznych.
