Originele tekst zoals voorgesteld door de Commissie

Voorstel voor een

VERORDENING VAN HET EUROPEES PARLEMENT EN DE RAAD

TOT VASTSTELLING VAN GEHARMONISEERDE REGELS BETREFFENDE ARTIFICIËLE INTELLIGENTIE (WET OP DE ARTIFICIËLE INTELLIGENTIE) EN TOT WIJZIGING VAN BEPAALDE WETGEVINGSHANDELINGEN VAN DE UNIE

HET EUROPEES PARLEMENT EN DE RAAD VAN DE EUROPESE UNIE,

Gezien het Verdrag betreffende de werking van de Europese Unie, en met name de artikelen 16 en 114,

Gezien het voorstel van de Europese Commissie,

Na toezending van het ontwerp van wetgevingshandeling aan de nationale parlementen,

Gezien het advies van het Europees Economisch en Sociaal Comité 31 ,

Gezien het advies van het Comité van de Regio’s 32 ,

Handelend volgens de gewone wetgevingsprocedure,

Overwegende hetgeen volgt:

(1) Deze verordening heeft ten doel de werking van de interne markt te verbeteren door een uniform rechtskader vast te stellen, met name voor de ontwikkeling, het in de handel brengen en het gebruik van artificiële intelligentie in overeenstemming met de waarden van de Unie. Deze verordening streeft een aantal dwingende redenen van algemeen belang na, zoals een hoog niveau van bescherming van de gezondheid, de veiligheid en de grondrechten, en zij waarborgt het vrije verkeer van op AI gebaseerde goederen en diensten over de grenzen heen, zodat de lidstaten geen beperkingen kunnen opleggen aan de ontwikkeling, het in de handel brengen en het gebruik van AI-systemen, tenzij dat door deze verordening uitdrukkelijk wordt toegestaan.

(2) Artificiële-intelligentiesystemen (AI-systemen) kunnen makkelijk worden ingezet in meerdere sectoren van de economie en de samenleving, ook grensoverschrijdend, en in de gehele Unie circuleren. Bepaalde lidstaten hebben reeds overwogen om nationale regels vast te stellen om ervoor te zorgen dat artificiële intelligentie veilig is en wordt ontwikkeld en gebruikt met inachtneming van de verplichtingen inzake de grondrechten. Onderling afwijkende nationale regels kunnen leiden tot versnippering van de interne markt en aantasting van de rechtszekerheid voor marktdeelnemers die AI-systemen ontwikkelen of gebruiken. Daarom moet in de hele Unie een consistent en hoog beschermingsniveau worden gewaarborgd, terwijl verschillen die het vrije verkeer van AI-systemen en aanverwante producten en diensten op de interne markt belemmeren, moeten worden voorkomen door uniforme verplichtingen voor marktdeelnemers vast te stellen en op de hele interne markt een eenvormige eerbiediging van dwingende redenen van algemeen belang en van de rechten van personen te waarborgen op basis van artikel 114 van het Verdrag betreffende de werking van de Europese Unie (VWEU). Voor zover deze verordening specifieke regels bevat inzake de bescherming van natuurlijke personen met betrekking tot de verwerking van persoonsgegevens, met beperkingen op het gebruik van AI-systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, is het passend om deze verordening, voor zover het die specifieke regels betreft, te baseren op artikel 16 van het VWEU. In het licht van deze specifieke regels en het gebruik van artikel 16 VWEU is het aangewezen het Europees Comité voor gegevensbescherming te raadplegen.

(3) Artificiële intelligentie is een snel evoluerende verzameling van technologieën die kan bijdragen aan een brede waaier van economische en maatschappelijke voordelen in alle industrieën en sociale activiteiten. Artificiële intelligentie kan bedrijven, dankzij verbeterde voorspellingen, geoptimaliseerde verrichtingen en toewijzing van middelen en gepersonaliseerde digitale oplossingen voor individuen en organisaties een belangrijk concurrentievoordeel opleveren en helpen om gunstige sociale en ecologische resultaten te behalen, bijvoorbeeld in de gezondheidszorg, de landbouw, onderwijs en opleiding, infrastructuurbeheer, energie, vervoer en logistiek, openbare diensten, veiligheid, justitie, efficiënt gebruik van hulpbronnen en energie, en klimaatmitigatie en -adaptatie.

(4) Tegelijkertijd kan artificiële intelligentie, afhankelijk van de omstandigheden waarin ze wordt toegepast en gebruikt, risico’s opleveren en schade toebrengen aan de openbare belangen en rechten die door de Uniewetgeving worden beschermd. Deze schade kan materieel of immaterieel zijn.

(5) Om de ontwikkeling, het gebruik en de introductie van artificiële intelligentie op de interne markt te bevorderen is daarom een rechtskader van de Unie nodig met geharmoniseerde regels inzake artificiële intelligentie, dat tegelijkertijd de openbare belangen in hoge mate beschermt, bijvoorbeeld op het gebied van gezondheid en veiligheid en de bescherming van de grondrechten, zoals die worden erkend en beschermd door de Uniewetgeving. Om dat doel te bereiken, moeten regels worden vastgesteld voor het in de handel brengen en de inbedrijfstelling van bepaalde AI-systemen, zodat de goede werking van de interne markt wordt gewaarborgd en deze systemen kunnen genieten van het beginsel van vrij verkeer van goederen en diensten. Door die regels vast te stellen, steunt deze verordening de doelstelling van de Unie om wereldwijd een voortrekkersrol te spelen bij de ontwikkeling van veilige, betrouwbare en ethische artificiële intelligentie, zoals verklaard door de Europese Raad 33 , en de bescherming van ethische beginselen te waarborgen, zoals specifiek gevraagd door het Europees Parlement 34 .

(6) Het begrip “AI-systeem” moet duidelijk worden gedefinieerd om rechtszekerheid te garanderen en tegelijkertijd de nodige flexibiliteit te bieden om op toekomstige technologische ontwikkelingen te kunnen inspelen. De definitie moet gebaseerd zijn op de belangrijkste functionele kenmerken van de software, met name het vermogen om, voor een bepaalde reeks door de mens gedefinieerde doelstellingen, een output te genereren zoals inhoud, voorspellingen, aanbevelingen of beslissingen die van invloed zijn op de omgeving waarmee het systeem in wisselwerking staat, zowel in een fysieke als een digitale dimensie. AI-systemen kunnen zodanig worden ontworpen dat zij in verschillende mate autonoom kunnen functioneren en als zelfstandig onderdeel of als component van een product kunnen worden gebruikt, ongeacht of het systeem fysiek in het product is geïntegreerd (ingebed) dan wel ten dienste staat van de functionaliteit van het product zonder daarin te zijn geïntegreerd (niet-ingebed). De definitie van AI-systeem moet worden aangevuld met een lijst van specifieke technieken en benaderingen voor de ontwikkeling ervan, die in het licht van de technologische en marktontwikkelingen moet worden bijgewerkt door middel van gedelegeerde handelingen van de Commissie tot wijziging van die lijst.

(7) Het in deze verordening gebruikte begrip biometrische gegevens sluit aan bij en moet worden uitgelegd in overeenstemming met het begrip biometrische gegevens zoals gedefinieerd in artikel 4, lid 14, van Verordening (EU) 2016/679 van het Europees Parlement en de Raad 35 , artikel 3, lid 18, van Verordening (EU) 2018/1725 van het Europees Parlement en de Raad 36 en artikel 3, lid 13, van Richtlijn (EU) 2016/680 van het Europees Parlement en de Raad 37 .

(8) Het in deze verordening gebruikte begrip “biometrisch systeem voor identificatie op afstand” moet functioneel worden gedefinieerd als een AI-systeem dat bedoeld is voor de identificatie van natuurlijke personen op afstand door middel van vergelijking van de biometrische gegevens van een persoon met de biometrische gegevens in een referentiedatabank, zonder dat vooraf bekend is of de betrokken persoon aanwezig zal zijn en kan worden geïdentificeerd, ongeacht de gebruikte specifieke technologie, processen of soorten biometrische gegevens. Gezien hun verschillende kenmerken en de verschillende manieren waarop zij worden gebruikt, alsook de verschillende risico’s die ermee gepaard gaan, moet een onderscheid worden gemaakt tussen biometrische systemen voor identificatie op afstand “in real time” en “achteraf”. In het geval van realtimesystemen gebeurt de registratie van de biometrische gegevens, de vergelijking en de identificatie allemaal ogenblikkelijk, bijna ogenblikkelijk of in ieder geval zonder noemenswaardige vertraging. In dit verband mag er geen ruimte zijn om de regels van deze verordening betreffende het realtimegebruik van de AI-systemen in kwestie te omzeilen door kleine vertragingen toe te staan. Bij realtimesystemen wordt gebruik gemaakt van “live”- of “near live”-materiaal, zoals videobeelden, die worden gegenereerd door een camera of een ander toestel met soortgelijke functionaliteit. In het geval van systemen “achteraf” zijn de biometrische gegevens daarentegen reeds vastgelegd en vinden de vergelijking en de identificatie pas met een aanzienlijke vertraging plaats. Het gaat dan om materiaal, zoals foto’s of videobeelden gegenereerd door camera’s van een gesloten televisiecircuit of privétoestellen, dat vóór het gebruik van het systeem is gegenereerd met betrekking tot de betrokken natuurlijke personen.

(9) Voor de uitvoering van deze verordening wordt verstaan onder “openbare ruimte” elke fysieke plaats die toegankelijk is voor het publiek, ongeacht of de plaats in kwestie particulier of openbaar bezit is. Het begrip heeft derhalve geen betrekking op plaatsen die privé van aard zijn en normaliter niet vrij toegankelijk zijn voor derden, met inbegrip van de rechtshandhavingsautoriteiten, tenzij die partijen specifiek zijn uitgenodigd of gemachtigd, zoals woningen, privéclubs, kantoren, pakhuizen en fabrieken. Onlineruimten vallen evenmin onder de richtlijn, omdat het geen fysieke ruimten zijn. Louter het feit dat er voor de toegang tot een bepaalde ruimte bepaalde voorwaarden kunnen gelden, zoals een toegangsbewijs of leeftijdsbeperking, betekent echter niet dat de ruimte niet voor het publiek toegankelijk is in de zin van deze verordening. Bijgevolg zijn, naast openbare ruimten zoals straten, relevante delen van overheidsgebouwen en de meeste vervoersinfrastructuur, ook ruimten zoals bioscopen, theaters, winkels en winkelcentra normaliter voor het publiek toegankelijk. Of een bepaalde ruimte toegankelijk is voor het publiek moet echter per geval worden bepaald, rekening houdend met de specifieke kenmerken van de situatie in kwestie.

(10) Om een gelijk speelveld en een doeltreffende bescherming van de rechten en vrijheden van personen in heel de Unie te garanderen, moeten de bij deze verordening vastgestelde regels zonder discriminatie van toepassing zijn op aanbieders van AI-systemen, ongeacht of zij in de Unie of in een derde land gevestigd zijn, en op in de Unie gevestigde gebruikers van AI-systemen.

(11) Gezien hun digitale aard moeten bepaalde AI-systemen onder het toepassingsgebied van deze verordening vallen, zelfs wanneer zij niet in de Unie in de handel worden gebracht, in bedrijf worden gesteld of worden gebruikt. Dit is bijvoorbeeld het geval voor een in de Unie gevestigde marktdeelnemer die aan een buiten de Unie gevestigde marktdeelnemer bepaalde diensten uitbesteedt in verband met een activiteit die moet worden verricht door een AI-systeem dat als een AI-systeem met een hoog risico zou kunnen worden aangemerkt en waarvan de gevolgen merkbaar zouden zijn voor in de Unie gevestigde natuurlijke personen. In die omstandigheden zou het AI-systeem dat door de marktdeelnemer buiten de Unie wordt gebruikt, data kunnen verwerken die rechtmatig in de Unie zijn verzameld en vanuit de Unie zijn doorgegeven, en vervolgens de aanbestedende marktdeelnemer in de Unie kunnen voorzien van de output van dat AI-systeem die het resultaat is van die verwerking, zonder dat genoemd AI-systeem in de Unie in de handel wordt gebracht, in bedrijf wordt gesteld of wordt gebruikt. Om te voorkomen dat deze verordening wordt omzeild en om natuurlijke personen die zich in de Unie bevinden doeltreffend te beschermen, moet deze verordening ook van toepassing zijn op aanbieders en gebruikers van AI-systemen die in een derde land zijn gevestigd, voor zover de door die systemen geproduceerde output in de Unie wordt gebruikt. Om rekening te houden met bestaande regelingen en bijzondere behoeften inzake samenwerking met buitenlandse partners waarmee informatie en bewijsmateriaal wordt uitgewisseld, zal deze verordening evenwel niet van toepassing zijn op overheidsinstanties van een derde land en internationale organisaties wanneer zij optreden in het kader van internationale overeenkomsten die op nationaal of Europees niveau zijn gesloten met het oog op de rechtshandhaving en justitiële samenwerking met de Unie of haar lidstaten. Dergelijke overeenkomsten zijn bilateraal gesloten tussen lidstaten en derde landen of tussen de Europese Unie, Europol en andere EU-agentschappen enerzijds en derde landen en internationale organisaties anderzijds.

(12) Deze verordening moet ook van toepassing zijn op instellingen, organen en agentschappen van de Unie wanneer zij optreden als aanbieder of gebruiker van een AI-systeem. AI-systemen die uitsluitend voor militaire doeleinden worden ontwikkeld of gebruikt, moeten van het toepassingsgebied van deze verordening worden uitgesloten wanneer dat gebruik onder de exclusieve bevoegdheid valt van het gemeenschappelijk buitenlands en veiligheidsbeleid, zoals geregeld in titel V van het Verdrag betreffende de Europese Unie (VEU). Deze verordening doet geen afbreuk aan de bepalingen betreffende de aansprakelijkheid van aanbieders die als tussenpersoon optreden, vastgesteld in Richtlijn 2000/31/EG van het Europees Parlement en de Raad [zoals gewijzigd bij de wet inzake digitale diensten].

(13) Teneinde een consistent en hoog niveau van bescherming van de openbare belangen op het gebied van gezondheid, veiligheid en grondrechten te garanderen, moeten gemeenschappelijke normen voor alle AI-systemen met een hoog risico worden vastgesteld. Deze normen moeten in overeenstemming zijn met het Handvest van de grondrechten van de Europese Unie (het Handvest), niet-discriminerend zijn en in overeenstemming zijn met de internationale handelsverbintenissen van de Unie.

(14) Om een evenredige en doeltreffende reeks bindende regels voor AI-systemen in te voeren, moet een duidelijk omschreven, risicogebaseerde aanpak worden gevolgd. Met die aanpak moet de aard en inhoud van dergelijke regels worden afgestemd op de intensiteit en de omvang van de risico’s die AI-systemen met zich mee kunnen brengen. Daarom is het noodzakelijk om bepaalde praktijken op het gebied van artificiële intelligentie te verbieden, eisen voor AI-systemen met een hoog risico en verplichtingen voor de betrokken marktdeelnemers vast te stellen, en transparantieverplichtingen voor bepaalde AI-systemen in te voeren.

(15) Afgezien van de vele nuttige toepassingen van artificiële intelligentie, kan de technologie ook worden misbruikt en nieuwe en krachtige instrumenten voor manipulatie, uitbuiting en sociale controle opleveren. Dergelijke praktijken zijn bijzonder schadelijk en moeten worden verboden omdat zij in strijd zijn met de waarden van de Unie, namelijk eerbied voor de menselijke waardigheid, vrijheid, gelijkheid, democratie en de rechtsstaat, en met de grondrechten van de Unie, waaronder het recht op non-discriminatie, gegevensbescherming en privacy, en de rechten van het kind.

(16) Het in de handel brengen, in bedrijf stellen of gebruiken van bepaalde AI-systemen die bedoeld zijn om het menselijk gedrag te verstoren, waardoor lichamelijke of psychische schade kan ontstaan, moet worden verboden. Dergelijke AI-systemen maken gebruik van subliminale componenten die personen niet kunnen waarnemen, of buiten kwetsbaarheden van kinderen en mensen die een gevolg zijn van hun leeftijd of hun fysieke of mentale onbekwaamheid, uit. Zij doen dit met de bedoeling het gedrag van een persoon wezenlijk te verstoren en op een manier die deze persoon of een andere persoon schade berokkent of dreigt te berokkenen. De intentie mag niet worden verondersteld indien de verstoring van het menselijk gedrag het gevolg is van factoren buiten het AI-systeem waarover de aanbieder of de gebruiker geen controle heeft. Onderzoek voor legitieme doeleinden met betrekking tot dergelijke AI-systemen mag niet door het verbod worden belemmerd, voor zover dat onderzoek niet neerkomt op het gebruik van het AI-systeem in mens-machinerelaties waardoor natuurlijke personen aan schade worden blootgesteld, en indien dat onderzoek wordt verricht met inachtneming van erkende ethische normen voor wetenschappelijk onderzoek.

(17) AI-systemen die door of in naam van overheidsinstanties worden gebruikt om sociale scoring van natuurlijke personen voor algemene doeleinden uit te voeren, kunnen discriminerende resultaten en de uitsluiting van bepaalde groepen tot gevolg hebben. Deze systemen kunnen een schending inhouden van het recht op waardigheid en non-discriminatie en van waarden als gelijkheid en rechtvaardigheid. Dergelijke AI-systemen beoordelen of classificeren de betrouwbaarheid van natuurlijke personen op basis van hun sociale gedrag in meerdere contexten of op basis van bekende of voorspelde persoonlijke of persoonlijkheidskenmerken. De sociale score die dergelijke AI-systemen opleveren, kan leiden tot een nadelige of ongunstige behandeling van natuurlijke personen of hele groepen in sociale contexten die geen verband houden met de context waarin de data oorspronkelijk zijn gegenereerd of verzameld, of tot een nadelige behandeling die onevenredig of ongerechtvaardigd is in verhouding tot de ernst van het sociale gedrag. Dergelijke AI-systemen moeten bijgevolg worden verboden.

(18) Het gebruik van AI-systemen voor biometrische identificatie op afstand in real time van natuurlijke personen in openbare ruimten met het oog op de rechtshandhaving wordt als bijzonder ingrijpend beschouwd voor de rechten en vrijheden van de betrokkenen, in die mate dat het de persoonlijke levenssfeer van een groot deel van de bevolking kan aantasten, een gevoel van voortdurende bewaking kan oproepen en indirect de uitoefening van de vrijheid van vergadering en andere grondrechten kan ontmoedigen. Bovendien houden het directe karakter van de gevolgen en de beperkte mogelijkheden voor verdere controles of correcties met betrekking tot het gebruik van dergelijke realtimesystemen, verhoogde risico’s in voor de rechten en vrijheden van de personen die betrokken zijn bij de rechtshandhavingsactiviteiten.

(19) Het gebruik van dergelijke systemen voor rechtshandhavingsdoeleinden moet derhalve worden verboden, behalve in drie limitatief opgesomde en nauwkeurig omschreven situaties, waarin het gebruik alleen noodzakelijk is om een zwaarwegend algemeen belang te dienen, dat zwaarder weegt dan de risico’s. Die situaties hebben betrekking op de zoektocht naar mogelijke slachtoffers van misdrijven, waaronder vermiste kinderen; bepaalde bedreigingen ten aanzien van het leven of de fysieke veiligheid van natuurlijke personen of van een terroristische aanslag; en de opsporing, lokalisatie, identificatie of vervolging van daders of verdachten van de in Kaderbesluit 2002/584/JBZ van de Raad 38 bedoelde strafbare feiten indien deze in de betrokken lidstaat strafbaar zijn gesteld met een vrijheidsstraf of een tot vrijheidsbeneming strekkende maatregel met een maximumstraf van minstens drie jaar, en indien zij in het recht van die lidstaat zijn omschreven. Een dergelijke drempel voor de vrijheidsstraf of de tot vrijheidsbeneming strekkende maatregel overeenkomstig het nationale recht helpt er op toe te zien dat het strafbare feit ernstig genoeg is om het gebruik van biometrische systemen voor identificatie op afstand in real time te rechtvaardigen. Bovendien zullen sommige van de 32 in Kaderbesluit 2002/584/JBZ van de Raad genoemde strafbare feiten in de praktijk waarschijnlijk relevanter zijn dan andere, aangezien het gebruik van biometrische identificatie op afstand in real time naar verwachting in zeer uiteenlopende mate noodzakelijk en evenredig zal zijn voor de praktische uitvoering van de opsporing, lokalisatie, identificatie of vervolging van een dader of verdachte van de verschillende opgesomde strafbare feiten, gelet op de te verwachten verschillen in ernst, waarschijnlijkheid en omvang van de schade of de mogelijke negatieve gevolgen.

(20) Om ervoor te zorgen dat dergelijke systemen op een verantwoorde en evenredige wijze worden gebruikt, is het ook van belang om vast te stellen dat in elk van die drie limitatief opgesomde en nauwkeurig omschreven situaties bepaalde elementen in aanmerking moeten worden genomen, met name wat betreft de aard van de situatie die aan het verzoek ten grondslag ligt en de gevolgen van het gebruik voor de rechten en vrijheden van alle betrokken personen, alsook de waarborgen en voorwaarden waaraan het gebruik is onderworpen. Voorts moet het gebruik van biometrische systemen voor identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving aan passende beperkingen in tijd en ruimte worden onderworpen, met name gelet op het bewijs of de aanwijzingen met betrekking tot de bedreigingen, de slachtoffers of de dader. De referentiedatabank van personen moet geschikt zijn voor elk gebruik in elk van de drie bovenvermelde situaties.

(21) Voor elk gebruik van een biometrisch systeem voor identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving moet een uitdrukkelijke en specifieke toestemming van een rechterlijke instantie of van een onafhankelijke administratieve autoriteit van een lidstaat vereist zijn. Die toestemming moet in beginsel vóór het gebruik worden verkregen, behalve in naar behoren gemotiveerde spoedeisende gevallen, dat wil zeggen situaties waarin het wegens de noodzaak om de systemen in kwestie te gebruiken, feitelijk en objectief onmogelijk is om vóór het begin van het gebruik een toestemming te verkrijgen. In dergelijke dringende situaties moet het gebruik worden beperkt tot het absoluut noodzakelijke minimum en onderworpen zijn aan passende waarborgen en voorwaarden, zoals bepaald in de nationale wetgeving en vastgesteld in de context van elk individueel dringend gebruik door de rechtshandhavingsautoriteit zelf. Bovendien moet de rechtshandhavingsautoriteit in dergelijke situaties zo spoedig mogelijk een toestemming trachten te verkrijgen, met vermelding van de redenen waarom zij die niet eerder heeft kunnen vragen.

(22) Voorts moet binnen het door deze verordening gestelde limitatieve kader worden vastgelegd dat een dergelijk gebruik op het grondgebied van een lidstaat overeenkomstig deze verordening alleen mogelijk is indien en voor zover de betrokken lidstaat heeft besloten om in zijn specifieke regels van nationaal recht uitdrukkelijk te voorzien in de mogelijkheid om een dergelijk gebruik toe te staan. Bijgevolg staat het de lidstaten uit hoofde van deze verordening vrij in het geheel niet in een dergelijke mogelijkheid te voorzien, dan wel slechts in een dergelijke mogelijkheid te voorzien voor een aantal van de in deze verordening genoemde doelstellingen die het toestaan van een dergelijk gebruik rechtvaardigen.

(23) Het gebruik van AI-systemen voor biometrische identificatie op afstand in real time van natuurlijke personen in openbare ruimten met het oog op de rechtshandhaving brengt noodzakelijkerwijs de verwerking van biometrische gegevens met zich mee. De regels in deze verordening die, behoudens bepaalde uitzonderingen, een dergelijk gebruik verbieden en die gebaseerd zijn op artikel 16 VWEU, moeten als lex specialis gelden ten aanzien van de regels inzake de verwerking van biometrische gegevens in artikel 10 van Richtlijn (EU) 2016/680, waardoor een dergelijk gebruik en de bijbehorende verwerking van biometrische gegevens limitatief worden geregeld. Daarom mag een dergelijk gebruik en een dergelijke verwerking alleen mogelijk zijn voor zover zij verenigbaar zijn met het door deze verordening vastgestelde kader, zonder dat er buiten dat kader ruimte is voor de bevoegde autoriteiten om, wanneer zij optreden met het oog op de rechtshandhaving, dergelijke systemen te gebruiken en dergelijke data in verband daarmee te verwerken om de in artikel 10 van Richtlijn (EU) 2016/680 genoemde redenen. In die context is deze verordening niet bedoeld om de rechtsgrondslag te bieden voor de verwerking van persoonsgegevens op grond van artikel 8 van Richtlijn 2016/680. Het gebruik van biometrische systemen voor identificatie op afstand in real time in openbare ruimten voor andere doeleinden dan rechtshandhaving, ook door bevoegde autoriteiten, mag echter niet worden opgenomen in het specifieke kader voor dergelijk gebruik ten behoeve van de rechtshandhaving dat bij deze verordening wordt vastgesteld. Dergelijk gebruik voor andere doeleinden dan rechtshandhaving is derhalve niet onderworpen aan het vereiste van een toelating uit hoofde van deze verordening en de toepasselijke specifieke regels van nationaal recht die daaraan uitvoering kunnen geven.

(24) Elke verwerking van biometrische gegevens en andere persoonsgegevens in het kader van het gebruik van AI-systemen voor biometrische identificatie, anders dan in verband met het gebruik van biometrische systemen voor identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving zoals geregeld in deze verordening, ook wanneer die systemen in openbare ruimten door bevoegde autoriteiten worden gebruikt voor andere doeleinden dan de rechtshandhaving, moet blijven voldoen aan alle vereisten die voortvloeien uit artikel 9, lid 1, van Verordening (EU) 2016/679, artikel 10, lid 1, van Verordening (EU) 2018/1725 en artikel 10 van Richtlijn (EU) 2016/680, voor zover van toepassing.

(25) Overeenkomstig artikel 6 bis van Protocol nr. 21 betreffende de positie van het Verenigd Koninkrijk en Ierland ten aanzien van de ruimte van vrijheid, veiligheid en recht, dat gehecht is aan het VEU en het VWEU, is Ierland niet gebonden door de in artikel 5, lid 1, punt d), en leden 2 en 3, van deze verordening vastgestelde regels die zijn vastgesteld op basis van artikel 16 VWEU in verband met de verwerking van persoonsgegevens door de lidstaten bij de uitvoering van activiteiten binnen het toepassingsgebied van de hoofdstukken 4 en 5 van titel V van het derde deel VWEU, wanneer Ierland niet gebonden is door de regels betreffende de vormen van justitiële samenwerking in strafzaken of van politiële samenwerking in het kader waarvan de op grond van artikel 16 VWEU vastgestelde bepalingen moeten worden nageleefd.

(26) Overeenkomstig de artikelen 2 en 2 bis van Protocol nr. 22 betreffende de positie van Denemarken, dat gehecht is aan het VEU en het VWEU, zijn de regels in artikel 5, lid 1, punt d), en leden 2 en 3, van deze verordening, die zijn vastgesteld op basis van artikel 16 VWEU, in verband met de verwerking van persoonsgegevens door de lidstaten bij de uitvoering van activiteiten binnen het toepassingsgebied van de hoofdstukken 4 en 5 van titel V van het derde deel van het VWEU niet bindend voor, noch van toepassing in Denemarken.

(27) AI-systemen met een hoog risico mogen alleen in de Unie in de handel worden gebracht of in bedrijf worden gesteld als zij aan bepaalde dwingende eisen voldoen. Die eisen moeten ervoor zorgen dat AI-systemen met een hoog risico die in de Unie beschikbaar zijn of waarvan de output anderszins in de Unie wordt gebruikt, geen onaanvaardbare risico’s inhouden voor belangrijke publieke belangen in de Unie, zoals die door het recht van de Unie worden erkend en beschermd. AI-systemen die als AI-systemen met een hoog risico zijn aangemerkt, moeten worden beperkt tot systemen die aanzienlijke schadelijke gevolgen hebben voor de gezondheid, de veiligheid en de grondrechten van personen in de Unie, en een dergelijke beperking moet eventuele potentiële beperkingen voor de internationale handel minimaliseren.

(28) AI-systemen kunnen nadelige gevolgen hebben voor de gezondheid en de veiligheid van personen, met name wanneer dergelijke systemen functioneren als onderdelen van producten. In overeenstemming met de doelstellingen in de harmonisatiewetgeving van de Unie om het vrije verkeer van producten op de interne markt te vergemakkelijken en ervoor te zorgen dat alleen veilige en anderszins conforme producten hun weg naar de markt vinden, is het belangrijk dat de veiligheidsrisico’s die een product in zijn geheel kan genereren door zijn digitale componenten, waaronder AI-systemen, naar behoren worden voorkomen en beperkt. Zo moeten robots die alsmaar autonomer worden, of het nu in een productieomgeving is of voor persoonlijke hulp en zorg, in staat zijn op een veilige manier te werken en hun taken uit te voeren in complexe omgevingen. Ook in de gezondheidssector, waar het belang voor leven en gezondheid bijzonder hoog is, moeten de steeds geavanceerdere diagnosesystemen en systemen ter ondersteuning van menselijke beslissingen betrouwbaar en nauwkeurig zijn. De omvang van de door het AI-systeem veroorzaakte nadelige gevolgen voor de grondrechten die door het Handvest worden beschermd, is een bijzonder relevante factor voor de indeling van een AI-systeem als een systeem met een hoog risico. Deze rechten omvatten het recht op menselijke waardigheid, de eerbiediging van het privéleven en van het familie- en gezinsleven, de bescherming van persoonsgegevens, de vrijheid van meningsuiting en van informatie, de vrijheid van vergadering en vereniging, en non-discriminatie, consumentenbescherming, de rechten van werknemers, de rechten van personen met een handicap, het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, het recht op verdediging en het vermoeden van onschuld, en het recht op behoorlijk bestuur. Naast deze rechten moeten ook de specifieke rechten van kinderen worden benadrukt, die zijn vastgelegd in artikel 24 van het EU-Handvest van de grondrechten en in het Verdrag van de Verenigde Naties inzake de rechten van het kind (nader uitgewerkt in algemene opmerking nr. 25 van het VN-Comité voor de rechten van het kind met betrekking tot de digitale omgeving), waarbij telkens wordt geëist dat rekening wordt gehouden met de kwetsbaarheid van kinderen en dat zij de bescherming en zorg krijgen die nodig zijn voor hun welbevinden. Het grondrecht betreffende een hoog niveau van milieubescherming, dat in het Handvest is verankerd en in het beleid van de Unie wordt uitgevoerd, moet ook in aanmerking worden genomen bij de beoordeling van de ernst van de schade die een AI-systeem kan veroorzaken, ook met betrekking tot de gezondheid en de veiligheid van personen.

(29) Wat betreft AI-systemen met een hoog risico die veiligheidscomponenten zijn van producten of systemen, of die zelf producten of systemen zijn die onder het toepassingsgebied vallen van Verordening (EG) nr. 300/2008 van het Europees Parlement en de Raad 39 , Verordening (EU) nr. 167/2013 van het Europees Parlement en de Raad 40 , Verordening (EU) nr. 168/2013 van het Europees Parlement en de Raad 41 , Richtlijn 2014/90/EU van het Europees Parlement en de Raad 42 , Richtlijn (EU) 2016/797 van het Europees Parlement en de Raad 43 , Verordening (EU) 2018/858 van het Europees Parlement en de Raad 44 , Verordening (EU) 2018/1139 van het Europees Parlement en de Raad 45 , en Verordening (EU) 2019/2144 van het Europees Parlement en de Raad 46 , moeten die handelingen worden gewijzigd zodat de Commissie, op basis van de technische en regelgevingskenmerken van elke sector en zonder in te grijpen in de bestaande governance-, conformiteitsbeoordelings- en handhavingsmechanismen en de daarin ingestelde autoriteiten, rekening kan houden met de in deze verordening vastgestelde dwingende voorschriften voor AI-systemen met een hoog risico wanneer zij op basis van die handelingen relevante toekomstige gedelegeerde of uitvoeringshandelingen vaststelt.

(30) Wat AI-systemen betreft die veiligheidscomponenten van producten zijn, of die zelf producten zijn, en die onder het toepassingsgebied van bepaalde harmonisatiewetgeving van de Unie vallen, is het passend ze in het kader van deze verordening als AI-systemen met een hoog risico in te delen indien het product in kwestie de conformiteitsbeoordelingsprocedure ondergaat bij een derde conformiteitsbeoordelingsinstantie overeenkomstig die relevante harmonisatiewetgeving van de Unie. Het gaat met name om machines, speelgoed, liften, uitrusting en beveiligingssystemen bestemd voor gebruik op plaatsen waar ontploffingsgevaar kan heersen, radioapparatuur, drukapparatuur, pleziervaartuigen, kabelbaaninstallaties, gastoestellen, medische hulpmiddelen en medische hulpmiddelen voor in-vitrodiagnostiek.

(31) De indeling van een AI-systeem als een AI-systeem met een hoog risico overeenkomstig deze verordening hoeft niet te betekenen dat het product waarvan het AI-systeem de veiligheidscomponent is, of het AI-systeem zelf als product, als “een systeem met een hoog risico” wordt beschouwd volgens de criteria die zijn vastgesteld in de relevante harmonisatiewetgeving van de Unie die op het product van toepassing is. Dit is met name het geval voor Verordening (EU) 2017/745 van het Europees Parlement en de Raad 47 en Verordening (EU) 2017/746 van het Europees Parlement en de Raad 48 , waarin in een conformiteitsbeoordeling door een derde partij is voorzien voor producten met een gemiddeld risico en producten met een hoog risico.

(32) Autonome AI-systemen, d.w.z. andere AI-systemen met een hoog risico dan die welke veiligheidscomponenten van producten zijn of die zelf producten zijn, moeten als AI-systemen met een hoog risico worden aangemerkt indien zij, gelet op het beoogde doel, een hoog risico inhouden op schade aan de gezondheid en de veiligheid of aan de grondrechten van personen, rekening houdend met zowel de ernst van de mogelijke schade als de waarschijnlijkheid dat deze zich voordoet, en indien zij worden gebruikt op een aantal in de verordening beschreven, specifieke en vooraf bepaalde gebieden. Dergelijk systemen worden geïdentificeerd op basis van dezelfde methode en criteria die ook voor eventuele toekomstige wijzigingen van de lijst van AI-systemen met een hoog risico worden gehanteerd.

(33) Technische onnauwkeurigheden van AI-systemen voor de biometrische identificatie op afstand van natuurlijke personen kunnen tot vertekende resultaten leiden en discriminerende effecten met zich meebrengen. Dit is met name relevant wanneer het gaat om leeftijd, etniciteit, geslacht of handicaps. Daarom moeten biometrische systemen voor identificatie op afstand “in realtime” en “achteraf” als systemen met een hoog risico worden aangemerkt. Gezien de risico’s die zij inhouden, moeten voor beide soorten systemen voor biometrische identificatie op afstand specifieke eisen inzake menselijk toezicht en het bijhouden van logbestanden gelden.

(34) Met betrekking tot het beheer en de exploitatie van kritieke infrastructuur is het passend om AI-systemen die moeten worden gebruikt als veiligheidscomponenten in het beheer en de exploitatie van het wegverkeer en de water-, gas-, verwarmings- en elektriciteitsvoorziening als systemen met een hoog risico te classificeren, aangezien het falen of gebrekkig functioneren hiervan een grootschalig risico kan opleveren voor het leven en de gezondheid van personen en normale sociale en economische activiteiten aanzienlijk kan verstoren.

(35) AI-systemen die in het onderwijs of voor beroepsopleidingen worden gebruikt, in het bijzonder voor het verlenen van toegang of het toewijzen van personen aan instellingen voor onderwijs of beroepsopleidingen of voor het evalueren van personen aan de hand van tests of als voorwaarde voor hun onderwijs, moeten als systemen met een hoog risico worden beschouwd, aangezien zij bepalend kunnen zijn voor het onderwijs en de carrière van personen en derhalve voor hun vermogen om in hun levensonderhoud te voorzien. Wanneer dergelijke systemen op ondeugdelijke wijze zijn ontworpen en worden gebruikt, kunnen zij in strijd zijn met het recht op onderwijs en opleiding, alsook met het recht niet te worden gediscrimineerd, en kunnen historische patronen van discriminatie in stand worden gehouden.

(36) AI-systemen die worden gebruikt op het gebied van werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid, met name voor de aanwerving en selectie van personen, voor het nemen van besluiten over de promotie en het ontslag en voor de toewijzing van taken, de monitoring of de evaluatie van personen in werkgerelateerde contractuele betrekkingen, moeten ook als systemen met een hoog risico worden geclassificeerd, aangezien deze systemen aanzienlijke gevolgen kunnen hebben voor de toekomstige carrièrekansen en het levensonderhoud van deze personen. Relevante werkgerelateerde contractuele betrekkingen moeten werknemers en personen omvatten die via platforms diensten verlenen, zoals bedoeld in het werkprogramma van de Commissie voor 2021. Deze personen worden in beginsel niet beschouwd als gebruikers in de zin van deze verordening. Dergelijke systemen kunnen er in het aanwervingsproces en bij de evaluatie, de promotie of het behoud van personen in werkgerelateerde contractuele betrekkingen toe leiden dat historische patronen van discriminatie blijven bestaan, bijvoorbeeld van vrouwen, bepaalde leeftijdsgroepen, personen met een handicap of personen met een bepaalde raciale of etnische afkomst of seksuele gerichtheid. AI-systemen die worden gebruikt om de prestaties en het gedrag van deze personen te monitoren, kunnen ook gevolgen hebben voor hun rechten op gegevensbescherming en privacy.

(37) Een ander gebied waarop het gebruik van AI-systemen bijzondere aandacht verdient, is de toegang tot en het gebruik van bepaalde essentiële particuliere en openbare diensten en uitkeringen die noodzakelijk zijn voor de volledige deelname van personen aan de samenleving of voor het verbeteren van de levensstandaard. In het bijzonder moeten AI-systemen die worden gebruikt om de kredietscore of de kredietwaardigheid van natuurlijke personen te evalueren, worden geclassificeerd als AI-systemen met een hoog risico, aangezien zij bepalend zijn voor de toegang van deze personen tot financiële middelen of essentiële diensten zoals huisvesting, elektriciteit en telecommunicatiediensten. AI-systemen die voor dit doel worden gebruikt, kunnen leiden tot de discriminatie van personen of groepen en historische patronen van discriminatie in stand houden, bijvoorbeeld op basis van raciale of etnische afkomst, handicap, leeftijd of seksuele gerichtheid, of leiden tot nieuwe soorten discriminerende effecten. Gezien de zeer beperkte omvang van de gevolgen en de op de markt beschikbare alternatieven, is het passend om AI-systemen voor de beoordeling van de kredietwaardigheid en kredietscore uit te sluiten wanneer zij door kleine aanbieders voor eigen gebruik in gebruik worden gesteld. Natuurlijke personen die openbare uitkeringen en diensten van overheidsinstanties aanvragen of ontvangen, zijn normaal gesproken afhankelijk van deze uitkeringen en diensten en verkeren in een kwetsbare positie ten opzichte van de verantwoordelijke instanties. Wanneer AI-systemen worden gebruikt om te bepalen of dergelijke uitkeringen en diensten moeten worden geweigerd, beperkt, ingetrokken of teruggevorderd door de instanties, kunnen zij aanzienlijke effecten hebben op het levensonderhoud van personen en in strijd zijn met hun grondrechten, zoals het recht op sociale bescherming, non-discriminatie, menselijke waardigheid of een doeltreffende voorziening in rechte. Deze systemen moeten daarom als systemen met een hoog risico worden geclassificeerd. De verordening mag echter niet leiden tot een belemmering van de ontwikkeling en het gebruik van innovatieve benaderingen bij de overheid, die zou profiteren van een breder gebruik van conforme en veilige AI-systemen, mits deze systemen geen hoog risico met zich meebrengen voor rechtspersonen en natuurlijke personen. Tot slot moeten AI-systemen die worden gebruikt om hulpdiensten uit te sturen of hierbij voorrang te verlenen, ook worden geclassificeerd als systemen met een hoog risico, omdat zij besluiten nemen wanneer het leven en de gezondheid van personen en hun eigendom zich in zeer kritieke situaties bevinden.

(38) Maatregelen van rechtshandhavingsinstanties waarbij bepaalde toepassingen van AI-systemen worden gebruikt, worden gekenmerkt door een aanzienlijke mate van machtsverschillen en kunnen leiden tot de controle, de arrestatie of de vrijheidsberoving van natuurlijke personen, alsook tot andere negatieve effecten voor de grondrechten die door het Handvest worden gewaarborgd. Met name wanneer het AI-systeem niet is getraind met kwalitatief hoogwaardige data, niet voldoet aan toereikende voorschriften wat betreft de nauwkeurigheid of robuustheid ervan of niet goed is ontworpen en getest voordat het in de handel is gebracht of anderszins in gebruik is gesteld, kan het personen op discriminerende wijze of anderszins onjuiste of onrechtvaardige wijze aanduiden. Bovendien kan de uitoefening van belangrijke procedurele grondrechten, zoals het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, evenals de rechten van de verdediging en het vermoeden van onschuld, worden belemmerd, met name wanneer dergelijke AI-systemen onvoldoende transparant, verklaarbaar en gedocumenteerd zijn. Het is daarom passend om een aantal AI-systemen dat bedoeld is voor gebruik in de context van rechtshandhaving, waar nauwkeurigheid, betrouwbaarheid en transparantie bijzonder belangrijk zijn om negatieve effecten te voorkomen, het vertrouwen van het publiek te behouden en de verantwoording en doeltreffende voorziening in rechte te waarborgen, als systemen met een hoog risico te classificeren. Met het oog op de aard van de activiteiten in kwestie en de hieraan gerelateerde risico’s moeten deze AI-systemen met een hoog risico met name AI-systemen omvatten die bedoeld zijn om door rechtshandhavingsinstanties te worden gebruikt voor individuele risicobeoordelingen, leugendetectortests en vergelijkbare instrumenten of om de gemoedstoestand van natuurlijke personen te bepalen, om “deep fakes” op te sporen, om de betrouwbaarheid van bewijs in strafprocedures te evalueren, om het plegen of opnieuw plegen van een daadwerkelijk of potentieel strafbaar feit te voorspellen op basis van de profilering van natuurlijke personen, om persoonlijkheidskenmerken of eerder crimineel gedrag van natuurlijke personen of groepen te beoordelen, voor de profilering in de loop van de opsporing, het onderzoek of de vervolging van strafbare feiten, evenals voor misdaadanalyses met betrekking tot natuurlijke personen. AI-systemen die specifiek bedoeld zijn voor gebruik voor administratieve procedures van belasting- en douaneautoriteiten moeten niet worden aangemerkt als AI-systemen met een hoog risico die worden gebruikt door rechtshandhavingsinstanties met het oog op het voorkomen, opsporen, onderzoeken en vervolgen van strafbare feiten. 

(39) AI-systemen die worden gebruikt op het gebied van migratie, asiel en grensbeheer hebben gevolgen voor personen die vaak in een bijzonder kwetsbare positie verkeren en die afhankelijk zijn van de uitkomst van de acties van de bevoegde overheidsinstanties. De nauwkeurigheid, niet-discriminerende aard en transparantie van de AI-systemen die in deze context worden gebruikt, zijn derhalve van bijzonder belang om de eerbiediging van de grondrechten van de betrokken personen te waarborgen, en met name hun recht op vrij verkeer, non-discriminatie, bescherming van het privéleven en de persoonsgegevens, internationale bescherming en goed bestuur. Het is derhalve passend om AI-systemen als systemen met een hoog risico te classificeren wanneer zij bedoeld zijn om te worden gebruikt door de bevoegde overheidsinstanties die taken op het gebied van migratie, asiel en grensbeheer uitvoeren, zoals leugendetectortests en vergelijkbare instrumenten, of om de gemoedstoestand van natuurlijke personen te bepalen, om bepaalde risico’s te beoordelen die natuurlijke personen vormen die het grondgebied van een lidstaat binnenkomen of een visum- of asielaanvraag indienen, om de echtheid te controleren van de relevante documenten van natuurlijke personen, om bevoegde overheidsinstanties bij te staan die aanvragen voor asiel, visa en verblijfsvergunningen en hieraan gerelateerde klachten behandelen teneinde vast te stellen of de natuurlijke personen die een status aanvragen, hiervoor in aanmerking komen. AI-systemen op het gebied van migratie, asiel en grensbeheer die onder deze verordening vallen, moeten in overeenstemming zijn met de desbetreffende procedurele voorschriften die zijn vastgesteld in Richtlijn 2013/32/EU van het Europees Parlement en de Raad 49 , Verordening (EG) nr. 810/2009 van het Europees Parlement en de Raad 50 en andere relevante wetgeving.

(40) Bepaalde AI-systemen die bedoeld zijn voor de rechtsbedeling en democratische processen moeten als systemen met een hoog risico worden geclassificeerd gezien hun mogelijk aanzienlijke effecten op de democratie, de rechtsstaat, de individuele vrijheden en het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht. Om de risico’s van potentiële vertekeningen, fouten en ondoorzichtigheid aan te pakken, is het met name passend om AI-systemen die bedoeld zijn voor de ondersteuning van gerechtelijke autoriteiten bij het onderzoeken en uitleggen van feiten en het recht en bij het toepassen van het recht op een concrete reeks feiten, als systemen met een hoog risico aan te merken. Een dergelijke aanmerking omvat echter geen AI-systemen die bedoeld zijn voor louter ondersteunende administratieve activiteiten die geen gevolgen hebben voor de daadwerkelijke rechtsbedeling in afzonderlijke zaken, zoals de anonimisering of pseudonimisering van rechterlijke beslissingen, documenten of data, de communicatie tussen personeelsleden, administratieve taken of de toewijzing van middelen.

(41) Het feit dat een AI-systeem uit hoofde van deze verordening als systeem met een hoog risico is geclassificeerd, mag niet aldus worden uitgelegd dat het gebruik van het systeem noodzakelijkerwijs rechtmatig is op grond van andere handelingen van het Unierecht of op grond van intern recht dat verenigbaar is met het Unierecht, zoals met betrekking tot de bescherming van de persoonsgegevens, het gebruik van leugendetectors en vergelijkbare instrumenten of andere systemen voor het bepalen van de gemoedstoestand van natuurlijke personen. Een dergelijk gebruik mag nog steeds uitsluitend plaatsvinden in overeenstemming met de toepasselijke voorschriften die voortvloeien uit het Handvest en de toepasselijke handelingen van secundair Unierecht en intern recht. Deze verordening mag niet aldus worden uitgelegd dat zij voorziet in de rechtsgrondslag voor de verwerking van persoonsgegevens, met inbegrip van bijzondere categorieën persoonsgegevens, waar van toepassing.

(42) Om de risico’s van AI-systemen met een hoog risico die in de Unie in de handel zijn gebracht of op andere wijze in gebruik zijn gesteld voor gebruikers en betrokken personen te beperken, moeten bepaalde verplichte voorschriften van toepassing zijn, rekening houdend met het beoogde doel van het gebruik van het systeem en in overeenstemming met het systeem voor risicobeheer dat door de aanbieder wordt vastgesteld.

(43) Op AI-systemen met een hoog risico moeten voorschriften van toepassing zijn met betrekking tot de kwaliteit van de gebruikte datareeksen, technische documentatie en registratie, transparantie en het verstrekken van informatie aan gebruikers, menselijk toezicht en robuustheid, nauwkeurigheid en cyberbeveiliging. Deze voorschriften zijn noodzakelijk om de risico’s voor de gezondheid, veiligheid en grondrechten waarvan in het licht van het beoogde doel van het systeem sprake is, te verminderen wanneer geen andere maatregelen redelijkerwijs beschikbaar zijn die de handel in mindere mate beperken, zodat ongerechtvaardigde beperkingen van de handel worden voorkomen.

(44) Kwalitatief hoogwaardige data zijn essentieel voor de prestaties van veel AI-systemen, met name wanneer technieken worden gebruikt waarbij modellen worden getraind, om ervoor te zorgen dat AI-systemen met een hoog risico zoals beoogd en veilig werken en geen bron van discriminatie worden die uit hoofde van het Unierecht verboden is. Kwalitatief hoogwaardige datareeksen voor training, validatie en tests vereisen de uitvoering van passende praktijken voor databeheer. datareeksen voor training, validatie en tests moeten voldoende relevant, representatief, foutloos en volledig zijn met het oog op het beoogde doel van het systeem. De datareeksen moeten bovendien de passende statistische kenmerken hebben, waaronder met betrekking tot de personen of groepen personen waarvoor de AI-systemen met een hoog risico moeten worden gebruikt. Ten aanzien van datareeksen voor training, validatie en tests moet, voor zover vereist gezien het beoogde doel hiervan, met name rekening worden gehouden met de kenmerken, eigenschappen of elementen die specifiek zijn voor een bepaalde geografische, gedrags- of functionele omgeving of context waarin het AI-systeem moet worden gebruikt. Om het recht van anderen te beschermen tegen discriminatie die kan voortvloeien uit de vertekening (bias) in AI-systemen, moeten aanbieders ook bijzondere categorieën persoonsgegevens kunnen verwerken wanneer sprake is van een zwaarwegend algemeen belang, teneinde de monitoring, opsporing en correctie van vertekening in verband met AI-systemen met een hoog risico te waarborgen.

(45) Voor de ontwikkeling van AI-systemen met een hoog risico moeten bepaalde actoren, zoals aanbieders, aangemelde instanties en andere relevante entiteiten, zoals digitale-innovatiehubs, faciliteiten voor tests en experimenten en onderzoekers, toegang hebben tot kwalitatief hoogwaardige datareeksen op de gebieden waarop zij activiteiten verrichten die verband houden met deze verordening en hiervan gebruik kunnen maken. Door de Commissie vastgestelde gemeenschappelijke Europese gegevensruimten en de vergemakkelijking van de gegevensuitwisseling tussen ondernemingen en de overheid in het algemeen belang zullen erg belangrijk zijn voor een betrouwbare, toerekenbare en niet-discriminerende toegang tot kwalitatief hoogwaardige data voor het trainen, valideren en testen van AI-systemen. Op het gebied van gezondheid zal de Europese ruimte voor gezondheidsgegevens bijvoorbeeld de niet-discriminerende toegang tot gezondheidsgegevens en de training van algoritmen voor artificiële intelligentie aan de hand van deze datareeksen vergemakkelijken op een wijze die de privacy waarborgt en die veilig, tijdig, transparant en betrouwbaar is, met een passend institutioneel beheer. Relevante bevoegde autoriteiten, waaronder sectorale autoriteiten, die de toegang tot data verlenen of ondersteunen, kunnen ook steun verlenen voor het verstrekken van kwalitatief hoogwaardige data voor het trainen, valideren en testen van AI-systemen.

(46) Informatie over de manier waarop AI-systemen met een hoog risico zijn ontwikkeld en hoe zij gedurende hun levensduur presteren, is essentieel om de overeenstemming met de voorschriften van deze verordening te controleren. Dit vereist de registratie en de beschikbaarheid van technische documentatie die de noodzakelijke data bevat om de overeenstemming van het AI-systeem met de desbetreffende voorschriften te beoordelen. Dergelijke informatie moet de algemene kenmerken, mogelijkheden en beperkingen van het systeem omvatten, evenals algoritmen, data en gebruikte processen voor het trainen, testen en valideren, alsook documentatie met betrekking tot het desbetreffende systeem voor risicobeheer. De technische informatie moet actueel worden gehouden.

(47) Om de ondoorzichtigheid aan te pakken, die ertoe leidt dat bepaalde AI-systemen ondoorgrondelijk of te complex zijn voor natuurlijke personen, moet een bepaalde mate van transparantie vereist zijn voor AI-systemen met een hoog risico. Gebruikers moeten de output van het systeem kunnen interpreteren en dienovereenkomstig kunnen gebruiken. AI-systemen met een hoog risico moeten derhalve vergezeld gaan van relevante documentatie en gebruiksaanwijzingen en beknopte en duidelijke informatie bevatten, waar passend ook met betrekking tot mogelijke risico’s voor de grondrechten en risico’s op discriminatie.

(48) AI-systemen met een hoog risico moeten op zodanige wijze worden ontworpen en ontwikkeld dat natuurlijke personen toezicht kunnen houden op de werking ervan. Met het oog hierop moeten passende maatregelen voor menselijk toezicht worden bepaald door de aanbieder van het systeem voordat dit in de handel wordt gebracht of in gebruik wordt gesteld. Dergelijke maatregelen moeten, waar passend, met name waarborgen dat voor het systeem ingebouwde operationele beperkingen gelden die niet door het systeem zelf kunnen worden omzeild, dat het systeem reageert op de menselijke exploitant en dat de natuurlijke personen aan wie de taak van het menselijke toezicht is toegewezen, beschikken over de noodzakelijke competenties, opleiding en autoriteit om deze taak uit te voeren.

(49) AI-systemen met een hoog risico moeten gedurende hun levenscyclus consistent presteren en een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging behalen in overeenstemming met de algemeen erkende stand van de techniek. De mate van nauwkeurigheid en de maatstaven voor de nauwkeurigheid moeten aan de gebruikers worden meegedeeld.

(50) De technische robuustheid is een essentieel voorschrift voor AI-systemen met een hoog risico. Deze systemen moeten bestand zijn tegen risico’s in verband met de beperkingen van het systeem (bv. fouten, onregelmatigheden, onverwachte situaties) en tegen kwaadwillige acties die de beveiliging van het AI-systeem in gevaar kunnen brengen en kunnen leiden tot schadelijk of anderszins ongewenst gedrag. Wanneer niet tegen deze risico’s wordt beschermd, kan dit leiden tot veiligheidseffecten of negatieve gevolgen voor de grondrechten, bijvoorbeeld als gevolg van foutieve beslissingen of een onjuiste of vertekende output die door het AI-systeem wordt gegenereerd.

(51) Cyberbeveiliging is cruciaal om te waarborgen dat AI-systemen bestand zijn tegen pogingen van derden die gebruikmaken van de kwetsbaarheden van het systeem om het gebruik, het gedrag of de prestaties ervan te wijzigen of de veiligheidskenmerken ervan in gevaar te brengen. Bij cyberaanvallen tegen AI-systemen kunnen AI-specifieke activa worden gebruikt, zoals datareeksen voor training (bv. datavervuiling) of getrainde modellen (bv. vijandige aanvallen), of kwetsbaarheden in de digitale activa van het AI-systeem of de onderliggende ICT-infrastructuur worden benut. Om te zorgen voor een niveau van cyberbeveiliging dat aansluit op de risico’s, moeten aanbieders van AI-systemen met een hoog risico derhalve passende maatregelen nemen, waarbij ook op passende wijze rekening wordt gehouden met de onderliggende ICT-infrastructuur.

(52) Als onderdeel van de harmonisatiewetgeving van de Unie moeten regels worden vastgesteld die van toepassing zijn op het in de handel brengen, in gebruik stellen en gebruiken van AI-systemen met een hoog risico die consistent zijn met Verordening (EG) nr. 765/2008 van het Europees Parlement en de Raad tot vaststelling van de eisen inzake accreditatie en markttoezicht betreffende het verhandelen van producten 51 , Besluit nr. 768/2008/EG van het Europees Parlement en de Raad betreffende een gemeenschappelijk kader voor het verhandelen van producten 52 en Verordening (EU) 2019/1020 van het Europees Parlement en de Raad betreffende markttoezicht en conformiteit van producten 53 (hierna het “nieuwe wetgevingskader voor het verhandelen van producten” genoemd).

(53) Het is passend dat een specifieke natuurlijke of rechtspersoon, die als aanbieder wordt aangemerkt, de verantwoordelijkheid neemt voor het in de handel brengen of in gebruik stellen van een AI-systeem met een hoog risico, ongeacht of deze natuurlijke of rechtspersoon de persoon is die het systeem heeft ontworpen of ontwikkeld.

(54) De aanbieder moet een gedegen systeem voor kwaliteitsbeheer vaststellen, zorgen voor het doorlopen van de vereiste conformiteitsbeoordelingsprocedure, de relevante documentatie opstellen en een robuust systeem vaststellen voor monitoring na het in de handel brengen. Overheidsinstanties die AI-systemen met een hoog risico in gebruik stellen voor eigen gebruik mogen de regels voor het systeem voor kwaliteitsbeheer goedkeuren en uitvoeren als onderdeel van het systeem voor kwaliteitsbeheer dat, naargelang het geval, op nationaal of regionaal niveau is goedgekeurd, rekening houdend met de specifieke kenmerken van de sector en de competenties en organisatie van de overheidsinstantie in kwestie.

(55) Wanneer een AI-systeem met een hoog risico dat een veiligheidscomponent is van een product dat valt onder desbetreffende sectorale wetgeving van het nieuwe wetgevingskader niet onafhankelijk van het product in de handel wordt gebracht of in gebruik wordt gesteld, moet de fabrikant van het eindproduct, zoals gedefinieerd in de desbetreffende wetgeving van het nieuwe wetgevingskader, de verplichtingen van de aanbieder naleven, zoals vastgesteld in deze verordening, en er met name voor zorgen dat het AI-systeem dat is opgenomen in het eindproduct in overeenstemming is met de voorschriften van deze verordening.

(56) Om de handhaving van deze verordening mogelijk te maken en te zorgen voor een gelijk speelveld voor exploitanten en rekening houdend met de verschillende vormen waarin digitale producten beschikbaar kunnen worden gemaakt, is het van belang dat onder alle omstandigheden wordt gewaarborgd dat een persoon die in de Unie is gevestigd de autoriteiten alle noodzakelijke informatie kan verstrekken over de conformiteit van een AI-systeem. Voordat zij hun AI-systemen beschikbaar maken in de Unie, wijzen aanbieders die buiten de Unie zijn gevestigd in gevallen waarin geen importeur kan worden vastgesteld derhalve per schriftelijke machtiging een gemachtigde aan die is gevestigd in de Unie.

(57) In lijn met de beginselen van het nieuwe wetgevingskader moeten specifieke verplichtingen voor betrokken marktdeelnemers, zoals importeurs en distributeurs, worden vastgesteld om de rechtszekerheid te waarborgen en de naleving van de regelgeving door deze betrokken marktdeelnemers te vergemakkelijken.

(58) Gezien de aard van AI-systemen en de risico’s voor de veiligheid en de grondrechten die mogelijk gepaard gaan met het gebruik hiervan, onder meer met betrekking tot de noodzaak om een behoorlijke monitoring van de prestaties van een AI-systeem in de praktijk te waarborgen, is het passend om specifieke verantwoordelijkheden voor gebruikers vast te stellen. In het bijzonder moeten gebruikers AI-systemen met een hoog risico gebruiken in overeenstemming met de gebruiksaanwijzingen en moeten, waar passend, bepaalde andere verplichtingen worden vastgesteld met betrekking tot de monitoring van de werking van AI-systemen en met betrekking tot de registratie.

(59) Het is passend om te bepalen dat de gebruiker van het AI-systeem de natuurlijke of rechtspersoon, de overheidsinstantie, het agentschap of een ander orgaan moet zijn die/dat verantwoordelijk is voor het gebruik van het AI-systeem, tenzij het gebruik plaatsvindt in de loop van een persoonlijke, niet-beroepsactiviteit.

(60) Gezien de complexiteit van de waardeketen voor artificiële intelligentie moeten relevante derde partijen, en met name de partijen die zijn betrokken bij de verkoop en de levering van de software, softwarehulpmiddelen en -onderdelen, vooraf getrainde modellen en data, of aanbieders van netwerkdiensten waar passend samenwerken met aanbieders en gebruikers om hun naleving van de verplichtingen uit hoofde van deze verordening mogelijk te maken en met de bevoegde autoriteiten zoals vastgesteld in het kader van deze verordening.

(61) Normalisatie moet een belangrijke rol spelen bij de levering van technische oplossingen aan aanbieders om de naleving van deze verordening te waarborgen. De naleving van geharmoniseerde normen, zoals gedefinieerd in Verordening (EU) nr. 1025/2012 van het Europees Parlement en de Raad 54 , moet een middel zijn voor aanbieders om de overeenstemming met de voorschriften van deze verordening aan te tonen. De Commissie zou echter gemeenschappelijke technische specificaties kunnen vaststellen op gebieden waarop geen geharmoniseerde normen bestaan of waarop deze ontoereikend zijn.

(62) Om te zorgen voor een hoog niveau van betrouwbaarheid van AI-systemen met een hoog risico, moeten deze systemen worden onderworpen aan een conformiteitsbeoordeling voordat zij in de handel worden gebracht of in gebruik worden gesteld.

(63) Teneinde de lasten voor exploitanten tot een minimum te beperken en eventuele mogelijke overlappingen te voorkomen, is het passend dat de overeenstemming van AI-systemen met een hoog risico die verband houden met producten die vallen onder bestaande harmonisatiewetgeving van de Unie volgens de benadering van het nieuwe wetgevingskader met de voorschriften van deze verordening, wordt beoordeeld als onderdeel van de conformiteitsbeoordeling waarin in die wetgeving reeds is voorzien. De toepasselijkheid van de voorschriften van deze verordening mag dus geen gevolgen hebben voor de specifieke logica, methode of algemene structuur van de conformiteitsbeoordeling uit hoofde van de desbetreffende specifieke wetgeving van het nieuwe wetgevingskader. Deze benadering wordt volledig weerspiegeld in de wisselwerking tussen deze verordening en de [machineverordening]. Hoewel de voorschriften van deze verordening ook betrekking hebben op de veiligheidsrisico’s van AI-systemen die de veiligheidsfuncties van machines waarborgen, zullen bepaalde specifieke voorschriften van de [machineverordening] de veilige integratie van het AI-systeem in de volledige machine waarborgen, zodat de veiligheid van de machine in haar geheel niet in gevaar wordt gebracht. In de [machineverordening] wordt dezelfde definitie van AI-systemen toegepast als in deze verordening.

(64) Gezien de uitgebreidere ervaring van personen die professionele certificeringen vóór het in de handel brengen uitvoeren op het gebied van productveiligheid en de andere aard van risico’s die hiermee gepaard gaan, is het passend om, in ieder geval in een eerste fase van de toepassing van deze verordening, het toepassingsgebied van conformiteitsbeoordelingen van derden voor AI-systemen met een hoog risico die geen verband houden met producten te beperken. De conformiteitsbeoordeling van dergelijke systemen moet derhalve als algemene regel door de aanbieder onder eigen verantwoordelijkheid worden uitgevoerd, met als enige uitzondering AI-systemen die bedoeld zijn om te worden gebruikt voor de biometrische identificatie van personen op afstand, ten aanzien waarvan een aangemelde instantie moet worden betrokken bij de conformiteitsbeoordeling, voor zover deze systemen niet verboden zijn.

(65) Met het oog op de uitvoering van een conformiteitsbeoordeling door derden voor AI-systemen die moeten worden gebruikt voor de biometrische identificatie van personen op afstand, moeten de nationale bevoegde autoriteiten aangemelde instanties aanwijzen op grond van deze verordening, mits deze instanties voldoen aan een reeks voorschriften, met name met betrekking tot de onafhankelijkheid, competenties en afwezigheid van belangenconflicten.

(66) In lijn met het algemeen erkende begrip van ingrijpende wijziging van producten die vallen onder de harmonisatiewetgeving van de Unie, is het passend dat voor een AI-systeem een nieuwe conformiteitsbeoordeling wordt uitgevoerd wanneer zich een verandering voordoet die gevolgen kan hebben voor de overeenstemming van het systeem met deze verordening of wanneer het beoogde doel van het systeem verandert. Daarnaast is het ten aanzien van AI-systemen die blijven “leren” nadat zij in de handel worden gebracht of in gebruik worden gesteld (d.w.z. die automatisch aanpassen hoe taken worden uitgevoerd) noodzakelijk om te voorzien in regels die bepalen dat veranderingen met betrekking tot het algoritme en de prestaties ervan die vooraf door de aanbieder zijn bepaald en die op het moment van de conformiteitsbeoordeling zijn beoordeeld, geen ingrijpende wijziging vormen.

(67) Op AI-systemen met een hoog risico moet de CE-markering worden aangebracht om aan te geven dat zij in overeenstemming zijn met deze verordening, zodat zij vrij kunnen bewegen op de interne markt. De lidstaten mogen het in de handel brengen en in gebruik stellen van AI-systemen met een hoog risico die aan de in deze verordening vastgelegde voorschriften voldoen en waarop de CE-markering is aangebracht, niet op ongerechtvaardigde wijze belemmeren.

(68) In bepaalde omstandigheden kan de snelle beschikbaarheid van innovatieve technologieën cruciaal zijn voor de gezondheid en veiligheid van personen en de samenleving in haar geheel. Het is derhalve passend dat de lidstaten om uitzonderlijke redenen in verband met de openbare veiligheid of de bescherming van het leven en de gezondheid van natuurlijke personen en de bescherming van industrieel en commercieel eigendom toestemming kunnen verlenen voor het in de handel brengen of in gebruik stellen van AI-systemen die nog niet aan een conformiteitsbeoordeling zijn onderworpen.

(69) Om de werkzaamheden van de Commissie en de lidstaten op het gebied van artificiële intelligentie te vergemakkelijken en om de transparantie ten opzichte van het publiek te vergroten, moeten aanbieders van AI-systemen met een hoog risico die geen verband houden met producten die onder het toepassingsgebied van de desbetreffende bestaande harmonisatiewetgeving van de Unie vallen, worden verplicht hun AI-systemen met een hoog risico te registreren in een EU-databank, die door de Commissie moet worden vastgesteld en beheerd. De Commissie moet de verwerkingsverantwoordelijke van die databank zijn, in overeenstemming met Verordening (EU) 2018/1725 van het Europees Parlement en de Raad 55 . Teneinde de volledige functionaliteit van de databank te waarborgen, moet de procedure voor het vaststellen van de databank de uitwerking van functionele specificaties door de Commissie en een onafhankelijk auditverslag omvatten.

(70) Bepaalde AI-systemen die bedoeld zijn om met natuurlijke personen te interageren of om inhoud te genereren, kunnen specifieke risico’s op imitatie of bedrog met zich meebrengen, ongeacht of zij al dan niet als systeem met een hoog risico gelden. In bepaalde omstandigheden moeten voor het gebruik van deze systemen daarom specifieke transparantieverplichtingen gelden, zonder dat afbreuk wordt gedaan aan de voorschriften en verplichtingen voor AI-systemen met een hoog risico. Met name moeten natuurlijke personen op de hoogte worden gesteld van het feit dat zij interageren met een AI-systeem, tenzij dit duidelijk blijkt uit de omstandigheden en de context van het gebruik. Natuurlijke personen moeten bovendien worden geïnformeerd wanneer zij worden blootgesteld aan een systeem voor het herkennen van emoties of een systeem voor biometrische categorisering. Dergelijke informatie en kennisgevingen moeten een formaat hebben dat toegankelijk is voor personen met een handicap. Daarnaast moeten gebruikers die een AI-systeem gebruiken om beeld-, audio- of video-inhoud te genereren of te manipuleren die duidelijke overeenkomsten vertoont met bestaande personen, plaatsen of gebeurtenissen en ten onrechte door personen als authentiek zou worden waargenomen, bekendmaken dat de inhoud kunstmatig is gecreëerd of gemanipuleerd door de output van artificiële intelligentie als zodanig aan te merken en de kunstmatige oorsprong ervan bekend te maken.

(71) Artificiële intelligentie is een snel ontwikkelende familie van technologieën die nieuwe vormen van regelgevingstoezicht en een veilige plek voor experimenteren vereist, terwijl tegelijkertijd de verantwoorde innovatie en integratie van passende waarborgen en maatregelen voor risicobeperking worden gewaarborgd. Om te zorgen voor een wettelijk kader dat innovatievriendelijk, toekomstbestendig en bestand tegen verstoringen is, moeten de nationale bevoegde autoriteiten van een of meer lidstaten worden aangemoedigd om testomgevingen voor regelgeving op het gebied van artificiële intelligentie vast te stellen om de ontwikkeling en het testen van innovatieve AI-systemen onder strikt regelgevingstoezicht mogelijk te maken voordat deze systemen in de handel worden gebracht of anderszins in gebruik worden gesteld.

(72) De doelstellingen van testomgevingen voor regelgeving moeten bestaan in de bevordering van AI-innovatie door te zorgen voor een gecontroleerde experiment- en testomgeving in de ontwikkelingsfase en de fase vóór het in de handel brengen met het oog op het waarborgen van de overeenstemming van innovatieve AI-systemen met deze verordening en andere relevante wetgeving van de Unie en de lidstaten; het verbeteren van de rechtszekerheid voor innovatoren en het toezicht van de bevoegde autoriteiten en het begrijpen van de mogelijkheden, opkomende risico’s en de effecten van het gebruik van AI en het versnellen van de toegang tot markten, onder meer door belemmeringen voor kleine en middelgrote ondernemingen (kmo’s) en startende ondernemingen weg te nemen. Teneinde de uniforme uitvoering in de gehele Unie en schaalvoordelen te waarborgen, is het passend om gemeenschappelijke regels vast te stellen voor de uitvoering van testomgevingen voor regelgeving, evenals een kader voor de samenwerking tussen de relevante autoriteiten die betrokken zijn bij het toezicht op de testomgevingen. Deze verordening moet de rechtsgrondslag bieden voor het gebruik van persoonsgegevens die voor andere doeleinden zijn verzameld, met het oog op de ontwikkeling van bepaalde AI-systemen in het openbaar belang in de AI-testomgeving voor regelgeving, in lijn met artikel 6, lid 4, van Verordening (EU) 2016/679 en artikel 6 van Verordening (EU) 2018/1725 en onverminderd artikel 4, lid 2, van Richtlijn (EU) 2016/680, Deelnemers van de testomgeving moeten zorgen voor passende waarborgen en moeten samenwerken met de bevoegde autoriteiten, onder meer door hun richtsnoeren te volgen en snel en in goed vertrouwen te handelen om eventuele grote risico’s voor de veiligheid en de grondrechten te beperken die zich tijdens de ontwikkeling en het experimenteren in de testomgeving kunnen voordoen. Er moet rekening worden gehouden met het gedrag van de deelnemers van de testomgeving wanneer bevoegde autoriteiten besluiten om al dan niet een administratieve geldboete op te leggen op grond van artikel 83, lid 2, van Verordening (EU) 2016/679 en artikel 57 van Richtlijn (EU) 2016/680.

(73) Om de innovatie te bevorderen en beschermen, is het belangrijk dat de belangen van kleine aanbieders en gebruikers van AI-systemen in het bijzonder in aanmerking worden genomen. Hiertoe moeten de lidstaten initiatieven ontwikkelen die gericht zijn op deze exploitanten en die onder meer betrekking hebben op bewustmaking en informatie en communicatie. Bovendien moet rekening worden gehouden met de specifieke belangen en behoeften van kleine aanbieders wanneer aangemelde instanties bijdragen voor de conformiteitsbeoordeling vaststellen. Vertaalkosten in verband met verplichte documentatie en communicatie met autoriteiten kunnen een aanzienlijke kostenpost vormen voor met name kleine aanbieders en andere exploitanten. De lidstaten zouden ervoor kunnen zorgen dat een van de talen die door hen worden vastgesteld en aanvaard voor de documentatie van betrokken aanbieders en voor de communicatie met exploitanten breed wordt begrepen door een zo groot mogelijk aantal grensoverschrijdende gebruikers.

(74) Om de risico’s voor de uitvoering te beperken die voortvloeien uit een gebrek aan kennis en deskundigheid op de markt en om de nakoming door aanbieders en aangemelde organen van hun verplichtingen uit hoofde van deze verordening te vergemakkelijken, zouden het platform voor AI on demand, de Europese digitale-innovatiehubs en de faciliteiten voor tests en experimenteren die door de Commissie en de lidstaten op nationaal of EU-niveau zijn vastgesteld, kunnen bijdragen tot de uitvoering van deze verordening. Binnen hun respectievelijke mandaat en bevoegdheid kunnen zij met name technische en wetenschappelijke steun verlenen aan aanbieders en aangemelde instanties.

(75) Het is passend dat de Commissie voor zover mogelijk de toegang tot faciliteiten voor tests en experimenteren voor instanties, groepen of laboratoria vergemakkelijkt die overeenkomstig relevante harmonisatiewetgeving van de Unie zijn opgericht of erkend en die taken uitvoeren in het kader van de conformiteitsbeoordeling van producten of apparaten die onder die harmonisatiewetgeving van de Unie vallen. Dit is met name het geval voor deskundigenpanels, deskundige laboratoria en referentielaboratoria op het gebied van medische hulpmiddelen overeenkomstig de Verordeningen (EU) 2017/745 en (EU) 2017/746.

(76) Teneinde een soepele, doeltreffende en geharmoniseerde uitvoering van deze verordening mogelijk te maken, moet een Europees Comité voor artificiële intelligentie worden opgericht. Het Comité moet verantwoordelijk zijn voor een aantal adviestaken, met inbegrip van het opstellen van adviezen, aanbevelingen of richtsnoeren over kwesties die verband houden met de uitvoering van deze verordening, waaronder over technische specificaties of bestaande normen met betrekking tot de voorschriften van deze verordening en de adviesverlening aan en ondersteuning van de Commissie ten aanzien van specifieke vragen in verband met artificiële intelligentie.

(77) De lidstaten spelen een belangrijke rol bij de toepassing en handhaving van deze verordening. In dit verband moet elke lidstaat een of meer nationale bevoegde autoriteiten aanwijzen voor het toezicht op de toepassing en uitvoering van deze verordening. Om de efficiëntie van de organisatie aan de kant van de lidstaten te verbeteren en een officieel contactpunt in te stellen voor het publiek en andere wederpartijen op het niveau van de lidstaten en de Unie, moet in elke lidstaat één nationale autoriteit worden aangewezen als nationale toezichthoudende autoriteit.

(78) Om ervoor te zorgen dat aanbieders van AI-systemen met een hoog risico rekening kunnen houden met de ervaring met het gebruik van AI-systemen met een hoog risico voor het verbeteren van hun systemen en het ontwerp- en ontwikkelingsproces of tijdig eventuele mogelijke corrigerende maatregelen kunnen nemen, moeten alle aanbieders beschikken over een systeem voor monitoring na het in de handel brengen. Dit systeem is ook belangrijk om te waarborgen dat de mogelijke risico’s van AI-systemen die blijven “leren” nadat zij in de handel zijn gebracht of in gebruik zijn gesteld, op efficiëntere en tijdigere wijze kunnen worden aangepakt. In dit verband moeten aanbieders ook worden verplicht te zorgen voor een systeem om eventuele ernstige incidenten of eventuele inbreuken op het intern of Unierecht voor de bescherming van de grondrechten die voortvloeien uit het gebruik van hun AI-systemen, te melden bij de relevante autoriteiten.

(79) Teneinde een passende en doeltreffende handhaving te waarborgen van de voorschriften en verplichtingen van deze verordening, die valt onder de harmonisatiewetgeving van de Unie, moet het systeem van markttoezicht en de conformiteit van producten, zoals vastgesteld bij Verordening (EU) 2019/1020, volledig van toepassing zijn. Waar noodzakelijk met het oog op hun taken, moeten nationale overheidsinstanties of -organen die toezicht houden op de toepassing van het Unierecht voor de bescherming van de grondrechten, met inbegrip van instanties voor gelijke behandeling, ook toegang hebben tot eventuele documentatie die op grond van deze verordening wordt opgesteld.

(80) De wetgeving van de Unie inzake financiële diensten omvat regels en voorschriften met betrekking tot interne governance en risicobeheer die van toepassing zijn op gereguleerde financiële instellingen bij het verlenen van deze diensten, ook wanneer zij gebruikmaken van AI-systemen. Om te zorgen voor een coherente toepassing en handhaving van de verplichtingen uit hoofde van deze verordening en de relevante regels en voorschriften van de Uniewetgeving inzake financiële diensten, moeten de autoriteiten die verantwoordelijk zijn voor het toezicht op en de handhaving van de wetgeving inzake financiële diensten, met inbegrip van, waar van toepassing, de Europese Centrale Bank, worden aangewezen als bevoegde autoriteiten met het oog op het toezicht op de uitvoering van deze verordening, waaronder voor markttoezichtactiviteiten, met betrekking tot AI-systemen die worden geleverd of gebruikt door gereguleerde en gecontroleerde financiële instellingen. Teneinde de samenhang tussen deze verordening en de regels die van toepassing zijn op kredietinstellingen die vallen onder Richtlijn 2013/36/EU van het Europees Parlement en de Raad 56 verder te verbeteren, is het ook passend om de procedure voor de conformiteitsbeoordeling en enkele van de procedurele verplichtingen van aanbieders in verband met het risicobeheer, de monitoring na het in de handel brengen en de documentatie op te nemen in de bestaande verplichtingen en procedures in het kader van Richtlijn 2013/36/EU. Om overlappingen te voorkomen, moet ook worden voorzien in beperkte afwijkingen in verband met het systeem voor kwaliteitsbeheer van aanbieders en de monitoringsverplichting voor gebruikers van AI-systemen met een hoog risico voor zover deze van toepassing zijn op kredietinstellingen die vallen onder Richtlijn 2013/36/EU.

(81) De ontwikkeling van andere AI-systemen dan AI-systemen met een hoog risico in overeenstemming met de voorschriften van deze verordening kan leiden tot een groter gebruik van betrouwbare artificiële intelligentie in de Unie. Aanbieders van AI-systemen die geen hoog risico met zich meebrengen, moeten worden aangemoedigd om gedragscodes op te stellen die bedoeld zijn ter bevordering van de vrijwillige toepassing van de verplichte voorschriften die gelden voor AI-systemen met een hoog risico. Aanbieders moeten ook worden aangemoedigd om op vrijwillige basis aanvullende voorschriften toe te passen die bijvoorbeeld betrekking hebben op milieuduurzaamheid, de toegankelijkheid voor personen met een handicap, de deelname van belanghebbenden aan het ontwerp en de ontwikkeling van AI-systemen en de diversiteit van de ontwikkelingsteams. De Commissie kan initiatieven ontwikkelen, ook van sectorale aard, om de technische belemmeringen te helpen beperken die de grensoverschrijdende uitwisseling van data voor AI-ontwikkeling belemmeren, waaronder met betrekking tot infrastructuur voor de toegang tot data en de semantische en technische interoperabiliteit van verschillende soorten data.

(82) Het is belangrijk dat AI-systemen die verband houden met producten en die overeenkomstig deze verordening geen hoog risico met zich meebrengen en derhalve niet hoeven te voldoen aan de voorschriften van deze verordening, desalniettemin veilig zijn wanneer zij in de handel worden gebracht of in gebruik worden gesteld. Met het oog op deze doelstelling zou Richtlijn 2001/95/EG van het Europees Parlement en de Raad 57 als vangnet van toepassing zijn.

(83) Om een betrouwbare en constructieve samenwerking van bevoegde autoriteiten op Unie- en nationaal niveau te waarborgen, moeten alle partijen die betrokken zijn bij de toepassing van deze verordening de vertrouwelijkheid eerbiedigen van informatie en data die zij bij de uitvoering van hun taken verkrijgen.

(84) De lidstaten moeten alle nodige maatregelen treffen opdat de bepalingen van deze verordening worden uitgevoerd, onder meer door te voorzien in doeltreffende, evenredige en afschrikkende sancties bij inbreuken daarop. Voor bepaalde specifieke inbreuken moeten de lidstaten de marges en criteria van deze verordening in aanmerking nemen. De Europese Toezichthouder voor gegevensbescherming moet bevoegd zijn om geldboeten op te leggen aan instellingen, agentschappen en organen van de Unie die vallen onder het toepassingsgebied van deze verordening.

(85) Om ervoor te zorgen dat het regelgevingskader waar nodig kan worden aangepast, moet de Commissie de bevoegdheid krijgen om overeenkomstig artikel 290 VWEU handelingen vast te stellen teneinde wijzigingen aan te brengen in de technieken en benaderingen van bijlage I voor het definiëren van AI-systemen, de in de lijst van bijlage II opgenomen harmonisatiewetgeving van de Unie, de in de lijst van bijlage III opgenomen AI-systemen met een hoog risico, de bepalingen inzake technische documentatie van bijlage IV, de inhoud van de EU-conformiteitsverklaring van bijlage V, de bepalingen inzake de procedures voor de conformiteitsbeoordeling van de bijlagen VI en VII en de bepalingen inzake de vaststelling van de AI-systemen met een hoog risico waarop de procedure voor de conformiteitsbeoordeling op basis van de beoordeling van het systeem voor kwaliteitsbeheer en de beoordeling van de technische documentatie van toepassing moet zijn. Het is van bijzonder belang dat de Commissie bij haar voorbereidende werkzaamheden tot passende raadplegingen overgaat, onder meer op deskundigenniveau, en dat die raadplegingen gebeuren in overeenstemming met de beginselen die zijn vastgelegd in het Interinstitutioneel Akkoord van 13 april 2016 over beter wetgeven 58 . Met name om te zorgen voor gelijke deelname aan de voorbereiding van gedelegeerde handelingen, ontvangen het Europees Parlement en de Raad alle documenten op hetzelfde tijdstip als de deskundigen van de lidstaten, en hebben hun deskundigen systematisch toegang tot de vergaderingen van de deskundigengroepen van de Commissie die zich bezighouden met de voorbereiding van de gedelegeerde handelingen.

(86) Om eenvormige voorwaarden voor de uitvoering van deze verordening te waarborgen, moeten aan de Commissie uitvoeringsbevoegdheden worden toegekend. Die bevoegdheden moeten worden uitgeoefend in overeenstemming met Verordening (EU) nr. 182/2011 van het Europees Parlement en de Raad 59 .

(87) Daar de doelstelling van deze verordening niet voldoende door de lidstaten kan worden verwezenlijkt en vanwege de omvang of de gevolgen van het optreden, beter op het niveau van de Unie kan worden verwezenlijkt, kan de Unie, overeenkomstig het in artikel 5 VEU neergelegde subsidiariteitsbeginsel, maatregelen nemen. Overeenkomstig het in hetzelfde artikel neergelegde evenredigheidsbeginsel gaat deze verordening niet verder dan nodig is om deze doelstelling te verwezenlijken.

(88) Deze verordening moet van toepassing zijn vanaf … [PB — voeg de datum van artikel 85 in]. De infrastructuur in verband met de governance en het systeem voor de conformiteitsbeoordeling moet echter vóór deze datum operationeel zijn; de bepalingen inzake aangemelde instanties en de governancestructuur moeten derhalve van toepassing zijn vanaf … [PB — datum invoegen — drie maanden na de inwerkingtreding van deze verordening]. De lidstaten moeten daarnaast de regels inzake sancties, waaronder administratieve geldboeten, vaststellen en de Commissie hiervan in kennis stellen en ervoor zorgen dat deze uiterlijk op de datum van toepassing van deze verordening naar behoren en op doeltreffende wijze worden uitgevoerd. De bepalingen inzake sancties moeten derhalve van toepassing zijn vanaf [PB — datum invoegen — twaalf maanden na de inwerkingtreding van deze verordening].

(89) Overeenkomstig artikel 42, lid 2, van Verordening (EU) 2018/1725 zijn de Europese Toezichthouder voor gegevensbescherming en het Europees Comité voor gegevensbescherming geraadpleegd, en op […] hebben zij een advies uitgebracht.

HEBBEN DE VOLGENDE VERORDENING VASTGESTELD:

TITEL I: ALGEMENE BEPALINGEN

Artikel 1: Onderwerp

Bij deze verordening worden vastgesteld:

(a) geharmoniseerde regels voor het in de handel brengen, in gebruik stellen en gebruiken van artificiële-intelligentiesystemen (hierna “AI-systemen” genoemd) in de Unie;

(a) verboden op bepaalde praktijken op het gebied van artificiële intelligentie;

(b) specifieke voorschriften voor AI-systemen met een hoog risico en verplichtingen voor de exploitanten van dergelijke systemen;

(c) geharmoniseerde transparantievoorschriften voor AI-systemen die met natuurlijke personen moeten interageren, systemen voor het herkennen van emoties en systemen voor biometrische categorisering, evenals voor AI-systemen die worden gebruikt om beeld-, audio- of video-inhoud te genereren of te manipuleren;

(d) regels inzake markttoezicht en -monitoring.

Artikel 2: Toepassingsgebied

1. Deze verordening is van toepassing op:

(a) aanbieders die AI-systemen in de Unie in de handel brengen of in gebruik stellen, ongeacht of deze aanbieders in de Unie of in een derde land zijn gevestigd;

(b) gebruikers van AI-systemen die zich in de Unie bevinden;

(c) aanbieders en gebruikers van AI-systemen die zich in een derde land bevinden wanneer de output van het systeem in de Unie wordt gebruikt.

2. Op AI-systemen met een hoog risico die veiligheidscomponenten van producten of systemen vormen of die zelf producten of systemen zijn en die vallen onder de volgende handelingen is uitsluitend artikel 84 van deze verordening van toepassing:

(a) Verordening (EG) nr. 300/2008;

(b) Verordening (EU) nr. 167/2013;

(c) Verordening (EU) nr. 168/2013;

(d) Richtlijn 2014/90/EU;

(e) Richtlijn (EU) 2016/797;

(f) Verordening (EU) 2018/858;

(g) Verordening (EU) 2018/1139;

(h) Verordening (EU) 2019/2144.

3. Deze verordening is niet van toepassing op AI-systemen die louter voor militaire doeleinden worden ontwikkeld of gebruikt.

4. Deze verordening is niet van toepassing op overheidsinstanties in derde landen of internationale organisaties die overeenkomstig lid 1 onder het toepassingsgebied van deze verordening vallen wanneer deze instanties of organisaties AI-systemen gebruiken in het kader van internationale overeenkomsten voor samenwerking met de Unie of een of meer lidstaten op het gebied van rechtshandhaving en justitie.

5. Deze verordening laat de toepassing van de bepalingen inzake de aansprakelijkheid van dienstverleners die als tussenpersoon optreden, zoals uiteengezet in hoofdstuk II, afdeling IV, van Richtlijn 2000/31/EG van het Europees Parlement en de Raad 60 [te vervangen door de dienovereenkomstige bepalingen van de wet inzake digitale diensten], onverlet.

Artikel 3: Definities

Voor de toepassing van deze verordening gelden de volgende definities:

(1) “artificiële-intelligentiesysteem” (AI-systeem): software die is ontwikkeld aan de hand van een of meer van de technieken en benaderingen die zijn opgenomen in de lijst van bijlage I en die voor een bepaalde reeks door mensen gedefinieerde doelstellingen output kan genereren, zoals inhoud, voorspellingen, aanbevelingen of beslissingen die van invloed zijn op de omgeving waarmee wordt geïnterageerd;

(2) “aanbieder”: een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem ontwikkelt of beschikt over een AI-systeem dat is ontwikkeld met het oog op het al dan niet tegen betaling in de handel brengen of in gebruik stellen ervan onder de eigen naam of merknaam;

(3) “kleine aanbieder”: een aanbieder die een micro- of kleine onderneming is in de zin van Aanbeveling 2003/361/EG van de Commissie 61 ;

(4) “gebruiker”: een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem onder eigen verantwoordelijkheid gebruikt, tenzij het AI-systeem wordt gebruikt in het kader van een persoonlijke niet-beroepsactiviteit;

(5) “gemachtigde”: een in de Unie gevestigde natuurlijke of rechtspersoon die een schriftelijke machtiging heeft gekregen van een aanbieder van een AI-systeem om namens hem de verplichtingen en procedures van deze verordening respectievelijk na te komen en uit te voeren;

(6) “importeur”: een in de Unie gevestigde natuurlijke of rechtspersoon die een AI-systeem in de handel brengt of in gebruik stelt dat de naam of merknaam van een buiten de Unie gevestigde natuurlijke of rechtspersoon draagt;

(7) “distributeur”: een andere natuurlijke persoon of rechtspersoon in de toeleveringsketen dan de aanbieder of de importeur, die een AI-systeem in de Unie in de handel brengt zonder de eigenschappen hiervan te beïnvloeden;

(8) “exploitant”: de aanbieder, gebruiker, gemachtigde, importeur en distributeur;

(9) “in de handel brengen”: het voor het eerst in de Unie op de markt aanbieden van een AI-systeem;

(10) “op de markt aanbieden”: het in het kader van een handelsactiviteit, al dan niet tegen betaling, verstrekken van een AI-systeem met het oog op distributie of gebruik op de markt van de Unie;

(11) “in gebruik stellen”: de directe levering van een AI-systeem aan de gebruiker voor het eerste gebruik of voor eigen gebruik op de markt van de Unie voor het beoogde doel;

(12) “beoogd doel”: het gebruik waarvoor een AI-systeem door de aanbieder is bedoeld, met inbegrip van de specifieke context en voorwaarden van het gebruik, zoals gespecificeerd in de informatie die door de aanbieder in de gebruiksinstructies, reclame- of verkoopmaterialen en verklaringen, alsook in de technische documentatie is verstrekt;

(13) “redelijkerwijs te voorzien misbruik”: het gebruik van een AI-systeem op een wijze die niet in overeenstemming is met het beoogde doel, maar die kan voortvloeien uit redelijkerwijs te voorzien menselijk gedrag of de redelijkerwijs te voorziene interactie met andere systemen;

(14) “veiligheidscomponent van een product of systeem”: een component van een product of systeem die een veiligheidsfunctie voor dat product of systeem vervult of waarvan het falen of gebrekkig functioneren de gezondheid en veiligheid van personen of eigendom in gevaar brengt;

(15) “gebruiksinstructies”: de door de aanbieder verstrekte informatie om de gebruiker te informeren over met name het beoogde doel en juiste gebruik van een AI-systeem, met inbegrip van de specifieke geografische, functionele of gedragsomgeving waarin het AI-systeem met een hoog risico moet worden gebruikt;

(16) “terugroepen van een AI-systeem”: een maatregel gericht op het retourneren aan de aanbieder van een AI-systeem dat reeds aan gebruikers ter beschikking is gesteld;

(17) “uit de handel nemen van een AI-systeem”: een maatregel gericht op het verhinderen van de distributie, de presentatie en het aanbod van een AI-systeem;

(18) “prestaties van een AI-systeem”: het vermogen van een AI-systeem om het beoogde doel te verwezenlijken;

(19) “aanmeldende autoriteit”: de nationale autoriteit die verantwoordelijk is voor het opzetten en uitvoeren van de noodzakelijke procedures voor de beoordeling, aanwijzing en kennisgeving van de conformiteitsbeoordelingsinstanties en de monitoring hiervan;

(20) “conformiteitsbeoordeling”: het proces van verificatie van de naleving van de voorschriften van titel III, hoofdstuk 2, van deze verordening in verband met een AI-systeem;

(21) “conformiteitsbeoordelingsinstantie”: een instantie die voor derden conformiteitsbeoordelingsactiviteiten verricht, zoals onder meer testen, certificeren en inspecteren;

(22) “aangemelde instantie”: een conformiteitsbeoordelingsinstantie die overeenkomstig deze verordening en andere relevante harmonisatiewetgeving van de Unie is aangewezen;

(23) “ingrijpende wijziging”: een verandering van een AI-systeem nadat dit in de handel is gebracht of in gebruik is gesteld, die gevolgen heeft voor de overeenstemming van het AI-systeem met de voorschriften van titel III, hoofdstuk 2, van deze verordening of die resulteert in een wijziging van het beoogde doel waarvoor het AI-systeem is beoordeeld;

(24) “CE-conformiteitsmarkering” (CE-markering): een markering waarmee een aanbieder aangeeft dat een AI-systeem in overeenstemming is met de voorschriften van titel III, hoofdstuk 2, van deze verordening en andere toepasselijke wetgeving van de Unie tot harmonisatie van de voorwaarden voor het in de handel brengen van producten (hierna “harmonisatiewetgeving van de Unie” genoemd) die in het aanbrengen ervan voorziet;

(25) “monitoring na het in de handel brengen”: alle door aanbieders van AI-systemen verrichte activiteiten voor het proactief verzamelen en evalueren van ervaringen met door hen in de handel gebrachte of in gebruik genomen AI-systemen, teneinde te kunnen vaststellen of er onmiddellijk corrigerende dan wel preventieve maatregelen nodig zijn;

(26) “markttoezichtautoriteit”: de nationale autoriteit die de activiteiten verricht en maatregelen neemt als bedoeld in Verordening (EU) 2019/1020;

(27) “geharmoniseerde norm”: een Europese norm als gedefinieerd in artikel 2, punt 1, c), van Verordening (EU) nr. 1025/2012;

(28) “gemeenschappelijke specificaties”: een document dat geen norm is en dat technische oplossingen bevat om te voldoen aan bepaalde voorschriften en verplichtingen zoals vastgesteld in deze verordening;

(29) “trainingsdata”: data die worden gebruikt voor het trainen van een AI-systeem door de leerbare parameters hiervan aan te passen, met inbegrip van de wegingen van een neuraal netwerk;

(30) “validatiedata”: data die worden gebruikt voor het verrichten van een evaluatie van het getrainde AI-systeem en voor het afstemmen van onder andere de niet-leerbare parameters en het leerproces ervan, om overfitting te voorkomen; de validatiedatareeks kan zowel een afzonderlijke datareeks als een deel van de datareeks voor de training zijn, als vaste of variabele verdeling;

(31) “testdata”: data die worden gebruikt voor het verrichten van een onafhankelijke evaluatie van het getrainde en gevalideerde AI-systeem om de verwachte prestaties van dat systeem te bevestigen voordat het in de handel wordt gebracht of in gebruik wordt gesteld;

(32) “inputdata”: data die in een AI-systeem worden ingevoerd of direct door een AI-systeem worden verkregen en op basis waarvan het systeem een output genereert;

(33) “biometrische gegevens”: persoonsgegevens die het resultaat zijn van een specifieke technische verwerking met betrekking tot de fysieke, fysiologische of gedragsgerelateerde kenmerken van een natuurlijke persoon op grond waarvan eenduidige identificatie van die natuurlijke persoon mogelijk is of wordt bevestigd, zoals gezichtsafbeeldingen of vingerafdrukgegevens;

(34) “systeem voor het herkennen van emoties”: een AI-systeem dat is bedoeld voor het vaststellen of afleiden van emoties of intenties van natuurlijke personen op basis van hun biometrische gegevens;

(35) “systeem voor biometrische categorisering”: een AI-systeem dat is bedoeld voor het indelen van natuurlijke personen in specifieke categorieën, zoals geslacht, leeftijd, haarkleur, oogkleur, tatoeages, etnische afkomst, seksuele gerichtheid of politieke overtuiging, op basis van hun biometrische gegevens;

(36) “biometrisch systeem voor de identificatie op afstand”: een AI-systeem dat is bedoeld voor het identificeren van natuurlijke personen op afstand door middel van de vergelijking van de biometrische gegevens van een persoon met de biometrische gegevens die zijn opgenomen in een referentiedatabank en zonder dat de gebruiker van het AI-systeem vooraf weet of de persoon hierin is opgenomen en kan worden geïdentificeerd;

(37) “biometrisch systeem voor de identificatie op afstand in real time”: een biometrisch systeem voor de identificatie op afstand waarbij het vastleggen van biometrische gegevens, de vergelijking en de identificatie plaatsvinden zonder aanzienlijke vertraging. Dit omvat niet alleen de onmiddellijke identificatie, maar ook beperkte korte vertragingen om omzeiling te voorkomen;

(38) “biometrisch systeem voor de identificatie op afstand achteraf”: een ander biometrisch systeem voor de identificatie op afstand dan een biometrisch systeem voor de identificatie op afstand in real time;

(39) “openbare ruimte”: een fysieke plek die toegankelijk is voor het publiek, ongeacht of bepaalde voorwaarden voor de toegang van toepassing zijn;

(40) “rechtshandhavingsinstantie”:

(a) iedere overheidsinstantie die bevoegd is voor de voorkoming, het onderzoek, de opsporing en de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid; of

(b) ieder ander orgaan dat of iedere andere entiteit die krachtens het recht van de lidstaten is gemachtigd openbaar gezag en openbare bevoegdheden uit te oefenen met het oog op de voorkoming, het onderzoek, de opsporing en de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid;

(41) “rechtshandhaving”: activiteiten die worden verricht door rechtshandhavingsinstanties met het oog op de voorkoming, het onderzoek, de opsporing en de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid;

(42) “nationale toezichthoudende autoriteit”: de instantie waaraan een lidstaat de verantwoordelijkheid toekent voor de uitvoering en toepassing van deze verordening, voor de coördinatie van de activiteiten die aan die lidstaat zijn toevertrouwd, voor het optreden als enkel contactpunt voor de Commissie en voor het vertegenwoordigen van de lidstaat in het Europees Comité voor artificiële intelligentie;

(43) “nationale bevoegde autoriteit”: de nationale toezichthoudende autoriteit, de aanmeldende autoriteit en de markttoezichtautoriteit;

(44) “ernstig incident”: elk incident dat direct of indirect leidt, kan hebben geleid of kan leiden tot:

(a) het overlijden van een persoon of ernstige schade voor de gezondheid van een persoon, eigendom of het milieu;

(b) een ernstige en onomkeerbare verstoring van het beheer en de exploitatie van kritieke infrastructuur.

Artikel 4: Wijzigingen van bijlage I

De Commissie is bevoegd om overeenkomstig artikel 73 gedelegeerde handelingen vast te stellen tot wijziging van de lijst van technieken en benaderingen van bijlage I, teneinde deze lijst bij te werken om rekening te houden met marktontwikkelingen en technologische ontwikkelingen op basis van kenmerken die vergelijkbaar zijn met de daarin opgenomen technieken en benaderingen.

TITEL II: VERBODEN PRAKTIJKEN OP HET GEBIED VAN ARTIFICIËLE INTELLIGENTIE

Artikel 5

1. De volgende praktijken op het gebied van artificiële intelligentie zijn verboden:

(a) het in de handel brengen, in gebruik stellen of gebruiken van een AI-systeem dat subliminale technieken gebruikt waarvan personen zich niet bewust zijn om het gedrag van personen wezenlijk te verstoren op een wijze die ertoe leidt of er waarschijnlijk toe zal leiden dat deze of andere personen fysieke of psychologische schade oplopen;

(b) het in de handel brengen, in gebruik stellen of gebruiken van een AI-systeem dat gebruikmaakt van de kwetsbaarheden van een specifieke groep personen als gevolg van hun leeftijd of fysieke of geestelijke handicap om het gedrag van personen die tot deze groep behoren, wezenlijk te verstoren op een wijze die ertoe leidt of er waarschijnlijk toe zal leiden dat deze of andere personen fysieke of psychologische schade oplopen;

(c) het in de handel brengen, in gebruik stellen of gebruiken van AI-systemen door of namens overheidsinstanties voor de evaluatie of classificatie van de betrouwbaarheid van natuurlijke personen gedurende een bepaalde periode op basis van hun sociale gedrag of bekende of voorspelde persoonlijke of persoonlijkheidskenmerken, waarbij de sociale score een of beide van de volgende gevolgen heeft:

i) de nadelige of ongunstige behandeling van bepaalde natuurlijke personen of volledige groepen personen in een sociale context die geen verband houdt met de context waarin de data oorspronkelijk werden gegenereerd of verzameld;

ii) de nadelige of ongunstige behandeling van bepaalde natuurlijke personen of volledige groepen personen die ongerechtvaardigd of onevenredig met hun sociale gedrag of de ernst hiervan is;

(d) het gebruik van biometrische systemen voor de identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, tenzij en voor zover een dergelijk gebruik strikt noodzakelijk is voor een van de volgende doelstellingen:

i) het gericht zoeken naar specifieke potentiële slachtoffers van misdaad, waaronder vermiste kinderen;

ii) het voorkomen van een specifieke, aanzienlijke en imminente dreiging voor het leven of de fysieke gezondheid van natuurlijke personen of van een terroristische aanslag;

iii) de detectie, opsporing, identificatie of vervolging van een dader of verdachte van een strafbaar feit als bedoeld in artikel 2, lid 2, van Kaderbesluit 2002/584/JBZ van de Raad 62 , dat in de betrokken lidstaat strafbaar is met een vrijheidsstraf of een tot vrijheidsbeneming strekkende maatregel voor een maximumperiode van ten minste drie jaar, zoals bepaald in het recht van die lidstaat.

2. Bij het gebruik van biometrische systemen voor de identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving voor de in lid 1, punt d), genoemde doelstellingen wordt rekening gehouden met het volgende:

(a) de aard van de situatie die aanleiding geeft tot het mogelijke gebruik van het systeem, met inbegrip van de ernst, waarschijnlijkheid en omvang van de schade die zonder het gebruik van het systeem zou worden veroorzaakt;

(b) de gevolgen van het gebruik van het systeem voor de rechten en vrijheden van alle betrokken personen, en met name de ernst, waarschijnlijkheid en omvang van deze gevolgen.

Daarnaast moet het gebruik van biometrische systemen voor de identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving voor de in lid 1, punt d), genoemde doelstellingen in overeenstemming zijn met noodzakelijke en evenredige waarborgen en voorwaarden in verband met het gebruik, en met name ten aanzien van de beperking in de tijd en de geografische en persoonlijke beperkingen.

3. Wat betreft lid 1, punt d), en lid 2, wordt elk afzonderlijk gebruik met het oog op de rechtshandhaving van biometrische systemen voor de identificatie op afstand in real time in openbare ruimten afhankelijk gesteld van een voorafgaande toestemming die wordt verleend door een gerechtelijke autoriteit of een onafhankelijke administratieve autoriteit van de lidstaat waarin het gebruik moet plaatsvinden en die wordt gegeven op verzoek en in overeenstemming met de gedetailleerde regels van het intern recht als bedoeld in lid 4. In een naar behoren gerechtvaardigde situatie van urgentie mag het gebruik van het systeem echter zonder toestemming worden gestart en mag de toestemming tijdens of na het gebruik worden aangevraagd.

De bevoegde gerechtelijke of administratieve autoriteit verleent de toestemming slechts wanneer zij er op basis van objectief bewijs of duidelijke indicaties die aan haar zijn voorgelegd van overtuigd is dat het gebruik van het biometrische systeem voor de identificatie op afstand in real time noodzakelijk is voor en evenredig is aan het bereiken van een van de in lid 1, punt d), gespecificeerde doelstellingen, zoals genoemd in het verzoek. Bij haar beslissing over het verzoek houdt de bevoegde gerechtelijke of administratieve autoriteit rekening met de in lid 2 bedoelde elementen.

4. Een lidstaat kan besluiten om te voorzien in de mogelijkheid om volledig of gedeeltelijk toestemming te verlenen voor het gebruik van biometrische systemen voor de identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving binnen de grenzen en onder de voorwaarden van lid 1, punt d), en de leden 2 en 3. Deze lidstaat stelt in zijn interne recht de noodzakelijke gedetailleerde regels vast voor het verzoek om en de afgifte en het gebruik van, evenals het toezicht in verband met, de in lid 3 bedoelde vergunningen. In deze regels wordt ook gespecificeerd voor welke doelstellingen van lid 1, punt d), en voor welke strafbare feiten als bedoeld in punt iii) daarvan de bevoegde autoriteiten deze systemen mogen gebruiken met het oog op de rechtshandhaving.

TITEL III: AI-SYSTEMEN MET EEN HOOG RISICO

Hoofdstuk 1: CLASSIFICATIE VAN AI-SYSTEMEN ALS AI-SYSTEMEN MET EEN HOOG RISICO

Artikel 6: Classificatieregels voor AI-systemen met een hoog risico

1. Ongeacht of een AI-systeem los van in de punten a) en b) bedoelde producten in de handel wordt gebracht of in gebruik wordt gesteld, wordt een AI-systeem als AI-systeem met een hoog risico beschouwd wanneer aan beide van de volgende voorwaarden is voldaan:

(a) het AI-systeem is bedoeld om te worden gebruikt als veiligheidscomponent van een product of is zelf een product dat valt onder de in bijlage II opgenomen harmonisatiewetgeving van de Unie;

(b) voor het product waarvan het AI-systeem de veiligheidscomponent vormt of voor het AI-systeem als product zelf moet een conformiteitsbeoordeling van een derde partij worden uitgevoerd met het oog op het in de handel brengen of in gebruik stellen van dat product overeenkomstig de in bijlage II opgenomen harmonisatiewetgeving van de Unie.

2. Naast de in lid 1 bedoelde AI-systemen met een hoog risico worden ook AI-systemen zoals bedoeld in bijlage III als AI-systeem met een hoog risico beschouwd.

Artikel 7: Wijzigingen van bijlage III

1. De Commissie is bevoegd om overeenkomstig artikel 73 gedelegeerde handelingen vast te stellen tot bijwerking van bijlage III door hieraan AI-systemen met een hoog risico toe te voegen wanneer aan beide van de volgende voorwaarden is voldaan:

(a) de AI-systemen zijn bedoeld om te worden gebruikt op een van de gebieden als bedoeld in bijlage III, punten 1 tot en met 8;

(b) de AI-systemen vormen een risico op schade voor de gezondheid en veiligheid, of een risico op nadelige effecten op de grondrechten, dat, gezien de ernst en waarschijnlijkheid hiervan, gelijk is aan of groter is dan het risico op schade of nadelige effecten dat wordt gevormd door de AI-systemen met een hoog risico die reeds zijn opgenomen in bijlage III.

2. Bij de beoordeling met het oog op lid 1 van de vraag of een AI-systeem een risico vormt op schade voor de gezondheid en veiligheid of op nadelige effecten op de grondrechten dat gelijk is aan of groter is dan het risico op schade dat wordt gevormd door de AI-systemen met een hoog risico die reeds zijn opgenomen in bijlage III, houdt de Commissie rekening met de volgende criteria:

(a) het beoogde doel van het AI-systeem;

(b) de mate waarin een AI-systeem is gebruikt of waarschijnlijk zal worden gebruikt;

(c) de mate waarin het gebruik van een AI-systeem reeds schade voor de gezondheid en veiligheid of nadelige effecten op de grondrechten heeft veroorzaakt of aanleiding heeft gegeven tot aanzienlijke zorgen in verband met het ontstaan van dergelijke schade of nadelige effecten, zoals aangetoond door verslagen of gedocumenteerde beschuldigingen die zijn ingediend bij de nationale bevoegde autoriteiten;

(d) de potentiële omvang van dergelijke schade of dergelijke nadelige effecten, met name wat betreft de intensiteit ervan en de mogelijkheid dat meerdere personen worden getroffen;

(e) de mate waarin potentieel geschade of nadelig getroffen personen afhankelijk zijn van de aan de hand van een AI-systeem geproduceerde uitkomst, met name omdat het om praktische of juridische redenen niet redelijkerwijs mogelijk is om van deze uitkomst af te zien;

(f) de mate waarin potentieel geschade of nadelig getroffen personen zich in een kwetsbare positie bevinden ten opzichte van de gebruiker van een AI-systeem, met name als gevolg van onevenwichtige machtsverhoudingen, kennis, economische of sociale omstandigheden of leeftijd;

(g) de mate waarin de aan de hand van een AI-systeem geproduceerde uitkomst gemakkelijk omkeerbaar is, waarbij uitkomsten die effecten hebben op de gezondheid of veiligheid van personen niet als gemakkelijk omkeerbaar worden beschouwd;

(h) de mate waarin in bestaande Uniewetgeving is voorzien in:

i) doeltreffende maatregelen om beroep aan te tekenen in verband met de risico’s van een AI-systeem, met uitzondering van vorderingen tot schadevergoeding;

ii) doeltreffende maatregelen om deze risico’s te voorkomen of aanzienlijk te beperken.

Hoofdstuk 2: Voorschriften voor AI-systemen met een hoog risico

Artikel 8: Naleving van de voorschriften

1. AI-systemen met een hoog risico moeten voldoen aan de voorschriften van dit hoofdstuk.

2. Bij het waarborgen van de naleving van deze voorschriften wordt rekening gehouden met het beoogde doel van het AI-systeem met een hoog risico en het systeem voor risicobeheer als bedoeld in artikel 9.

Artikel 9: Systeem voor risicobeheer

1. In verband met AI-systemen met een hoog risico wordt een systeem voor risicobeheer vastgesteld, uitgevoerd, gedocumenteerd en in stand gehouden.

2. Het systeem voor risicobeheer bestaat in een doorlopend iteratief proces tijdens de gehele levensduur van een AI-systeem met een hoog risico, dat periodieke systematische actualisering vereist. Het omvat de volgende stappen:

(a) het vaststellen en analyseren van de bekende en te voorziene risico’s die gepaard gaan met elk AI-systeem met een hoog risico;

(b) het inschatten en evalueren van de risico’s die zich kunnen voordoen wanneer het AI-systeem met een hoog risico wordt gebruikt in overeenstemming met het beoogde doel ervan en in een situatie van redelijkerwijs te voorzien misbruik;

(c) een evaluatie van andere risico’s die zich kunnen voordoen op basis van de analyse van de data die zijn verzameld door het systeem voor monitoring na het in de handel brengen als bedoeld in artikel 61;

(d) het vaststellen van geschikte risicobeheersingsmaatregelen in overeenstemming met de bepalingen van de volgende leden.

3. Ten aanzien van de in lid 2, punt d), bedoelde risicobeheersingsmaatregelen wordt naar behoren rekening gehouden met de effecten en mogelijke wisselwerkingen die voortvloeien uit de gecombineerde toepassing van de in dit hoofdstuk uiteengezette voorschriften. Er wordt rekening gehouden met de algemeen erkende stand van de techniek, onder meer zoals weerspiegeld in de relevante geharmoniseerde normen of gemeenschappelijke specificaties.

4. De in lid 2, punt d), bedoelde risicobeheersingsmaatregelen zijn zodanig dat eventuele restrisico’s in verband met elk gevaar en het totale restrisico van de AI-systemen met een hoog risico aanvaardbaar worden geacht, mits het AI-systeem met een hoog risico wordt gebruikt in overeenstemming met het beoogde doel ervan of in een situatie van redelijkerwijs te voorzien misbruik. De gebruiker wordt op de hoogte gesteld van deze restrisico’s.

Bij het vaststellen van de passendste risicobeheersingsmaatregelen wordt het volgende gewaarborgd:

(a) de risico’s worden zo veel mogelijk uitgesloten of beperkt door middel van een adequaat ontwerp en adequate ontwikkeling;

(b) waar passend worden adequate maatregelen voor beperking en controle genomen in verband met risico’s die niet kunnen worden uitgesloten;

(c) er wordt toereikende informatie verstrekt overeenkomstig artikel 13, met name met betrekking tot de in lid 2, punt b), van dit artikel bedoelde risico’s en er wordt waar passend voorzien in opleidingen voor gebruikers.

Bij het uitsluiten of beperken van de risico’s die verband houden met het gebruik van het AI-systeem met een hoog risico wordt naar behoren aandacht besteed aan de te verwachten technische kennis, ervaring, scholing en opleiding van de gebruiker en de omgeving waarin het systeem dient te worden gebruikt.

5. AI-systemen met een hoog risico worden getest met het oog op het vaststellen van de passendste risicobeheersingsmaatregelen. De tests zorgen ervoor dat AI-systemen met een hoog risico consistent presteren ten aanzien van het beoogde doel ervan en in overeenstemming zijn met de voorschriften van dit hoofdstuk.

6. De testprocedures zijn geschikt om het beoogde doel van het AI-systeem te verwezenlijken en hoeven niet verder te gaan dan wat noodzakelijk is om dat doel te bereiken.

7. Het testen van AI-systemen met een hoog risico vindt, zoals passend, in de loop van het ontwikkelingsproces plaats en in ieder geval voordat het systeem in de handel wordt gebracht of in gebruik wordt gesteld. De tests worden uitgevoerd aan de hand van vooraf vastgestelde standaarden en probabilistische drempels die passend zijn voor het beoogde doel van het AI-systeem met een hoog risico.

8. Bij de uitvoering van het systeem voor risicobeheer als beschreven in de leden 1 tot en met 7 wordt bijzondere aandacht besteed aan de vraag of het waarschijnlijk is dat kinderen toegang zullen hebben tot het AI-systeem met een hoog risico of dat het systeem gevolgen voor hen zal hebben.

9. Voor kredietinstellingen die vallen onder Richtlijn 2013/36/EU zijn de in de leden 1 tot en met 8 beschreven aspecten onderdeel van de risicobeheersingsprocedures die door deze instellingen overeenkomstig artikel 74 van die richtlijn zijn vastgesteld.

Artikel 10: Data en databeheer

1. AI-systemen met een hoog risico die technieken gebruiken die het trainen van modellen met data omvatten, worden ontwikkeld op basis van datareeksen voor training, validatie en tests die voldoen aan de kwaliteitscriteria als bedoeld in de leden 2 tot en met 5.

2. Datareeksen voor training, validatie en tests worden onderworpen aan passende praktijken op het gebied van databeheer. Deze praktijken hebben in het bijzonder betrekking op:

(a) de relevante ontwerpkeuzes;

(b) dataverzameling;

(c) relevante verwerkingsactiviteiten voor datavoorbereiding, zoals annotatie, etikettering, opschoning, verrijking en aggregatie;

(d) het opstellen van relevante aannames, met name met betrekking tot de informatie die de data moeten meten en vertegenwoordigen;

(e) een voorafgaande beoordeling van de beschikbaarheid, kwantiteit en geschiktheid van de datareeksen die nodig zijn;

(f) een beoordeling met het oog op mogelijke vertekeningen;

(g) het identificeren van eventuele mogelijke leemten of tekortkomingen in de data en de manier waarop deze leemten en tekortkomingen kunnen worden aangepakt.

3. Datareeksen voor training, validatie en tests zijn relevant, representatief, foutenvrij en volledig. De datareeksen hebben bovendien de passende statistische kenmerken, onder meer, waar van toepassing, met betrekking tot de personen of groepen personen waarvoor de AI-systemen met een hoog risico moeten worden gebruikt. Deze kenmerken van de datareeksen kunnen op het niveau van de afzonderlijke datareeksen of combinatie daarvan worden verwezenlijkt.

4. Ten aanzien van datareeksen voor training, validatie en tests wordt, voor zover vereist gezien het beoogde doel hiervan, rekening gehouden met de eigenschappen of elementen die specifiek zijn voor een bepaalde geografische, functionele of gedragsomgeving waarin het AI-systeem moet worden gebruikt.

5. Voor zover dit strikt noodzakelijk is om de monitoring, opsporing en correctie van vertekeningen te waarborgen in verband met de AI-systemen met een hoog risico, mogen de aanbieders van dergelijke systemen bijzondere categorieën persoonsgegevens, zoals bedoeld in artikel 9, lid 1, van Verordening (EU) 2016/679, artikel 10 van Richtlijn (EU) 2016/680 en artikel 10, lid 1, van Verordening (EU) 2018/1725, verwerken, mits passende waarborgen worden geboden voor de grondrechten en fundamentele vrijheden van natuurlijke personen, met inbegrip van technische beperkingen voor het hergebruik en het gebruik van ultramoderne beveiligings- en privacybeschermende maatregelen, zoals pseudonimisering of versleuteling wanneer anonimisering aanzienlijke gevolgen kan hebben voor het nagestreefde doel.

6. Voor de ontwikkeling van andere AI-systemen met een hoog risico dan systemen die gebruikmaken van technieken voor de training van modellen zijn passende praktijken voor databeheer van toepassing om ervoor te zorgen dat deze AI-systemen met een hoog risico in overeenstemming zijn met lid 2.

Artikel 11: Technische documentatie

1. De technische documentatie van een AI-systeem met een hoog risico wordt opgesteld voordat dit systeem in de handel wordt gebracht of in gebruikt wordt gesteld, en wordt geactualiseerd.

De technische documentatie wordt op zodanige wijze opgesteld dat wordt aangetoond dat het AI-systeem met een hoog risico in overeenstemming is met de voorschriften van dit hoofdstuk en dat nationale bevoegde autoriteiten en aangemelde instanties over alle noodzakelijke informatie beschikken om de overeenstemming van het AI-systeem met deze voorschriften te kunnen beoordelen. De documentatie omvat ten minste de in bijlage IV uiteengezette elementen.

2. Wanneer een AI-systeem met een hoog risico dat verband houdt met een product dat valt onder de in bijlage II, afdeling A, opgenomen rechtshandelingen in de handel wordt gebracht of in gebruik wordt gesteld, wordt een enkel technisch document opgesteld dat alle informatie bevat zoals uiteengezet in bijlage IV, alsook de informatie die vereist is op grond van die rechtshandelingen.

3. De Commissie is bevoegd om overeenkomstig artikel 73 gedelegeerde handelingen vast te stellen tot wijziging van bijlage IV wanneer dit noodzakelijk is om, in het licht van de technische vooruitgang, te waarborgen dat in de technische documentatie alle noodzakelijke informatie wordt verstrekt om de overeenstemming van het systeem met de voorschriften van dit hoofdstuk te kunnen beoordelen.

Artikel 12: Registratie

1. AI-systemen met een hoog risico worden ontworpen en ontwikkeld met capaciteiten die de automatische registratie van gebeurtenissen (hierna “logs” genoemd) tijdens de werking van het AI-systeem mogelijk maken. Deze loggingcapaciteiten moeten in overeenstemming zijn met erkende normen of gemeenschappelijke specificaties.

2. De loggingcapaciteiten waarborgen een mate van traceerbaarheid van de werking van het AI-systeem tijdens de levensduur ervan die passend is voor het beoogde doel van het systeem.

3. De loggingcapaciteiten maken met name de monitoring van de werking van het AI-systeem met een hoog risico mogelijk met betrekking tot het optreden van situaties die ertoe kunnen leiden dat het AI-systeem een risico vormt in de zin van artikel 65, lid 1, of die leiden tot een ingrijpende wijziging, en vergemakkelijken de monitoring na het in de handel brengen als bedoeld in artikel 61.

4. Voor AI-systemen met een hoog risico als bedoeld in punt 1, a), van bijlage III voorzien de loggingcapaciteiten ten minste in:

(a) de registratie van de duur van elk gebruik van het systeem (begindatum en -tijd en einddatum en -tijd van elk gebruik);

(b) de referentiedatabank aan de hand waarvan de inputdata zijn gecontroleerd door het systeem;

(c) de inputdata ten aanzien waarvan de zoekopdracht een match heeft opgeleverd;

(d) de identificatie van de natuurlijke personen die betrokken zijn bij de verificatie van de resultaten, zoals bedoeld in artikel 14, lid 5.

Artikel 13: Transparantie en informatieverstrekking aan gebruikers

1. AI-systemen met een hoog risico worden op zodanige wijze ontworpen en ontwikkeld dat de werking ervan voldoende transparant is om gebruikers in staat te stellen de output van het systeem te interpreteren en op passende wijze te gebruiken. Een passende soort en mate van transparantie wordt gewaarborgd met het oog op de naleving van de relevante verplichtingen van de gebruiker en de aanbieder zoals uiteengezet in hoofdstuk 3 van deze titel.

2. AI-systemen met een hoog risico gaan vergezeld van gebruiksinstructies in een passend digitaal of ander formaat dat beknopte, volledige, juiste en duidelijke informatie bevat die relevant, toegankelijk en begrijpelijk is voor gebruikers.

3. De in lid 2 bedoelde informatie omvat:

(a) de identiteit en de contactgegevens van de aanbieder en, in voorkomend geval, van zijn gemachtigde;

(b) de kenmerken, capaciteiten en beperkingen van de prestaties van het AI-systeem met een hoog risico, waaronder:

i) het beoogde doel;

ii) de mate van nauwkeurigheid, robuustheid en cyberbeveiliging als bedoeld in artikel 15 waarop het AI-systeem met een hoog risico is getest en gevalideerd en die kan worden verwacht, en eventuele bekende en te voorziene omstandigheden die een effect kunnen hebben op die verwachte mate van nauwkeurigheid, robuustheid en cyberbeveiliging;

iii) eventuele bekende of te voorziene omstandigheden in verband met het gebruik van het AI-systeem met een hoog risico in overeenstemming met het beoogde doel ervan of in een situatie van redelijkerwijs te voorzien misbruik, die kunnen leiden tot risico’s voor de gezondheid en veiligheid of de grondrechten;

iv) de prestaties ervan met betrekking tot de personen of groepen personen voor wie het systeem moet worden gebruikt;

v) waar passend, specificaties voor de inputdata of eventuele andere relevante informatie met betrekking tot de gebruikte datareeksen voor training, validatie en tests, rekening houdend met het beoogde doel van het AI-systeem;

(c) de wijzigingen van het AI-systeem met een hoog risico en de prestaties ervan die vooraf door de aanbieder zijn bepaald op het moment van de eerste conformiteitsbeoordeling, indien van toepassing;

(d) de maatregelen voor menselijk toezicht als bedoeld in artikel 14, met inbegrip van de technische maatregelen die zijn getroffen om de interpretatie van de output van AI-systemen door gebruikers te vergemakkelijken;

(e) de verwachte levensduur van het AI-systeem met een hoog risico en eventuele noodzakelijke maatregelen voor onderhoud en verzorging om de goede werking van dat AI-systeem te waarborgen, ook in verband met software-updates.

Artikel 14: Menselijk toezicht

1. AI-systemen met een hoog risico worden zodanig ontworpen en ontwikkeld, met inbegrip van passende mens-machine-interface-instrumenten, dat hierop tijdens de periode dat het AI-systeem wordt gebruikt, op doeltreffende wijze toezicht kan worden uitgeoefend door natuurlijke personen.

2. Het menselijk toezicht is gericht op het voorkomen of beperken van de risico’s voor de gezondheid, veiligheid of grondrechten die zich kunnen voordoen wanneer een AI-systeem met een hoog risico wordt gebruikt in overeenstemming met het beoogde doel ervan of in een situatie van redelijkerwijs te voorzien misbruik, met name wanneer dergelijke risico’s blijven bestaan ondanks de toepassing van andere voorschriften van dit hoofdstuk.

3. Het menselijk toezicht wordt gewaarborgd door middel van een of alle van de volgende maatregelen:

(a) door de aanbieder bepaald en, waar technisch haalbaar, ingebouwd in het AI-systeem met een hoog risico voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld;

(b) door de aanbieder bepaald voordat het AI-systeem met een hoog risico in de handel wordt gebracht of in gebruik wordt gesteld en die passend zijn om door de gebruiker te worden uitgevoerd.

4. De in lid 3 bedoelde maatregelen stellen de personen die verantwoordelijk zijn voor het menselijk toezicht in staat om het volgende te doen, zoals passend gezien de omstandigheden:

(a) de capaciteiten en beperkingen van het AI-systeem met een hoog risico volledig begrijpen en de werking ervan naar behoren kunnen monitoren, zodat tekenen van onregelmatigheden, storingen en onverwachte prestaties zo snel mogelijk kunnen worden gedetecteerd en aangepakt;

(b) zich bewust blijven van de mogelijke neiging om automatisch of te veel te vertrouwen op de output van een AI-systeem met een hoog risico (de zogenaamde “automation bias”), met name voor AI-systemen met een hoog risico die worden gebruikt om informatie of aanbevelingen te verstrekken voor beslissingen die door natuurlijke personen moeten worden genomen;

(c) de output van het AI-systeem met een hoog risico juist interpreteren, in het bijzonder rekening houdend met de kenmerken van het systeem en de beschikbare instrumenten en methoden voor interpretatie;

(d) in alle specifieke situaties kunnen besluiten om het AI-systeem met een hoog risico niet te gebruiken of de output van het AI-systeem met een hoog risico op andere wijze te negeren, terzijde te schuiven of terug te draaien;

(e) ingrijpen in de werking van het AI-systeem met een hoog risico of het systeem onderbreken door middel van een stopknop of een vergelijkbare procedure.

5. Voor AI-systemen met een hoog risico als bedoeld in bijlage III, punt 1, a), zijn de maatregelen als bedoeld in lid 3 zodanig dat zij waarborgen dat daarnaast door de gebruiker geen maatregelen worden getroffen of beslissingen worden genomen op basis van de identificatie door het systeem, tenzij deze door ten minste twee natuurlijke personen zijn geverifieerd en bevestigd.

Artikel 15: Nauwkeurigheid, robuustheid en cyberbeveiliging

1. AI-systemen met een hoog risico worden op zodanige wijze ontworpen en ontwikkeld dat deze, met het oog op hun beoogde doel, een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging bieden, alsook consistente prestaties gedurende de levensduur met betrekking tot deze aspecten.

2. De niveaus van nauwkeurigheid en de relevante maatstaven voor de nauwkeurigheid van AI-systemen met een hoog risico worden vermeld in de bijbehorende gebruiksaanwijzingen.

3. AI-systemen met een hoog risico zijn bestand tegen fouten en onregelmatigheden die zich binnen het systeem of de omgeving waarin het systeem wordt gebruikt, kunnen voordoen, met name als gevolg van de interactie ervan met natuurlijke personen of andere systemen.

De robuustheid van AI-systemen met een hoog risico kan worden gerealiseerd door middel van technische oplossingen voor redundantie, die plannen voor de back-up of de veiligheid bij defecten kunnen omvatten.

AI-systemen met een hoog risico die blijven leren nadat ze in de handel worden gebracht of in gebruik worden gesteld, worden op zodanige wijze ontwikkeld dat wordt gewaarborgd dat mogelijk vertekende outputs als gevolg van het gebruik van outputs als input voor toekomstige operaties (zogenaamde “terugkoppelingen”) naar behoren worden aangepakt aan de hand van passende beperkende maatregelen.

4. AI-systemen met een hoog risico zijn bestand tegen pogingen van ongeautoriseerde derden om het gebruik of de prestaties ervan te wijzigen door gebruik te maken van de kwetsbaarheden van het systeem.

De technische oplossingen die gericht zijn op het waarborgen van de cyberbeveiliging van AI-systemen sluiten aan op de relevante omstandigheden en risico’s.

De technische oplossingen voor het aanpakken van AI-specifieke kwetsbaarheden omvatten, waar passend, maatregelen voor het voorkomen en beheersen van aanvallen waarmee een poging wordt gedaan tot het manipuleren van de datareeks voor de training (de zogenaamde “datavervuiling”), van input die is gecreëerd om fouten van het model te veroorzaken (zogenaamde “vijandige voorbeelden”) of van tekortkomingen van het model.

Hoofdstuk 3: VERPLICHTINGEN VAN AANBIEDERS EN GEBRUIKERS VAN AI-SYSTEMEN MET EEN HOOG RISICO en andere partijen

Artikel 16: Verplichtingen van aanbieders van AI-systemen met een hoog risico

Aanbieders van AI-systemen met een hoog risico:

(a) zorgen ervoor dat hun AI-systemen met een hoog risico in overeenstemming zijn met de voorschriften van hoofdstuk 2 van deze titel;

(b) beschikken over een systeem voor kwaliteitsbeheer dat in overeenstemming is met artikel 17;

(c) stellen de technische documentatie van het AI-systeem met een hoog risico op;

(d) bewaren de logs die automatisch door hun AI-systemen met een hoog risico zijn gegenereerd, wanneer zij hierover de controle hebben;

(e) zorgen ervoor dat voor het AI-systeem met een hoog risico de relevante conformiteitsbeoordelingsprocedure wordt uitgevoerd voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld;

(f) leven de registratieverplichtingen als bedoeld in artikel 51 na;

(g) nemen de noodzakelijke corrigerende maatregelen wanneer het AI-systeem met een hoog risico niet in overeenstemming is met de voorschriften van hoofdstuk 2 van deze titel;

(h) informeren de nationale bevoegde autoriteiten van de lidstaten waarin zij het AI-systeem beschikbaar hebben gemaakt of in gebruik hebben gesteld en, waar van toepassing, de aangemelde instantie over de non-conformiteit en over eventuele getroffen corrigerende maatregelen;

(i) brengen overeenkomstig artikel 49 de CE-markering aan op hun AI-systemen met een hoog risico om aan te geven dat deze in overeenstemming zijn met deze verordening;

(j) tonen op verzoek van een nationale bevoegde autoriteit de overeenstemming aan van het AI-systeem met een hoog risico met de voorschriften van hoofdstuk 2 van deze titel.

Artikel 17: Systeem voor kwaliteitsbeheer

1. Aanbieders van AI-systemen met een hoog risico voorzien in een systeem voor kwaliteitsbeheer dat de naleving van deze verordening waarborgt. Dit systeem wordt op systematische en ordelijke wijze gedocumenteerd in de vorm van schriftelijk beleidslijnen, procedures en instructies en omvat ten minste de volgende aspecten:

(a) een strategie voor de naleving van de wet- en regelgeving, inclusief de naleving van de conformiteitsbeoordelingsprocedures en de procedures voor het beheer van de wijzigingen van het AI-systeem met een hoog risico;

(b) technieken, procedures en systematische maatregelen die moeten worden toegepast voor het ontwerp, de controle van het ontwerp en de verificatie van het ontwerp van het AI-systeem met een hoog risico;

(c) technieken, procedures en systematische maatregelen die moeten worden toegepast voor de ontwikkeling, de kwaliteitscontrole en de kwaliteitsborging van het AI-systeem met een hoog risico;

(d) procedures voor het inspecteren, testen en valideren die vóór, tijdens en na de ontwikkeling van het AI-systeem met een hoog risico moeten worden uitgevoerd en de regelmaat waarmee zij moeten worden uitgevoerd;

(e) technische specificaties, met inbegrip van normen, die moeten worden toegepast en, wanneer de relevante geharmoniseerde normen niet volledig worden toegepast, de middelen die worden gebruikt om ervoor te zorgen dat het AI-systeem met een hoog risico in overeenstemming is met de voorschriften van hoofdstuk 2 van deze titel;

(f) systemen en procedures voor databeheer, met inbegrip van dataverzameling, -analyse, -etikettering, -opslag, -zuivering, -aggregatie en -behoud en datamining en eventuele andere operaties met betrekking tot de data die worden uitgevoerd voorafgaand aan en met het oog op het in de handel brengen of in gebruik stellen van AI-systemen met een hoog risico;

(g) het systeem voor risicobeheer zoals bedoeld in artikel 9;

(h) het opzetten, toepassen en onderhouden van een systeem voor monitoring na het in de handel brengen, overeenkomstig artikel 61;

(i) procedures in verband met het melden van ernstige incidenten en van gebrekkig functioneren in overeenstemming met artikel 62;

(j) de communicatie met nationale bevoegde autoriteiten, bevoegde autoriteiten, met inbegrip van sectorale autoriteiten, die de toegang tot data verlenen of ondersteunen, aangemelde instanties, andere exploitanten, klanten of andere belangstellenden;

(k) systemen en procedures voor de registratie van alle relevante documentatie en informatie;

(l) het beheer van hulpmiddelen, met inbegrip van maatregelen in verband met de voorzieningszekerheid;

(m) een kader voor de verantwoording, waarin de verantwoordelijkheden van het management en ander personeel uiteen worden gezet met betrekking tot alle aspecten van dit lid.

2. De uitvoering van de in lid 1 bedoelde aspecten is evenredig aan de omvang van de organisatie van de aanbieder.

3. Voor aanbieders die onder Richtlijn 2013/36/EU vallende kredietinstellingen zijn wordt de verplichting om te voorzien in een systeem voor kwaliteitsbeheer geacht te zijn nagekomen wanneer zij de regels inzake regelingen, processen en mechanismen voor interne governance naleven overeenkomstig artikel 74 van die richtlijn. In dit verband wordt rekening gehouden met eventuele geharmoniseerde normen als bedoeld in artikel 40 van deze verordening.

Artikel 18: Verplichting om technische documentatie op te stellen

1. Aanbieders van AI-systemen met een hoog risico stellen de in artikel 11 bedoelde technische documentatie op in overeenstemming met bijlage IV.

2. Aanbieders die onder Richtlijn 2013/36/EU vallende kredietinstellingen zijn, bewaren de technische documentatie als onderdeel van de documentatie met betrekking tot de interne governance, regelingen, processen en mechanismen overeenkomstig artikel 74 van die richtlijn.

Artikel 19: Conformiteitsbeoordeling

1. Aanbieders van AI-systemen met een hoog risico zorgen ervoor dat voor hun systemen de relevante conformiteitsbeoordelingsprocedure wordt uitgevoerd in overeenstemming met artikel 43 voordat deze systemen in de handel worden gebracht of in gebruik worden gesteld. Wanneer de overeenstemming van de AI-systemen met de voorschriften van hoofdstuk 2 van deze titel is aangetoond aan de hand van die conformiteitsbeoordeling, stellen de aanbieders overeenkomstig artikel 48 een EU-conformiteitsverklaring op en brengen zij overeenkomstig artikel 49 de CE-conformiteitsmarkering aan.

2. Voor AI-systemen met een hoog risico als bedoeld in bijlage III, punt 5, b), die in de handel worden gebracht of in gebruik worden gesteld door aanbieders die onder Richtlijn 2013/36/EU vallende kredietinstellingen zijn, wordt de conformiteitsbeoordeling uitgevoerd als onderdeel van de in de artikelen 97 tot en met 101 van die richtlijn bedoelde procedure.

Artikel 20: Automatisch gegenereerde logs

1. Aanbieders van AI-systemen met een hoog risico bewaren de logs die automatisch worden gegenereerd door hun AI-systemen met een hoog risico, voor zover dergelijke logs op grond van een contractuele regeling met de gebruiker of anders op grond van wettelijke bepalingen onder hun controle vallen. De logs worden bewaard gedurende een periode die passend is voor het beoogde doel van het AI-systeem met een hoog risico en gezien de toepasselijke wettelijke verplichtingen op grond van het Unie- of intern recht.

2. Aanbieders die onder Richtlijn 2013/36/EU vallende kredietinstellingen zijn, bewaren de logs die automatisch door hun AI-systemen met een hoog risico worden gegenereerd als onderdeel van de documentatie in het kader van artikel 74 van die richtlijn.

Artikel 21: Corrigerende maatregelen

Aanbieders van AI-systemen met een hoog risico die van mening zijn of redenen hebben om aan te nemen dat een door hen in de handel gebracht of in gebruik gesteld AI-systeem met een hoog risico niet in overeenstemming is met deze verordening, nemen onmiddellijk de nodige corrigerende maatregelen om dat systeem naargelang het geval in overeenstemming te brengen, uit de handel te nemen of terug te roepen. Zij stellen de distributeurs van het betrokken AI-systeem met een hoog risico en, indien van toepassing, de gemachtigden en importeurs dienovereenkomstig in kennis.

Artikel 22: Mededelingsverplichting

Wanneer het AI-systeem met een hoog risico een risico vormt in de zin van artikel 65, lid 1, en dat risico bekend is bij de aanbieder van dat systeem, informeert deze aanbieder de nationale bevoegde autoriteiten van de lidstaten waarin hij het systeem beschikbaar heeft gemaakt en, waar van toepassing, de aangemelde instantie die een certificaat voor het AI-systeem met een hoog risico heeft afgegeven, met name over de non-conformiteit en over eventuele getroffen corrigerende maatregelen.

Artikel 23: Samenwerking met bevoegde autoriteiten

Aanbieders van AI-systemen met een hoog risico voorzien nationale bevoegde autoriteiten die hierom verzoeken van alle informatie en documentatie die noodzakelijk is om de overeenstemming van het AI-systemen met een hoog risico met de voorschriften van hoofdstuk 2 van deze titel aan te tonen, in een officiële taal van de Unie die door de betrokken lidstaat wordt bepaald. Op met redenen omkleed verzoek van een nationale bevoegde autoriteit verlenen aanbieders die autoriteit ook toegang tot de logs die automatisch zijn gegenereerd door hun AI-systeem met een hoog risico voor zover dergelijke logs op grond van een contractuele regeling met de gebruiker of anders op grond van wettelijke bepalingen onder hun controle vallen.

Artikel 24: Verplichtingen van fabrikanten van producten

Wanneer een AI-systeem met een hoog risico dat verband houdt met producten waarop de in bijlage II, afdeling A, opgenomen rechtshandelingen van toepassing zijn, samen met het overeenkomstig deze rechtshandelingen vervaardigde product en onder de naam van de fabrikant van het product in de handel wordt gebracht of in gebruik wordt gesteld, neemt de fabrikant van het product de verantwoordelijkheid voor de overeenstemming van het AI-systeem met deze verordening en heeft hij, wat het AI-systeem betreft, dezelfde verplichtingen als deze welke bij de onderhavige verordening aan de aanbieder zijn opgelegd.

Artikel 25: Gemachtigden

1. Indien geen importeur kan worden geïdentificeerd, wijzen aanbieders die buiten de Unie zijn gevestigd, voordat zij hun systemen beschikbaar maken in de Unie, per schriftelijke machtiging een gemachtigde aan die is gevestigd in de Unie.

2. De gemachtigde voert de taken uit die gespecificeerd zijn in het mandaat dat hij van de aanbieder heeft ontvangen. Het mandaat geeft de gemachtigde de bevoegdheid om de volgende taken te verrichten:

(a) een kopie van de EU-conformiteitsverklaring en de technische documentatie ter beschikking houden van de nationale bevoegde autoriteiten en nationale autoriteiten als bedoeld in artikel 63, lid 7;

(b) een nationale bevoegde autoriteit op met redenen omkleed verzoek alle informatie en documentatie verstrekken die noodzakelijk is om de overeenstemming van een AI-systeem met een hoog risico met de voorschriften van hoofdstuk 2 van deze titel aan te tonen, met inbegrip van de logs die automatisch zijn gegenereerd door het AI-systeem met een hoog risico voor zover dergelijke logs op grond van een contractuele regeling met de gebruiker of anders op grond van wettelijke bepalingen onder de controle van de aanbieder vallen;

(c) op met redenen omkleed verzoek samenwerken met bevoegde nationale autoriteiten met betrekking tot een maatregel die door deze autoriteiten wordt getroffen in verband met het AI-systeem met een hoog risico.

Artikel 26: Verplichtingen van importeurs

1. Voordat een AI-systeem met een hoog risico in de handel wordt gebracht, zorgen de importeurs van een dergelijk systeem dat:

(a) de passende conformiteitsbeoordelingsprocedure is uitgevoerd door de aanbieder van dat AI-systeem;

(b) de aanbieder de technische documentatie heeft opgesteld in overeenstemming met bijlage IV;

(c) de vereiste conformiteitsmarkering op het systeem is aangebracht en het systeem vergezeld gaat van de vereiste documentatie en gebruiksaanwijzingen.

2. Wanneer een importeur van mening is of redenen heeft om aan te nemen dat een AI-systeem met een hoog risico niet in overeenstemming is met deze verordening, brengt hij dat systeem niet in de handel voordat het in overeenstemming is gebracht. Wanneer het AI-systeem met een hoog risico een risico vormt in de zin van artikel 65, lid 1, stelt de importeur de aanbieder van het AI-systeem en de markttoezichtautoriteiten hiervan in kennis.

3. Importeurs vermelden hun naam, geregistreerde handelsnaam of geregistreerde merknaam en hun contactadres op het AI-systeem met een hoog risico, of wanneer dit niet mogelijk is, op de verpakking of in de bij het product gevoegde documentatie, zoals van toepassing.

4. Importeurs zorgen gedurende de periode dat zij voor een AI-systeem met een hoog risico verantwoordelijk zijn, indien van toepassing, voor opslag- en vervoersomstandigheden die de overeenstemming van het systeem met de voorschriften van hoofdstuk 2 van deze titel niet in het gedrang brengen.

5. Importeurs voorzien nationale bevoegde autoriteiten op met redenen omkleed verzoek van alle informatie en documentatie die noodzakelijk is om de overeenstemming van een AI-systeem met een hoog risico met de voorschriften van hoofdstuk 2 van deze titel aan te tonen, in een taal die deze nationale bevoegde autoriteit eenvoudig kan begrijpen, met inbegrip van de logs die automatisch zijn gegenereerd door het AI-systeem met een hoog risico voor zover dergelijke logs op grond van een contractuele regeling met de gebruiker of anders op grond van wettelijke bepalingen onder de controle van de aanbieder vallen. Zij werken bovendien samen met deze autoriteiten met betrekking tot eventuele maatregelen die de nationale bevoegde autoriteit treft in verband met dat systeem.

Artikel 27: Verplichtingen van distributeurs

1. Voordat zij een AI-systeem met een hoog risico in de handel brengen, controleren distributeurs of op het AI-systeem met een hoog risico de vereiste CE-conformiteitsmarkering is aangebracht, of het systeem vergezeld gaat van de vereiste documentatie en gebruiksinstructies en of de aanbieder en importeur van het systeem, als van toepassing, de verplichtingen van deze verordening hebben nageleefd.

2. Wanneer een distributeur van mening is of redenen heeft om aan te nemen dat een AI-systeem met een hoog risico niet in overeenstemming is met de voorschriften van hoofdstuk 2 van deze titel, brengt hij het AI-systeem met een hoog risico niet in de handel voordat het in overeenstemming is gebracht met deze voorschriften. Daarnaast stelt de distributeur, wanneer het systeem een risico vormt in de zin van artikel 65, lid 1, de aanbieder of de importeur van het AI-systeem, als van toepassing, hiervan in kennis.

3. Distributeurs zorgen gedurende de periode waarin zij voor een AI-systeem met een hoog risico verantwoordelijk zijn, indien van toepassing, voor opslag- en vervoersomstandigheden die de overeenstemming van het systeem met de voorschriften van hoofdstuk 2 van deze titel niet in het gedrang brengen.

4. Een distributeur die van mening is of redenen heeft om aan te nemen dat een AI-systeem met een hoog risico dat hij in de handel heeft gebracht, niet in overeenstemming is met de voorschriften van hoofdstuk 2 van deze titel, neemt de noodzakelijke corrigerende maatregelen om dat systeem in overeenstemming te brengen met deze voorschriften, uit de handel te nemen of terug te roepen of zorgt ervoor dat de aanbieder, de importeur of een eventuele betrokken exploitant, waar passend, dergelijke corrigerende maatregelen treft. Indien het AI-systeem met een hoog risico een risico vormt in de zin van artikel 65, lid 1, stelt de distributeur de nationale bevoegde autoriteiten van de lidstaten waarin hij het product beschikbaar heeft gemaakt hiervan onmiddellijk in kennis, waarbij hij in het bijzonder de non-conformiteit en de eventueel getroffen corrigerende maatregelen uitvoerig beschrijft.

5. Distributeurs van AI-systemen met een hoog risico voorzien nationale bevoegde autoriteiten op met redenen omkleed verzoek van alle informatie en documentatie die noodzakelijk is om de overeenstemming van een systeem met een hoog risico met de voorschriften van hoofdstuk 2 van deze titel aan te tonen. Distributeurs werken bovendien samen met deze nationale bevoegde autoriteit met betrekking tot eventuele maatregelen die deze autoriteit heeft getroffen.

Artikel 28: Verplichtingen van distributeurs, importeurs, gebruikers en eventuele derden

1. In de volgende omstandigheden wordt een distributeur, importeur, gebruiker of derde voor de toepassing van deze verordening beschouwd als een aanbieder en is hij onderworpen aan de verplichtingen van de aanbieder uit hoofde van artikel 16:

(a) hij brengt een AI-systeem met een hoog risico onder zijn naam of merknaam in de handel of stelt dit onder zijn naam of merknaam in gebruik;

(b) hij wijzigt het beoogde doel van een reeds in de handel gebracht of in gebruik gesteld AI-systeem met een hoog risico; of

(c) hij brengt een ingrijpende wijziging aan in het AI-systeem met een hoog risico.

2. Wanneer sprake is van de in lid 1, punt b) of c), bedoelde omstandigheden, wordt de aanbieder die het AI-systeem met een hoog risico voor het eerst in de handel heeft gebracht of in gebruik heeft gesteld, niet langer beschouwd als aanbieder voor de toepassing van deze verordening.

Artikel 29: Verplichtingen van gebruikers van AI-systemen met een hoog risico

1. Gebruikers van AI-systemen met een hoog risico gebruiken dergelijke systemen in overeenstemming met de gebruiksaanwijzingen die bij de systemen zijn gevoegd, in overeenstemming met de leden 2 en 5.

2. De verplichtingen van lid 1 doen geen afbreuk aan de andere verplichtingen van gebruikers op grond van het Unie- of intern recht en aan de beoordelingsvrijheid van gebruikers bij het organiseren van hun eigen middelen en activiteiten voor de uitvoering van de maatregelen inzake menselijk toezicht zoals aangegeven door de aanbieder.

3. Onverminderd lid 1 zorgt de gebruiker er, voor zover hij controle heeft over de inputdata, voor dat de inputdata relevant zijn voor het beoogde doel van het AI-systeem met een hoog risico.

4. Gebruikers monitoren de werking van het AI-systeem met een hoog risico op basis van de gebruiksaanwijzingen. Wanneer zij redenen hebben om aan te nemen dat het gebruik overeenkomstig de gebruiksaanwijzingen ertoe kan leiden dat het AI-systeem een risico vormt in de zin van artikel 65, lid 1, stellen zij de aanbieder of distributeur hiervan in kennis en onderbreken zij het gebruik van het systeem. Zij stellen de aanbieder of distributeur er ook van in kennis en onderbreken het gebruik van het AI-systeem wanneer zij een ernstig incident of eventuele gebrekkige werking hebben vastgesteld in de zin van artikel 62. Wanneer de gebruiker de aanbieder niet kan bereiken, is artikel 62 mutatis mutandis van toepassing.

Voor gebruikers die onder Richtlijn 2013/36/EU vallende kredietinstellingen zijn wordt de monitoringsverplichting van lid 1 geacht te zijn nagekomen wanneer zij de regels inzake regelingen, processen en mechanismen voor interne governance naleven overeenkomstig artikel 74 van die richtlijn.

5. Gebruikers van AI-systemen met een hoog risico bewaren de logs die automatisch worden gegenereerd door die AI-systemen met een hoog risico voor zover dergelijke logs onder hun controle vallen. De logs worden bewaard gedurende een periode die passend is gezien het beoogde doel van het AI-systeem met een hoog risico en de toepasselijke wettelijke verplichtingen op grond van het Unie- of intern recht.

Gebruikers die onder Richtlijn 2013/36/EU vallende kredietinstellingen zijn, bewaren de logs als onderdeel van de documentatie met betrekking tot de interne governance, regelingen, processen en mechanismen overeenkomstig artikel 74 van die richtlijn.

6. Gebruikers van AI-systemen met een hoog risico gebruiken de informatie die op grond van artikel 13 wordt verstrekt om hun verplichting na te komen om een gegevensbeschermingseffectbeoordeling uit te voeren op grond van artikel 35 van Verordening (EU) 2016/679 of artikel 27 van Richtlijn (EU) 2016/680, indien van toepassing.

Hoofdstuk 4: AANMELDENDE AUTORITEITEN EN AANGEMELDE INSTANTIES

Artikel 30: Aanmeldende autoriteiten

1. Elke lidstaat wijst een aanmeldende autoriteit aan of richt een aanmeldende autoriteit op die verantwoordelijk is voor het opzetten en uitvoeren van de nodige procedures voor de beoordeling, aanwijzing en aanmelding van conformiteitsbeoordelingsinstanties en voor het toezicht erop.

2. De lidstaten kunnen een nationale accreditatie-instantie als bedoeld in Verordening (EG) nr. 765/2008 als aanmeldende autoriteit aanwijzen.

3. Aanmeldende autoriteiten worden zodanig opgericht en georganiseerd en functioneren zodanig dat zich geen belangenconflicten met conformiteitsbeoordelingsinstanties voordoen en de objectiviteit en onpartijdigheid van hun activiteiten gewaarborgd zijn.

4. Aanmeldende autoriteiten worden zodanig georganiseerd dat besluiten in verband met de aanmelding van conformiteitsbeoordelingsinstanties worden genomen door bekwame personen die niet de beoordeling van die instanties hebben verricht.

5. Aanmeldende autoriteiten bieden of verrichten geen activiteiten die worden uitgevoerd door conformiteitsbeoordelingsinstanties en verlenen geen adviezen op commerciële of concurrentiële basis.

6. Aanmeldende autoriteiten waarborgen dat de verkregen informatie vertrouwelijk wordt behandeld.

7. Aanmeldende autoriteiten beschikken over een voldoende aantal bekwame personeelsleden om hun taken naar behoren uit te voeren.

8. Aanmeldende autoriteiten zorgen ervoor dat conformiteitsbeoordelingen op evenredige wijze worden uitgevoerd, waarbij onnodige lasten voor aanbieders worden vermeden, en dat aangemelde instanties bij het verrichten van hun activiteiten naar behoren rekening houden met de omvang van de onderneming, de sector waarin deze actief is, de structuur ervan en de mate van complexiteit van het AI-systeem in kwestie.

Artikel 31: Verzoek om aanmelding van een conformiteitsbeoordelingsinstantie

1. Conformiteitsbeoordelingsinstanties dienen een verzoek om aanmelding in bij de aanmeldende autoriteit van de lidstaat waar zij zijn gevestigd.

2. Het verzoek om aanmelding gaat vergezeld van een beschrijving van de conformiteitsbeoordelingsactiviteiten, de conformiteitsbeoordelingsmodule(s) en de artificiële-intelligentietechnologieën waarvoor de conformiteitsbeoordelingsinstantie verklaart bekwaam te zijn en, indien dit bestaat, van een accreditatiecertificaat dat is afgegeven door een nationale accreditatie-instantie, waarin wordt verklaard dat de conformiteitsbeoordelingsinstantie voldoet aan de eisen in artikel 33. Geldige documenten met betrekking tot bestaande aanwijzingen van de verzoekende aangemelde instantie uit hoofde van andere harmonisatiewetgeving van de Unie worden bijgevoegd.

3. Wanneer de betrokken conformiteitsbeoordelingsinstantie geen accreditatiecertificaat kan overleggen, verschaft zij de aanmeldende autoriteit de bewijsstukken die nodig zijn om haar overeenstemming met de eisen in artikel 33 te verifiëren en te erkennen en om daar geregeld toezicht op te houden. Voor aangemelde instanties die uit hoofde van andere harmonisatiewetgeving van de Unie zijn aangewezen, kunnen waar passend alle documenten en certificaten met betrekking tot die aanwijzingen worden gebruikt om hun aanwijzingsprocedure krachtens deze verordening te ondersteunen.

Artikel 32: Aanmeldingsprocedure

1. Aanmeldende autoriteiten mogen uitsluitend conformiteitsbeoordelingsinstanties aanmelden die aan de eisen in artikel 33 voldoen.

2. Aanmeldende autoriteiten verrichten de aanmelding bij de Commissie en de andere lidstaten door middel van het door de Commissie ontwikkelde en beheerde elektronische aanmeldingssysteem.

3. Bij de aanmelding worden de conformiteitsbeoordelingsactiviteiten, de conformiteitsbeoordelingsmodule(s) en de betrokken artificiële-intelligentietechnologieën uitvoerig beschreven.

4. De betrokken conformiteitsbeoordelingsinstantie mag de activiteiten van een aangemelde instantie alleen verrichten als de Commissie en de andere lidstaten binnen één maand na een aanmelding geen bezwaren hebben ingediend.

5. Aanmeldende autoriteiten stellen de Commissie en de andere lidstaten in kennis van alle latere wijzigingen die van belang zijn voor de aanmelding.

Artikel 33: Aangemelde instanties

1. Aangemelde instanties controleren de conformiteit van AI-systemen met een hoog risico overeenkomstig de conformiteitsbeoordelingsprocedures als bedoeld in artikel 43.

2. Aangemelde instanties voldoen aan de eisen inzake organisatie, kwaliteitsbeheer, personeel en processen die nodig zijn voor het vervullen van hun taken.

3. De organisatiestructuur, de toewijzing van verantwoordelijkheden, de rapportagelijnen en het functioneren van aangemelde instanties moeten van dien aard zijn dat ze ervoor zorgen dat er vertrouwen is in de uitvoering en de resultaten van de conformiteitsbeoordelingsactiviteiten die de aangemelde instanties verrichten.

4. Aangemelde instanties zijn onafhankelijk van de aanbieder van een AI-systeem met een hoog risico met betrekking waartoe de aanbieder conformiteitsbeoordelingsactiviteiten verricht. Aangemelde instanties zijn ook onafhankelijk van andere exploitanten die een economisch belang hebben in het beoordeelde AI-systeem met een hoog risico, alsook van concurrenten van de aanbieder.

5. Aangemelde instanties worden zodanig georganiseerd en functioneren zodanig dat de onafhankelijkheid, objectiviteit en onpartijdigheid van hun activiteiten gewaarborgd zijn. Aangemelde instanties documenteren en implementeren een structuur en procedures voor het waarborgen van de onpartijdigheid en voor het bevorderen en toepassen van de onpartijdigheidsbeginselen in hun gehele organisatie, onder het personeel en in de beoordelingsactiviteiten.

6. Aangemelde instanties beschikken over gedocumenteerde procedures die waarborgen dat hun personeel, comités, dochterondernemingen, onderaannemers, geassocieerde instanties of personeel van externe instanties de vertrouwelijkheid in acht nemen van de informatie die zij tijdens conformiteitsbeoordelingsactiviteiten in hun bezit krijgen, behalve wanneer openbaarmaking wettelijk vereist is. Het personeel van aangemelde instanties is gebonden aan het beroepsgeheim ten aanzien van alle informatie waarvan het kennis neemt bij de uitoefening van de taken uit hoofde van deze verordening, behalve ten opzichte van de aanmeldende autoriteiten van de lidstaat waar de activiteiten plaatsvinden.

7. Aangemelde instanties beschikken over de nodige procedures voor de uitoefening van hun activiteiten, waarin voldoende rekening wordt gehouden met de omvang van een onderneming, de sector waarin zij actief is, haar structuur en de relatieve complexiteit van het AI-systeem in kwestie.

8. Aangemelde instanties sluiten voor hun conformiteitsbeoordelingsactiviteiten een passende aansprakelijkheidsverzekering af, tenzij de wettelijke aansprakelijkheid krachtens het interne recht door de lidstaat in kwestie wordt gedekt of die lidstaat rechtstreeks verantwoordelijk is voor de conformiteitsbeoordeling.

9. Aangemelde instanties zijn in staat alle hun bij deze verordening toegewezen taken te verrichten met de grootste mate van beroepsintegriteit en met de vereiste bekwaamheid op het specifieke gebied, ongeacht of deze taken door de aangemelde instanties zelf dan wel namens hen en onder hun verantwoordelijkheid worden verricht.

10. Aangemelde instanties beschikken over voldoende interne deskundigheid om de door namens hen externe partijen verrichte taken doeltreffend te kunnen evalueren. Hiertoe beschikken aangemelde instanties te allen tijde en voor elke conformiteitsbeoordelingsprocedure en elk type AI-systeem met een hoog risico met betrekking waartoe zij zijn aangewezen, over voldoende administratief, technisch en wetenschappelijk personeel met ervaring en kennis ten aanzien van de relevante artificiële-intelligentietechnologieën, data en dataverwerking en de voorschriften van hoofdstuk 2 van deze titel.

11. Aangemelde instanties nemen deel aan coördinatieactiviteiten als bedoeld in artikel 38. Zij nemen ook rechtstreeks deel aan of worden vertegenwoordigd in Europese normalisatie-instellingen of zorgen ervoor op de hoogte te zijn van actuele relevante normen.

12. Aangemelde instanties stellen alle relevante documentatie, waaronder de documentatie van de aanbieder, ter beschikking van de aanmeldende autoriteit als bedoeld in artikel 30, en verstrekken die aan haar op verzoek, teneinde haar in staat te stellen haar beoordelings-, aanwijzings-, kennisgevings-, monitoring- en toezichtactiviteiten te verrichten, en de in dit hoofdstuk beschreven beoordeling te vergemakkelijken.

Artikel 34: Dochterondernemingen van en uitbesteding door aangemelde instanties

1. Wanneer de aangemelde instantie specifieke taken in verband met de conformiteitsbeoordeling uitbesteedt of door een dochteronderneming laat uitvoeren, waarborgt zij dat de onderaannemer of dochteronderneming aan de eisen van artikel 33 voldoet, en brengt zij de aanmeldende autoriteit hiervan op de hoogte.

2. Aangemelde instanties nemen de volledige verantwoordelijkheid op zich voor de taken die worden verricht door onderaannemers of dochterondernemingen, ongeacht waar deze gevestigd zijn.

3. Activiteiten mogen uitsluitend met instemming van de aanbieder worden uitbesteed of door een dochteronderneming worden uitgevoerd.

4. Aangemelde instanties houden de relevante documenten over de beoordeling van de kwalificaties van de onderaannemer of de dochteronderneming en over de door de onderaannemer of dochteronderneming krachtens deze verordening uitgevoerde werkzaamheden ter beschikking van de aanmeldende autoriteit.

Artikel 35: Identificatienummers en lijsten van krachtens deze verordening aangewezen aangemelde instanties

1. De Commissie kent aangemelde instanties een identificatienummer toe. Zij kent per instantie slechts één nummer toe, ook als een instantie uit hoofde van diverse handelingen van de Unie is aangemeld.

2. De Commissie maakt de lijst van krachtens deze verordening aangemelde instanties openbaar, onder vermelding van de aan hen toegekende identificatienummers en de activiteiten waarvoor zij zijn aangemeld. De Commissie zorgt ervoor dat de lijst actueel blijft.

Artikel 36: Wijzigingen in de aanmelding

1. Wanneer een aanmeldende autoriteit het vermoeden heeft of heeft vernomen dat een aangemelde instantie niet meer aan de eisen van artikel 33 voldoet of haar verplichtingen niet nakomt, moet de autoriteit de kwestie onverwijld zo zorgvuldig mogelijk onderzoeken. In die context stelt zij de betrokken aangemelde instantie in kennis van de geopperde bezwaren en biedt zij haar de mogelijkheid haar standpunten kenbaar te maken. Als de aanmeldende autoriteit tot de conclusie komt dat de onderzochte aangemelde instantie niet meer aan de eisen van artikel 33 voldoet of haar verplichtingen niet nakomt, wordt de aanmelding door haar beperkt, geschorst of ingetrokken, als passend, afhankelijk van de ernst van de tekortkoming. Zij brengt daar ook de Commissie en de andere lidstaten onmiddellijk van op de hoogte.

2. Wanneer de aanmelding wordt beperkt, geschorst of ingetrokken, of de aangemelde instantie haar activiteiten heeft gestaakt, doet de aanmeldende autoriteit het nodige om ervoor te zorgen dat de dossiers van die aangemelde instantie hetzij door een andere aangemelde instantie worden overgenomen, hetzij aan de verantwoordelijke aanmeldende autoriteiten op hun verzoek ter beschikking kunnen worden gesteld.

Artikel 37: Betwisting van de bekwaamheid van aangemelde instanties

1. De Commissie onderzoekt indien nodig alle gevallen waarin er redenen zijn om te twijfelen of een aangemelde instantie aan de eisen van artikel 33 voldoet.

2. De aanmeldende autoriteit verstrekt de Commissie op verzoek alle relevante informatie over de aanmelding van de betrokken aangemelde instantie.

3. De Commissie ziet erop toe dat alle vertrouwelijke informatie die zij in de loop van haar onderzoeken overeenkomstig dit artikel ontvangt, vertrouwelijk wordt behandeld.

4. Wanneer de Commissie vaststelt dat een aangemelde instantie niet of niet meer aan de eisen van artikel 33 voldoet, neemt zij een met redenen omkleed besluit om de aanmeldende lidstaat te verzoeken de nodige corrigerende maatregelen te nemen en zo nodig de aanmelding in te trekken. De uitvoeringshandeling wordt vastgesteld volgens de in artikel 74, lid 2, bedoelde onderzoeksprocedure.

Artikel 38: Coördinatie van aangemelde instanties

1. Ten aanzien van de onder deze verordening vallende gebieden zorgt de Commissie voor het instellen en naar behoren uitvoeren van passende coördinatie en samenwerking tussen aangemelde instanties die zich bezighouden met de conformiteitsbeoordelingsprocedures van AI-systemen krachtens deze verordening in de vorm van een sectorale groep van aangemelde instanties.

2. De lidstaten zorgen ervoor dat de door hen aangemelde instanties rechtstreeks of via aangestelde vertegenwoordigers aan de werkzaamheden van die groep deelnemen.

Artikel 39: Conformiteitsbeoordelingsinstanties van derde landen

Conformiteitsbeoordelingsinstanties die zijn opgericht naar het recht van een derde land waarmee de Unie een overeenkomst heeft gesloten, kunnen worden gemachtigd de activiteiten van aangemelde instanties krachtens deze verordening te verrichten.

Hoofdstuk 5: NORMEN, CONFORMITEITSBEOORDELING, CERTIFICATEN, REGISTRATIE

Artikel 40: Geharmoniseerde normen

AI-systemen met een hoog risico die in overeenstemming zijn met geharmoniseerde normen of delen daarvan, waarvan de referenties in het Publicatieblad van de Europese Unie zijn bekendgemaakt, worden geacht in overeenstemming te zijn met de in hoofdstuk 2 van deze titel beschreven voorschriften, voor zover die voorschriften door die normen worden bestreken.

Artikel 41: Gemeenschappelijke specificaties

1. Wanneer geharmoniseerde normen als bedoeld in artikel 40 niet bestaan of wanneer de Commissie meent dat de relevante geharmoniseerde normen ontoereikend zijn of specifieke punten op het gebied van veiligheid of grondrechten moeten worden aangepakt, kan de Commissie door middel van uitvoeringshandelingen gemeenschappelijke specificaties ten aanzien van de in hoofdstuk 2 van deze titel beschreven voorschriften vaststellen. Die uitvoeringshandelingen worden volgens de in artikel 74, lid 2, bedoelde onderzoeksprocedure vastgesteld.

2. De Commissie vergaart bij het opstellen van de in lid 1 bedoelde gemeenschappelijke specificaties de standpunten van relevante instanties of deskundigengroepen die krachtens relevant sectoraal Unierecht zijn opgericht.

3. AI-systemen met een hoog risico die in overeenstemming zijn met de in lid 1 bedoelde gemeenschappelijke specificaties, worden geacht in overeenstemming te zijn met de in hoofdstuk 2 van deze titel beschreven voorschriften, voor zover die voorschriften door die gemeenschappelijke specificaties worden bestreken.

4. Wanneer aanbieders niet voldoen aan de in lid 1 bedoelde gemeenschappelijke specificaties, moeten zij naar behoren rechtvaardigen dat zij technische oplossingen hebben gekozen die minstens gelijkwaardig daarmee zijn.

Artikel 42: Vermoeden van conformiteit met bepaalde eisen

1. Rekening houdend met het beoogde doel worden AI-systemen met een hoog risico die zijn getraind en getest op data betreffende de specifieke geografische, functionele en gedragsomgeving waarin zij zullen worden gebruikt, geacht in overeenstemming te zijn met de in artikel 10, lid 4, beschreven eis.

2. AI-systemen met een hoog risico die zijn gecertificeerd of waarvoor een conformiteitsverklaring is verstrekt volgens een cyberbeveiligingsregeling krachtens Verordening (EU) 2019/881 van het Europees Parlement en de Raad 63 en waarvan de referenties in het Publicatieblad van de Europese Unie zijn bekendgemaakt, worden geacht in overeenstemming te zijn met de in artikel 15 van deze verordening beschreven cyberbeveiligingseisen, voor zover die eisen door het cyberbeveiligingscertificaat of de conformiteitsverklaring of delen daarvan worden bestreken.

Artikel 43: Conformiteitsbeoordeling

1. Voor in punt 1 van bijlage III opgesomde AI-systemen met een hoog risico volgt de aanbieder, wanneer bij het aantonen van de overeenstemming met de in hoofdstuk 2 van deze titel beschreven voorschriften van een AI-systeem met een hoog risico de aanbieder geharmoniseerde normen als bedoeld in artikel 40 of in voorkomend geval gemeenschappelijke specificaties als bedoeld in artikel 41 heeft toegepast, een van de volgende procedures:

(a) de conformiteitsbeoordelingsprocedure op basis van interne controle als bedoeld in bijlage VI;

(b) de conformiteitsbeoordelingsprocedure op basis van beoordeling van het kwaliteitsbeheersysteem en beoordeling van de technische documentatie, met betrokkenheid van een aangemelde instantie, als bedoeld in bijlage VII.

Wanneer bij het aantonen van de overeenstemming met de in hoofdstuk 2 van deze titel beschreven voorschriften van een AI-systeem met een hoog risico de aanbieder geharmoniseerde normen als bedoeld in artikel 40 niet of slechts ten dele heeft toegepast of wanneer zulke geharmoniseerde normen niet bestaan en gemeenschappelijke specificaties als bedoeld in artikel 41 niet voorhanden zijn, volgt de aanbieder de in bijlage VII beschreven conformiteitsbeoordelingsprocedure.

Voor de conformiteitsbeoordelingsprocedure als bedoeld in bijlage VII kan de aanbieder eender welke aangemelde instantie kiezen. Wanneer het systeem echter is bedoeld om door rechtshandhavings-, immigratie- of asielautoriteiten alsook EU-instellingen, -organen of -instanties in bedrijf te worden gesteld, treedt de markttoezichtautoriteit als bedoeld in artikel 63, lid 5 of 6, naar gelang van toepassing, als aangemelde instantie op.

2. Voor AI-systemen met een hoog risico als bedoeld in de punten 2 tot en met 8 van bijlage III volgen aanbieders de conformiteitsbeoordelingsprocedure op basis van interne controle als bedoeld in bijlage VI, waarvoor de betrokkenheid van een aangemelde instantie niet nodig is. Voor AI-systemen met een hoog risico als bedoeld in punt 5, b), van bijlage III, die in de handel worden gebracht of in bedrijf worden gesteld door onder Richtlijn 2013/36/EU vallende kredietinstellingen, wordt de conformiteitsbeoordeling uitgevoerd als onderdeel van de procedure als bedoeld in de artikelen 97 tot en met 101 van die richtlijn.

3. Voor AI-systemen met een hoog risico waarop in bijlage II, deel A, vermelde rechtshandelingen van toepassing zijn, volgt de aanbieder de relevante conformiteitsbeoordelingsprocedure zoals vereist volgens die rechtshandelingen. De in hoofdstuk 2 van deze titel beschreven voorschriften zijn van toepassing op die AI-systemen met een hoog risico en maken deel uit van die beoordeling. De punten 4.3, 4.4, 4.5 en de vijfde alinea van punt 4.6 van bijlage VII zijn eveneens van toepassing.

Voor die beoordeling hebben aangemelde instanties die volgens die rechtshandelingen zijn aangemeld het recht de conformiteit van de AI-systemen met een hoog risico met de in hoofdstuk 2 van deze titel beschreven voorschriften te controleren, mits de overeenstemming van die aangemelde instanties met voorschriften in artikel 33, leden 4, 9 en 10, in de context van de aanmeldingsprocedure volgens die rechtshandelingen is beoordeeld.

Wanneer de in bijlage II, deel A, vermelde rechtshandelingen de fabrikant van het producent in staat stellen zich te onttrekken aan een conformiteitsbeoordeling door een derde, mits die fabrikant alle geharmoniseerde normen voor alle relevante voorschriften heeft toegepast, kan de fabrikant alleen van die mogelijkheid gebruikmaken als hij ook geharmoniseerde normen of in voorkomend geval gemeenschappelijke specificaties als bedoeld in artikel 41 heeft toegepast, voor de in hoofdstuk 2 van deze titel beschreven voorschriften.

4. AI-systemen met een hoog risico ondergaan een nieuwe conformiteitsbeoordelingsprocedure telkens wanneer zij wezenlijk zijn gewijzigd, ongeacht of het gewijzigde systeem bedoeld is om verder te worden gedistribueerd of door de huidige gebruiker gebruikt blijft worden.

Voor AI-systemen met een hoog risico die doorgaan met leren na in de handel te zijn gebracht of in bedrijf te zijn gesteld, vormen veranderingen van het AI-systeem met een hoog risico en de prestaties ervan die op het moment van de eerste conformiteitsbeoordeling vooraf door de aanbieder zijn bepaald en deel uitmaken van de informatie in de technische documentatie als bedoeld in punt 2, f), van bijlage IV, geen wezenlijke wijziging.

5. De Commissie is bevoegd om gedelegeerde handelingen vast te stellen overeenkomstig artikel 73 ten behoeve van het bijwerken van de bijlagen VI en VII, teneinde elementen van de conformiteitsbeoordelingsprocedures in te voeren die noodzakelijk worden in het licht van de technische vooruitgang.

6. De Commissie is bevoegd om gedelegeerde handelingen vast te stellen om de leden 1 en 2 te wijzigen, teneinde AI-systemen met een hoog risico als bedoeld in de punten 2 tot en met 8 van bijlage III te onderwerpen aan de conformiteitsbeoordelingsprocedure als bedoeld in bijlage VII of delen daarvan. De Commissie stelt zulke gedelegeerde handelingen vast rekening houdend met de doeltreffendheid van de conformiteitsbeoordelingsprocedure op basis van interne controle als bedoeld in bijlage VI bij het voorkomen of minimaliseren van de risico’s voor de gezondheid en veiligheid en de bescherming van grondrechten die zulke systemen inhouden alsook met de beschikbaarheid van voldoende capaciteit en personeel onder aangemelde instanties.

Artikel 44: Certificaten

1. Door aangemelde instanties overeenkomstig bijlage VII afgegeven certificaten worden opgesteld in een officiële taal van de Unie, vastgesteld door de lidstaat waar de aangemelde instantie is gevestigd, of in een officiële taal van de Unie die voor de aangemelde instantie anderszins aanvaardbaar is.

2. Certificaten zijn geldig gedurende de daarin aangegeven periode, die niet meer dan vijf jaar mag bedragen. Op verzoek van de aanbieder kan de geldigheidsduur van een certificaat op grond van een herbeoordeling volgens de toepasselijke conformiteitsbeoordelingsprocedures worden verlengd met bijkomende perioden, die elk niet meer dan vijf jaar mogen bedragen.

3. Indien een aangemelde instantie vaststelt dat een AI-systeem niet meer aan de in hoofdstuk 2 van deze titel beschreven voorschriften voldoet, gaat zij, rekening houdend met het evenredigheidsbeginsel, over tot schorsing of intrekking van het afgegeven certificaat of legt zij beperkingen op, tenzij de aanbieder van het systeem, met het oog op de naleving van deze voorschriften, binnen een door de aangemelde instantie vastgestelde passende termijn adequate corrigerende actie onderneemt. De aangemelde instantie geeft de redenen voor haar besluit op.

Artikel 45: Beroep tegen besluiten van aangemelde instanties

De lidstaten voorzien in een beroepsprocedure tegen besluiten van aangemelde instanties voor partijen die een rechtmatig belang bij dat besluit hebben.

Artikel 46: Informatieverplichtingen voor aangemelde instanties

1. Aangemelde instanties brengen de aanmeldende instantie op de hoogte van:

(a) EU-beoordelingscertificaten van technische documentatie, aanvullingen op die certificaten en goedkeuringen voor kwaliteitsbeheersystemen afgegeven overeenkomstig de eisen van bijlage VII;

(b) weigering, beperking, schorsing of intrekking van een EU-beoordelingscertificaat van technische documentatie of een goedkeuring voor kwaliteitsbeheersystemen afgegeven overeenkomstig de eisen van bijlage VII;

(c) omstandigheden die van invloed zijn op het toepassingsgebied van of de voorwaarden voor de aanmelding;

(d) verzoeken om informatie over conformiteitsbeoordelingsactiviteiten die zij van markttoezichtautoriteiten ontvangen;

(e) op verzoek, de binnen het toepassingsgebied van hun aanmelding verrichte conformiteitsbeoordelingsactiviteiten en andere activiteiten, waaronder grensoverschrijdende activiteiten en uitbestede activiteiten.

2. Elke aangemelde instantie brengt de andere aangemelde instanties op de hoogte van:

(a) door haar geweigerde, opgeschorte of ingetrokken goedkeuringen voor kwaliteitsbeheersystemen alsmede, op verzoek, van de door haar verleende goedkeuringen voor kwaliteitsbeheersystemen;

(b) EU-beoordelingscertificaten van technische documentatie of aanvullingen daarop die zij heeft geweigerd, ingetrokken, opgeschort of anderszins beperkt alsmede, op verzoek, de certificaten en/of aanvullingen daarop die zij heeft uitgegeven.

3. Elke aangemelde instantie verstrekt de andere aangemelde instanties die soortgelijke conformiteitsbeoordelingsactiviteiten voor dezelfde artificiële-intelligentietechnologieën verrichten, relevante informatie over negatieve conformiteitsbeoordelingsresultaten, en op verzoek ook over positieve conformiteitsbeoordelingsresultaten.

Artikel 47: Afwijking van de conformiteitsbeoordelingsprocedure

1. In afwijking van artikel 43 kan een markttoezichtautoriteit het in de handel brengen of in bedrijf stellen van specifieke AI-systemen met een hoog risico binnen het grondgebied van de betrokken lidstaat toelaten, om uitzonderlijke redenen van openbare veiligheid of de bescherming van het leven en de gezondheid van personen, milieubescherming en de bescherming van essentiële industriële en infrastructurele activa. De toelating geldt gedurende een beperkte periode, terwijl de nodige conformiteitsbeoordelingsprocedures worden uitgevoerd, en wordt beëindigd zodra die procedures zijn afgerond. Die procedures worden zo snel mogelijk afgerond.

2. De in lid 1 bedoelde toelating wordt alleen verstrekt als de markttoezichtautoriteit concludeert dat het AI-systeem met een hoog risico aan de voorschriften van hoofdstuk 2 van deze titel voldoet. De markttoezichtautoriteit stelt de Commissie en de ander lidstaten in kennis van overeenkomstig lid 1 verstrekte toelatingen.

3. Indien binnen 15 kalenderdagen na de ontvangst van de in lid 2 bedoelde informatie geen bezwaar is geopperd door een lidstaat of de Commissie tegen een door een markttoezichtautoriteit van een lidstaat overeenkomstig lid 1 verstrekte toelating, wordt die toelating geacht gerechtvaardigd te zijn.

4. Indien binnen 15 kalenderdagen na de ontvangst van in lid 2 bedoelde kennisgeving door een lidstaat bezwaren worden geopperd tegen een door een markttoezichtautoriteit van een andere lidstaat verstrekte toelating, of wanneer de Commissie de toelating in strijd met het Unierecht acht of de conclusie van de lidstaten ten aanzien van de conformiteit van het systeem als bedoeld in lid 2 ongegrond acht, treedt de Commissie onverwijld in overleg met de relevante lidstaat; de betrokken exploitanten worden geraadpleegd en hebben de mogelijkheid hun standpunten uiteen te zetten. Met het oog daarop besluit de Commissie of de toelating al dan niet gerechtvaardigd is. De Commissie richt haar besluit aan de betrokken lidstaat en de relevante exploitant(en).

5. Als de toelating ongerechtvaardigd wordt geacht, wordt deze ingetrokken door de markttoezichtautoriteit van de betrokken lidstaat.

6. In afwijking van de leden 1 tot en met 5 zijn voor AI-systemen met een hoog risico bedoeld voor gebruik als veiligheidscomponenten van apparaten zijn, of die zelf apparaten zijn, als bedoeld in Verordening (EU) 2017/745 en Verordening (EU) 2017/746, artikel 59 van Verordening (EU) 2017/745 en artikel 54 van Verordening (EU) 2017/746 ook van toepassing met betrekking tot de afwijking van de conformiteitsbeoordeling van de naleving van de in hoofdstuk 2 van deze titel beschreven voorschriften.

Artikel 48: EU-conformiteitsverklaring

1. De aanbieder stelt voor elk AI-systeem een EU-conformiteitsverklaring op en houdt deze verklaring tot tien jaar na het in de handel brengen of het in bedrijf stellen van het AI-systeem ter beschikking van de nationale bevoegde autoriteiten. In de EU-conformiteitsverklaring wordt vermeld voor welk AI-systeem ze is opgesteld. Op verzoek wordt een kopie van de EU-conformiteitsverklaring aan de relevante nationale bevoegde autoriteiten verstrekt.

2. In de EU-conformiteitsverklaring wordt vermeld dat het betreffende AI-systeem met een hoog risico aan de hoofdstuk 2 van deze titel beschreven voorschriften voldoet. De EU-conformiteitsverklaring bevat de informatie die is vervat in bijlage V en wordt vertaald in een of meer officiële talen van de Unie, zoals vereist door de lidstaat (lidstaten) waarin het AI-systeem met een hoog risico wordt aangeboden.

3. Wanneer AI-systemen met een hoog risico onder andere harmonisatiewetgeving van de Unie vallen, waarvoor ook een EU-conformiteitsverklaring is vereist, wordt één EU-conformiteitsverklaring ten aanzien van alle op het AI-systeem met een hoog risico toepasselijke Uniewetgeving opgesteld. De verklaring bevat alle informatie die vereist is voor de identificatie van de harmonisatiewetgeving van de Unie waarop de verklaring betrekking heeft.

4. Met het opstellen van de EU-conformiteitsverklaring neemt de aanbieder de verantwoordelijkheid op zich om de in hoofdstuk 2 van deze titel beschreven voorschriften na te leven. De aanbieder houdt de EU-conformiteitsverklaring voor zover dienstig up-to-date.

5. De Commissie is bevoegd om gedelegeerde handelingen vast te stellen overeenkomstig artikel 73 ten behoeve van het bijwerken van de in bijlage V beschreven inhoud van de EU-conformiteitsverklaring, teneinde elementen in te voeren die noodzakelijk worden in het licht van de technische vooruitgang.

Artikel 49: CE-conformiteitsmarkering

1. De CE-markering wordt zichtbaar, leesbaar en onuitwisbaar op AI-systemen met een hoog risico aangebracht. Wanneer dit gezien de aard van het AI-systeem met een hoog risico niet mogelijk of niet gerechtvaardigd is, wordt de markering naargelang het geval op de verpakking of in de begeleidende documenten aangebracht.

2. De in lid 1 van dit artikel bedoelde CE-markering is onderworpen aan de algemene beginselen die staan vermeld in artikel 30 van Verordening (EG) nr. 765/2008.

3. Indien van toepassing, wordt de CE-markering gevolgd door het identificatienummer van de aangemelde instantie die verantwoordelijk is voor de in artikel 43 beschreven conformiteitsbeoordelingsprocedures. Het identificatienummer wordt ook vermeld in reclamemateriaal waarin staat dat een AI-systeem met een hoog risico aan de vereisten voor de CE-markering voldoet.

Artikel 50: Bewaren van documenten

De aanbieder houdt gedurende een periode van tien jaar nadat het AI-systeem in de handel is gebracht of in bedrijf is gesteld de volgende elementen ter beschikking van de nationale bevoegde autoriteiten:

(a) de technische documentatie als bedoeld in artikel 11;

(b) de documentatie betreffende het kwaliteitsbeheersysteem als bedoeld in artikel 17;

(c) in voorkomend geval de documentatie betreffende de door aangemelde instanties goedgekeurde wijzigingen;

(d) in voorkomend geval de besluiten en andere documenten die door de aangemelde instanties zijn afgegeven;

(e) de EU-conformiteitsverklaring als bedoeld in artikel 48.

Artikel 51: Registratie

Alvorens een AI-systeem met een hoog risico in de handel te brengen of in bedrijf te stellen als bedoeld in artikel 6, lid 2, registreert de aanbieder of in voorkomend geval de gemachtigde dat systeem in de in artikel 60 bedoelde EU-databank.

TITEL IV: TRANSPARANTIEVERPLICHTINGEN VOOR BEPAALDE AI-SYSTEMEN

Artikel 52: Transparantieverplichtingen voor bepaalde AI-systemen

1. Aanbieders zorgen ervoor dat AI-systemen die voor interactie met natuurlijke personen zijn bedoeld, zodanig worden ontworpen en ontwikkeld dat natuurlijke personen worden geïnformeerd dat zij interageren met een AI-systeem, tenzij de omstandigheden en de gebruikscontext dit duidelijk maken. Deze verplichting is niet van toepassing op bij wet toegestane AI-systemen voor het opsporen, voorkomen, onderzoeken en vervolgen van strafbare feiten, tenzij die systemen voor het publiek beschikbaar zijn om een strafbaar feit te melden.

2. Gebruikers van een emotieherkenningssysteem of een biometrisch indelingssysteem informeren de daaraan blootgestelde natuurlijke personen over de werking van het systeem. Deze verplichting is niet van toepassing op voor biometrische indeling gebruikte AI-systemen, die bij wet zijn toegestaan om strafbare feiten op te sporen, te voorkomen en te onderzoeken.

3. Gebruikers van een AI-systeem dat beeld-, audio- of videomateriaal genereert of bewerkt dat aanzienlijk op bestaande personen, objecten, plaatsen of andere entiteiten of gebeurtenissen lijkt en voor een persoon onterecht als authentiek of waarheidsgetrouw (“deep fake”) zou overkomen, maken bekend dat het materiaal kunstmatig is gegenereerd of bewerkt. 

De eerste alinea is echter niet van toepassing wanneer het gebruik bij wet is toegestaan om strafbare feiten op te sporen, te voorkomen, te onderzoeken en te vervolgen of nodig is voor het doen gelden van het recht op vrijheid van meningsuiting en het recht op vrijheid van kunsten en wetenschappen die in het EU-Handvest van de grondrechten worden gewaarborgd, en behoudens passende waarborgen voor de rechten en vrijheden van derden.

4. De leden 1, 2 en 3 doen geen afbreuk aan de in titel III van deze verordening beschreven eisen en verplichtingen.

TITEL V: MAATREGELEN TER ONDERSTEUNING VAN INNOVATIE

Artikel 53: AI-testomgevingen voor regelgeving

1. Door bevoegde autoriteiten van een of meer lidstaten of de Europese Toezichthouder voor gegevensbescherming ontwikkelde AI-testomgevingen voor regelgeving voorzien in een gecontroleerde omgeving ter vergemakkelijking van het volgens een specifiek plan ontwikkelen, testen en valideren van innovatieve AI-systemen voor een beperkte duur voordat zij in de handel worden gebracht of in bedrijf worden gesteld. Dit vindt plaats onder direct toezicht en met directe begeleiding van de bevoegde autoriteiten teneinde naleving van de eisen van deze verordening te waarborgen en in voorkomend geval andere wetgeving van de Unie en de lidstaten onder toezicht binnen de testomgeving.

2. De lidstaten zorgen ervoor dat voor zover de innovatieve AI-systemen betrekking hebben op de verwerking van persoonsgegevens of anderszins onder het toezicht van andere nationale autoriteiten of bevoegde autoriteiten vallen die toegang tot data verstrekken of ondersteunen, de nationale gegevensbeschermingsautoriteiten of die andere nationale autoriteiten bij de werking van de AI-testomgeving voor regelgeving zijn betrokken.

3. De AI-testomgevingen voor regelgeving laten de toezichthoudende en corrigerende bevoegdheden van de bevoegde autoriteiten onverlet. Significante risico’s voor de gezondheid en veiligheid en de grondrechten die tijdens het ontwikkelen en testen van dergelijke systemen worden vastgesteld, worden onmiddellijk beperkt en leiden bij gebreke daarvan tot de opschorting van het ontwikkelings- en testproces totdat beperkende maatregelen worden getroffen.

4. Deelnemers aan de AI-testomgeving voor regelgeving blijven aansprakelijk overeenkomstig toepasselijke aansprakelijkheidswetgeving van de Unie en de lidstaten voor aan derden toegebrachte schade als gevolg van de experimenten in de testomgeving.

5. De bevoegde autoriteiten van de lidstaten die AI-testomgevingen voor regelgeving hebben ontwikkeld, coördineren hun activiteiten en werken samen binnen het kader van het Europees Comité voor artificiële intelligentie. Zij dienen jaarverslagen bij het Comité en de Commissie in over de resultaten van de uitvoering van die regelingen, met inbegrip van goede praktijken, geleerde lessen en aanbevelingen over de opzet ervan en, waar relevant, over de toepassing van deze verordening en andere Uniewetgeving onder toezicht binnen de testomgeving.

6. De modaliteiten en de voorwaarden van de werking van de AI-testomgevingen voor regelgeving, waaronder de toelatingscriteria en de procedures voor de toepassing en selectie van, deelname aan en terugtrekking uit de testomgeving, en de rechten en plichten van de deelnemers worden in uitvoeringshandelingen uiteengezet. Die uitvoeringshandelingen worden volgens de in artikel 74, lid 2, bedoelde onderzoeksprocedure vastgesteld.

Artikel 54: Verdere verwerking van persoonsgegevens voor het ontwikkelen van bepaalde AI-systemen in het algemene belang in de AI-testomgeving voor regelgeving

1. In de AI-testomgeving voor regelgeving worden rechtmatig voor andere doeleinden verzamelde persoonsgegevens onder de volgende voorwaarden verwerkt ten behoeve van het ontwikkelen en testen van bepaalde innovatieve AI-systemen in de testomgeving:

(a) de innovatieve AI-systemen worden ontwikkeld voor het beschermen van zwaarwegend algemeen belang op een of meer van de volgende gebieden:

i) de voorkoming, het onderzoek, de opsporing of de vervolging van strafbare feiten of de tenuitvoerlegging van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid, onder de controle en verantwoordelijkheid van de bevoegde autoriteiten. De verwerking is gebaseerd op het recht van de lidstaten of de Unie;

ii) de openbare veiligheid en volksgezondheid, waaronder ziektepreventie, -beheersing en -behandeling;

iii) een hoog niveau van bescherming en verbetering van de kwaliteit van het milieu;

(b) de verwerkte data zijn nodig om te voldoen aan een of meer van de in titel III, hoofdstuk 2, beschreven voorschriften wanneer die voorschriften niet doeltreffend kunnen worden vervuld door het verwerken van geanonimiseerde, synthetische of andere niet persoonsgebonden data;

(c) er zijn doeltreffende monitoringmechanismen om vast te stellen of zich tijdens de experimenten in de testomgeving hoge risico’s voor de grondrechten van de betrokkenen kunnen voordoen evenals responsmechanismen om die risico’s onmiddellijk te beperken en indien nodig de verwerking stop te zetten;

(d) in het kader van de testomgeving te verwerken persoonsgegevens bevinden zich in een functioneel gescheiden, geïsoleerde en beschermde omgeving voor dataverwerking onder de controle van de deelnemers, waarbij alleen bevoegde personen toegang hebben tot die data;

(e) verwerkte persoonsgegevens mogen niet door andere partijen worden verzonden, doorgegeven of anderszins worden geraadpleegd;

(f) de verwerking van persoonsgegevens in het kader van de testomgeving mag niet leiden tot maatregelen of besluiten die gevolgen hebben voor de betrokkenen;

(g) in het kader van de testomgeving verwerkte persoonsgegevens worden gewist nadat de deelname aan de testomgeving is beëindigd of de periode van bewaring van de persoonsgegevens ten einde is gekomen;

(h) de logbestanden van de verwerking van persoonsgegevens in het kader van de testomgeving worden tijdens de duur van de deelname aan de testomgeving en één jaar na beëindiging ervan bewaard, uitsluitend ten behoeve van en alleen zo lang als nodig is voor het nakomen van aansprakelijkheids- en documenteringsverplichtingen overeenkomstig dit artikel of andere toepasselijke wetgeving van de Unie of de lidstaten;

(i) een volledige en gedetailleerde beschrijving van het proces en de onderbouwing van het trainen, testen en valideren van het AI-systeem wordt samen de testresultaten bewaard als onderdeel van de technische documentatie in bijlage IV;

(j) een korte samenvatting van het in de testomgeving ontwikkelde AI-project en de doelstellingen en verwachte resultaten ervan worden op de website van de bevoegde autoriteiten gepubliceerd.

2. Lid 1 laat wetgeving van de Unie of de lidstaten onverlet, uitgezonderd verwerking voor andere doeleinden dan die uitdrukkelijk vermeld in die wetgeving.

Artikel 55: Maatregelen voor kleine aanbieders en gebruikers

1. De lidstaten ondernemen de volgende acties:

(a) kleine aanbieders en start-ups prioritaire toegang verlenen tot de AI-testomgevingen voor regelgeving voor zover zij aan de toelatingscriteria voldoen;

(b) specifieke bewustmakingsactiviteiten organiseren rond de toepassing van deze verordening, afgestemd op de behoeften van kleine aanbieders en gebruikers;

(c) indien passend een specifiek kanaal voor communicatie met kleine aanbieders en gebruikers en andere innovatoren opzetten om begeleiding te bieden en vragen over de uitvoering van deze verordening te beantwoorden.

2. De specifieke belangen en behoeften van kleine aanbieders worden in aanmerking genomen bij het bepalen van de vergoedingen voor conformiteitsbeoordelingen overeenkomstig artikel 43, waarbij die vergoedingen naar evenredigheid van hun omvang en marktgrootte worden verlaagd.

TITEL VI: GOVERNANCE

Hoofdstuk 1: Europees Comité voor artificiële intelligentie

Artikel 56: Oprichting van het Europees Comité voor artificiële intelligentie

1. Er wordt een Europees Comité voor artificiële intelligentie (het “Comité”) opgericht.

2. Het Comité verstrekt advies en bijstand aan de Commissie teneinde:

(a) bij te dragen aan de doeltreffende samenwerking van de nationale toezichthoudende autoriteiten en de Commissie ten aanzien van de onder deze verordening vallende aangelegenheden;

(b) te zorgen voor coördinatie van en bijdrage aan de begeleiding en analyse door de Commissie en de nationale toezichthoudende autoriteiten en andere bevoegde autoriteiten wat betreft opkomende kwesties in de gehele interne markt ten aanzien van de onder deze verordening vallende aangelegenheden;

(c) de nationale toezichthoudende autoriteiten en de Commissie bij te staan bij het waarborgen van de consistente toepassing van deze verordening.

Artikel 57: Structuur van het Comité

1. Het Comité is samengesteld uit de nationale toezichthoudende autoriteiten, die worden vertegenwoordigd door het hoofd of een gelijkwaardige hoge ambtenaar van die autoriteit, en de Europese Toezichthouder voor gegevensbescherming. Andere nationale autoriteiten kunnen voor de vergaderingen worden uitgenodigd, wanneer de besproken kwesties relevant zijn voor hen.

2. Het Comité stelt zijn reglement bij eenvoudige meerderheid van zijn leden vast, na goedkeuring door de Commissie. Het reglement bevat ook de operationele aspecten ten aanzien van de uitvoering van de taken van het Comité als vermeld in artikel 58. Het Comité kan in voorkomend geval subgroepen oprichten om specifieke kwesties te onderzoeken.

3. Het Comité wordt voorgezeten door de Commissie. De Commissie roept de vergaderingen bijeen en stelt de agenda op overeenkomstig de taken van het Comité krachtens deze verordening en overeenkomstig zijn reglement. De Commissie biedt administratieve en analytische steun voor de activiteiten van het Comité krachtens deze verordening.

4. Het Comité kan externe deskundigen en waarnemers uitnodigen om zijn vergaderingen bij te wonen en kan besprekingen houden met belanghebbende derden om in passende mate informatie te verstrekken over zijn activiteiten. Hiertoe kan de Commissie uitwisseling van informatie tussen het Comité en andere instanties, bureaus, agentschappen en adviesgroepen van de Unie bevorderen.

Artikel 58: Taken van het Comité

Bij het verstrekken van advies en bijstand aan de Commissie in het kader van artikel 56, lid 2, heeft het Comité met name de volgende taken:

(a) expertise en beste praktijken onder de lidstaten verzamelen en delen;

(b) bijdragen aan uniforme administratieve praktijken in de lidstaten, ook voor de werking van testomgevingen voor regelgeving als bedoeld in artikel 53;

(c) adviezen, aanbevelingen of schriftelijke bijdragen afgeven over aangelegenheden met betrekking tot de uitvoering van deze verordening, met name

i) over technische specificaties of bestaande normen ten aanzien van de in titel III, hoofdstuk 2, beschreven voorschriften,

ii) over het gebruik van geharmoniseerde normen of gemeenschappelijke specificaties als bedoeld in de artikelen 40 en 41,

iii) over de opstelling van begeleidende documenten, waaronder de richtsnoeren betreffende de bepaling van administratieve boeten als bedoeld in artikel 71.

HOOFDSTUK 2: NATIONELE BEVOEGDE AUTORITEITEN

Artikel 59: Aanwijzing van nationale bevoegde autoriteiten

1. Nationale bevoegde autoriteiten worden door elke lidstaat opgericht of aangewezen met het oog op het waarborgen van de toepassing en uitvoering van deze verordening. Nationale bevoegde autoriteiten worden zodanig georganiseerd dat de objectiviteit en onpartijdigheid van hun activiteiten en taken gewaarborgd zijn.

2. Elke lidstaat wijst een nationale toezichthoudende autoriteit onder de nationale bevoegde autoriteiten aan. De nationale toezichthoudende autoriteit treedt op als aanmeldende instantie en markttoezichtautoriteit tenzij een lidstaat organisatorische en administratieve redenen heeft om meer dan één autoriteit aan te wijzen.

3. De lidstaten stellen de Commissie in kennis van hun aanwijzing(en) en, in voorkomend geval, van de redenen om meer dan één autoriteit aan te wijzen.

4. De lidstaten zorgen ervoor dat nationale bevoegde autoriteiten over voldoende financiële en personele middelen beschikken om hun taken krachtens deze verordening uit te voeren. Nationale bevoegde autoriteiten beschikken met name over voldoende permanent beschikbaar personeel waarvan de bekwaamheid en expertise bestaat uit een grondig inzicht in artificiële-intelligentietechnologieën, gegevens en gegevensverwerking, grondrechten, gezondheids- en veiligheidsrisico’s en kennis van bestaande normen en wettelijke eisen.

5. De lidstaten brengen jaarlijks verslag uit aan de Commissie over de status van de financiële en personele middelen van de nationale bevoegde autoriteiten met een beoordeling van de toereikendheid ervan. De Commissie bezorgt die informatie ter bespreking en voor mogelijke aanbevelingen aan het Comité.

6. De Commissie bevordert de uitwisseling van ervaringen tussen de nationale bevoegde autoriteiten.

7. Nationale bevoegde autoriteiten kunnen begeleiding bij en advies over de uitvoering van deze verordening verstrekken, ook aan kleine aanbieders. Wanneer nationale bevoegde autoriteiten van plan zijn te voorzien in begeleiding en advies ten aanzien van een AI-systeem op gebieden die onder andere Uniewetgeving vallen, worden in voorkomend geval de nationale bevoegde autoriteiten onder die Uniewetgeving geraadpleegd. De lidstaten kunnen ook één centraal contactpunt voor communicatie met exploitanten opzetten.

8. Wanneer instellingen, agentschappen en instanties van de Unie binnen het toepassingsgebied van deze verordening vallen, treedt de Europese Toezichthouder voor gegevensbescherming op als de bevoegde autoriteit voor het toezicht daarop.

TITEL VII: EU-DATABANK VOOR AUTONOME AI-SYSTEMEN MET EEN HOOG RISICO

Artikel 60: EU-databank voor autonome AI-systemen met een hoog risico

1. De Commissie zorgt in samenwerking met de lidstaten voor het opzetten en onderhouden van een EU-databank met informatie als bedoeld in lid 2 betreffende AI-systemen met een hoog risico als bedoeld in artikel 6, lid 2, die overeenkomstig artikel 51 zijn geregistreerd.

2. De in bijlage VIII vermelde data worden door de aanbieders in de EU-databank ingevoerd. De Commissie geeft hun technische en administratieve ondersteuning.

3. De informatie in de EU-databank is toegankelijk voor het publiek.

4. De EU-databank bevat alleen persoonsgegevens voor zover die nodig zijn voor het verzamelen en verwerken van informatie overeenkomstig deze verordening. Deze informatie bevat de namen en contactgegevens van natuurlijke personen die verantwoordelijk zijn voor de registratie van het systeem en wettelijk gemachtigd zijn de aanbieder te vertegenwoordigen.

5. De Commissie is voor de EU-databank de verantwoordelijke voor de verwerking. Zij biedt aanbieders ook adequate technische en administratieve ondersteuning.

TITEL VIII: MONITORING NA HET IN DE HANDEL BRENGEN, INFORMATIE-UITWISSELING, MARKTTOEZICHT

Hoofdstuk 1: Monitoring na het in de handel brengen

Artikel 61: Monitoring door aanbieders na het in de handel brengen en plan voor monitoring na het in de handel brengen voor AI-systemen met een hoog risico

1. Aanbieders moeten een systeem voor monitoring na het in de handel brengen vaststellen en documenteren op een manier die evenredig is aan de aard van de artificiële-intelligentietechnologieën en de risico’s van het AI-systeem met een hoog risico.

2. Het systeem voor monitoring na het in de handel brengen verzamelt, documenteert en analyseert actief en systematisch door gebruikers verstrekte of via andere bronnen verzamelde relevante data over de prestaties van AI-systemen met een hoog risico gedurende hun hele levensduur, en stelt de aanbieder in staat na te gaan of AI-systemen blijvend voldoen aan de in titel III, hoofdstuk 2, beschreven voorschriften.

3. Het systeem voor monitoring na het in de handel brengen is gebaseerd op een plan voor monitoring na het in de handel brengen. Het plan voor monitoring na het in de handel brengen maakt deel uit van de in bijlage IV bedoelde technische documentatie. De Commissie stelt een uitvoeringshandeling vast met daarin gedetailleerde bepalingen voor de opstelling van een model voor het plan voor monitoring na het in de handel brengen en de lijst van elementen die in het plan moeten worden opgenomen.

4. Voor AI-systemen met een hoog risico die onder de in bijlage II bedoelde rechtshandelingen vallen en wanneer een systeem en plan voor monitoring na het in de handel brengen al krachtens die wetgeving zijn vastgesteld, worden de in de leden 1, 2 en 3 beschreven elementen op passende wijze in dat systeem en plan opgenomen.

De eerste alinea is ook van toepassing op in punt 5, b), van bijlage III vermelde AI-systemen met een hoog risico die in de handel zijn gebracht of in bedrijf zijn gesteld door onder Richtlijn 2013/36/EU vallende kredietinstellingen.

Hoofdstuk 2: Uitwisseling van informatie over incidenten en storingen

Artikel 62: Melding van ernstige incidenten en van storingen

1. Aanbieders van in de Unie in de handel gebrachte AI-systemen met een hoog risico melden ernstige incidenten met of storingen van die systemen die een niet-nakoming van verplichtingen krachtens Unierecht ter bescherming van grondrechten inhouden, aan de markttoezichtautoriteiten van de lidstaten waar dat incident of die niet-nakoming plaatsvond.

Een dergelijke melding vindt plaats onmiddellijk nadat de aanbieder een oorzakelijk verband tussen het AI-systeem en het incident of de storing of de redelijke waarschijnlijkheid van een dergelijk verband heeft vastgesteld en in ieder geval uiterlijk 15 dagen nadat de aanbieder zich bewust wordt van het ernstige incident of de storing.

2. Na ontvangst van een melding met betrekking tot een niet-nakoming van verplichtingen krachtens Unierecht ter bescherming van grondrechten stelt de markttoezichtautoriteit de in artikel 64, lid 3, bedoelde nationale overheidsinstanties of -organen in kennis. De Commissie ontwikkelt specifieke richtsnoeren om nakoming van de in lid 1 vermelde verplichtingen te vergemakkelijken. Die richtsnoeren worden uiterlijk twaalf maanden na de inwerkingtreding van deze verordening uitgevaardigd.

3. Voor in punt 5, b), van bijlage III vermelde AI-systemen met een hoog risico die in de handel zijn gebracht of in bedrijf zijn gesteld door onder Richtlijn 2013/36/EU vallende kredietinstellingen en voor AI-systemen met een hoog risico die veiligheidscomponenten van apparaten zijn, of die zelf apparaten zijn, als bedoeld in Verordening (EU) 2017/745 en Verordening (EU) 2017/746, is de melding van ernstige incidenten of van storingen beperkt tot incidenten en storingen die een niet-nakoming van verplichtingen krachtens Unierecht ter bescherming van grondrechten inhouden.

Hoofdstuk 3: Handhaving

Artikel 63: Markttoezicht op en controle van AI-systemen op de markt van de Unie

1. Verordening (EU) 2019/1020 is van toepassing op AI-systemen die onder deze verordening vallen. Voor de doeltreffende handhaving van deze verordening geldt echter het volgende:

(a) verwijzingen naar een marktdeelnemer krachtens Verordening (EU) 2019/1020 worden begrepen als verwijzingen naar alle exploitanten als bedoeld in titel III, hoofdstuk 3, van deze verordening;

(b) verwijzingen naar een product krachtens Verordening (EU) 2019/1020 worden begrepen als verwijzingen naar alle AI-systemen die binnen het toepassingsgebied van deze verordening vallen.

2. De nationale toezichthoudende autoriteit brengt aan de Commissie regelmatig verslag uit over de resultaten van relevante markttoezichtactiviteiten. De nationale toezichthoudende autoriteit stelt de Commissie en relevante nationale mededingingsautoriteiten onverwijld in kennis van eventuele tijdens markttoezichtactiviteiten verkregen informatie die van potentieel belang kan zijn voor de toepassing van het Unierecht op mededingingsregels.

3. Voor AI-systemen met een hoog risico, met betrekking tot producten waarop in bijlage II, deel A, vermelde rechtshandelingen van toepassing zijn, is de markttoezichtautoriteit voor de toepassing van deze verordening de autoriteit die verantwoordelijk is voor markttoezichtactiviteiten volgens die rechtshandelingen.

4. Voor AI-systemen met een hoog risico die in de handel zijn gebracht, in bedrijf zijn gesteld of worden gebruikt door kredietinstellingen geregeld bij Uniewetgeving inzake financiële diensten, is de markttoezichtautoriteit voor de toepassing van deze verordening de relevante autoriteit die verantwoordelijk is voor het financiële toezicht op die instellingen krachtens die wetgeving.

5. Voor in lid 1, punt a), genoemde AI-systemen, voor zover de systemen voor rechtshandhavingsdoeleinden worden gebruikt volgens de punten 6 en 7 van bijlage III, wijzen de lidstaten als markttoezichtautoriteiten voor de toepassing van deze verordening hetzij de bevoegde toezichthoudende autoriteiten inzake gegevensbescherming krachtens Richtlijn (EU) 2016/680 of Verordening 2016/679 aan, hetzij de nationale bevoegde autoriteiten die toezicht houden op de activiteiten van de rechtshandhavings-, immigratie- of asielautoriteiten die deze systemen in bedrijf stellen of gebruiken.

6. Wanneer instellingen, agentschappen en instanties van de Unie binnen het toepassingsgebied van deze verordening vallen, treedt de Europese Toezichthouder voor gegevensbescherming op als hun markttoezichtautoriteit.

7. De lidstaten vergemakkelijken de coördinatie tussen krachtens deze verordening aangewezen markttoezichtautoriteiten en andere relevante nationale autoriteiten of instanties die toezicht houden op de toepassing van in bijlage II vermelde harmonisatiewetgeving van de Unie of andere Uniewetgeving die relevant kan zijn voor de AI-systemen met een hoog risico als bedoeld in bijlage III.

Artikel 64: Toegang tot data en documentatie

1. In de context van hun activiteiten wordt de markttoezichtautoriteiten volledige toegang verleend tot de door de aanbieder gebruikte datareeksen voor trainings-, validatie- en testdoeleinden, onder meer via applicatieprogramma-interfaces (API’s) of andere passende technische middelen en instrumenten die toegang op afstand mogelijk maken.

2. Indien dit nodig is om de overeenstemming van het AI-systeem met een hoog risico met de in titel III, hoofdstuk 2, beschreven voorschriften te beoordelen, wordt de markttoezichtautoriteiten na een met redenen omkleed verzoek toegang verleend tot de broncode van het AI-systeem.

3. Nationale overheidsinstanties of -organen die de nakoming van verplichtingen krachtens Unierecht ter bescherming van grondrechten met betrekking tot het gebruik van AI-systemen met een hoog risico als bedoeld in bijlage III controleren of handhaven, zijn bevoegd om krachtens deze verordening opgestelde of bijgehouden documentatie aan te vragen en in te zien wanneer toegang tot die documentatie nodig is voor de uitoefening van de bevoegdheden onder hun mandaat binnen de grenzen van hun rechtsgebied. De relevante overheidsinstantie of het relevante overheidsorgaan stelt de markttoezichtautoriteit van de betrokken lidstaat van een dergelijke aanvraag in kennis.

4. Uiterlijk drie maanden na de inwerkingtreding van deze verordening moet elke lidstaat de in lid 3 bedoelde overheidsinstanties of -organen identificeren en een lijst openbaar maken op de website van de nationale toezichthoudende autoriteit. De lidstaten stellen de Commissie en alle andere lidstaten in kennis van de lijst en houden deze up-to-date.

5. Indien de in lid 3 bedoelde documentatie ontoereikend is om vast te stellen of sprake is geweest van een niet-nakoming van verplichtingen krachtens Unierecht ter bescherming van grondrechten, kunnen de in lid 3 bedoelde overheidsinstanties of -organen een met redenen omkleed verzoek bij de markttoezichtautoriteit indienen om over te gaan tot het testen van het AI-systeem met een hoog risico met technische middelen. De markttoezichtautoriteit organiseert de testprocedure binnen een redelijke termijn na het verzoek en met nauwe betrokkenheid van de verzoekende overheidsinstantie of het verzoekende overheidsorgaan.

6. Door de in lid 3 bedoelde overheidsinstanties of -organen volgens de bepalingen van dit artikel verkregen informatie en documentatie worden verwerkt overeenkomstig de in artikel 70 beschreven geheimhoudingsverplichtingen.

Artikel 65: Procedure voor de omgang met AI-systemen die een risico op nationaal niveau inhouden

1. Onder AI-systemen die een risico inhouden wordt verstaan een product dat een in artikel 3, punt 19, van Verordening (EU) 2019/1020 gedefinieerd risico inhoudt voor zover dit betrekking heeft op risico’s voor de gezondheid of veiligheid of voor de bescherming van grondrechten van personen.

2. Indien de markttoezichtautoriteit van een lidstaat voldoende redenen heeft om ervan uit te gaan dat een AI-systeem een risico inhoudt zoals bedoeld in lid 1, verricht zij een evaluatie van het betrokken AI-systeem ten aanzien van de overeenstemming ervan met alle eisen en verplichtingen van deze verordening. Wanneer sprake is van risico’s voor de bescherming van grondrechten, stelt de markttoezichtautoriteit ook de in artikel 64, lid 3, bedoelde relevante nationale overheidsinstanties of -organen in kennis. De relevante exploitanten werken indien nodig samen met de markttoezichtautoriteiten en de andere in artikel 64, lid 3, bedoelde nationale overheidsinstanties of -organen.

Indien de markttoezichtautoriteit bij deze beoordeling vaststelt dat het AI-systeem niet aan de eisen en verplichtingen van deze verordening voldoet, gelast zij de betrokken exploitant onverwijld passende corrigerende maatregelen te nemen om het AI-systeem binnen een door haar vast te stellen redelijke termijn, die evenredig is met de aard van het risico, conform te maken, uit de handel te nemen of terug te roepen.

De markttoezichtautoriteit stelt de relevante aangemelde instantie daarvan in kennis. Artikel 18 van Verordening (EU) 2019/1020 is van toepassing op de in de tweede alinea genoemde maatregelen.

3. Indien de markttoezichtautoriteit van mening is dat de non-conformiteit niet beperkt blijft tot haar nationale grondgebied, brengt zij de Commissie en de andere lidstaten op de hoogte van de resultaten van de evaluatie en van de maatregelen die zij de exploitant heeft opgelegd.

4. De exploitant zorgt ervoor dat alle betrokken AI-systemen die hij in de Unie op de markt heeft aangeboden aan alle passende corrigerende maatregelen worden onderworpen.

5. Indien de exploitant van een AI-systeem niet binnen de in lid 2 bedoelde termijn doeltreffende corrigerende actie onderneemt, neemt de markttoezichtautoriteit alle passende voorlopige maatregelen om het op haar nationale markt aanbieden van het AI-systeem te verbieden of te beperken, het product in de betrokken lidstaat uit de handel te nemen of terug te roepen. Die autoriteit brengt de Commissie en de andere lidstaten onverwijld van deze maatregelen op de hoogte.

6. De in lid 5 bedoelde informatie omvat alle bekende bijzonderheden, met name de gegevens die nodig zijn om het non-conforme AI-systeem te identificeren en om de oorsprong van het AI-systeem, de aard van de beweerde non-conformiteit en van het risico, en de aard en de duur van de nationale maatregelen vast te stellen, evenals de argumenten die worden aangevoerd door de desbetreffende exploitant. De markttoezichtautoriteiten vermelden met name of de non-conformiteit een of meer van de volgende redenen heeft:

(a) het AI-systeem voldoet niet aan in titel III, hoofdstuk 2, beschreven voorschriften;

(b) tekortkomingen in de in de artikelen 40 en 41 bedoelde geharmoniseerde normen of gemeenschappelijke specificaties die een vermoeden van conformiteit rechtvaardigen.

7. De markttoezichtautoriteiten van de andere lidstaten dan die welke de procedure in gang heeft gezet, brengen de Commissie en de andere lidstaten onverwijld op de hoogte van door hen genomen maatregelen en van aanvullende informatie over de non-conformiteit van het AI-systeem waarover zij beschikken, en van hun bezwaren indien zij het niet eens zijn met de aangemelde nationale maatregel.

8. Indien binnen drie maanden na ontvangst van de in lid 5 bedoelde informatie door een lidstaat of de Commissie geen bezwaar tegen een voorlopige maatregel van een lidstaat is ingediend, wordt die maatregel geacht gerechtvaardigd te zijn. Dit is onverminderd de procedurele rechten van de betrokken exploitant overeenkomstig artikel 18 van Verordening (EU) 2019/1020.

9. De markttoezichtautoriteiten van alle lidstaten zorgen ervoor dat ten aanzien van het betrokken product onmiddellijk de passende beperkende maatregelen worden genomen, zoals het uit de handel nemen van het product op hun markt.

Artikel 66: Vrijwaringsprocedure van de Unie

1. Indien een lidstaat binnen drie maanden na ontvangst van de in artikel 65, lid 5, bedoelde kennisgeving bezwaar maakt tegen een door een andere lidstaat genomen maatregel of wanneer de Commissie de maatregel in strijd acht met het Unierecht, treedt de Commissie onverwijld in overleg met de relevante lidstaten en exploitant of exploitanten en evalueert zij de nationale maatregel. Op grond van de resultaten van die evaluatie besluit de Commissie binnen negen maanden na ontvangst van de in artikel 65, lid 5, bedoelde kennisgeving of de nationale maatregel al dan niet gerechtvaardigd is en stelt zij de betrokken lidstaat in kennis van dat besluit.

2. Indien de nationale maatregel gerechtvaardigd wordt geacht, nemen alle lidstaten de nodige maatregelen om het non-conforme AI-systeem uit de handel te nemen en stellen zij de Commissie daarvan in kennis. Indien de nationale maatregel niet gerechtvaardigd wordt geacht, trekt de betrokken lidstaat de maatregel in.

3. Indien de nationale maatregel gerechtvaardigd wordt geacht en de non-conformiteit van het AI-systeem wordt toegeschreven aan tekortkomingen in de geharmoniseerde normen of gemeenschappelijke specificaties bedoeld in de artikelen 40 en 41 van deze verordening, past de Commissie de procedure van artikel 11 van Verordening (EU) nr. 1025/2012 toe.

Artikel 67: Conforme AI-systemen die een risico inhouden

1. Indien de markttoezichtautoriteit van een lidstaat na uitvoering van een evaluatie overeenkomstig artikel 65 vaststelt dat een AI-systeem dat voldoet aan deze verordening, toch een risico inhoudt voor de gezondheid of veiligheid van personen, voor de nakoming van verplichtingen krachtens het Unie- of interne recht ter bescherming van grondrechten of voor andere aspecten van de bescherming van algemene belangen, verlangt zij van de relevante exploitant dat hij alle passende maatregelen neemt om ervoor te zorgen dat het betrokken AI-systeem dat risico niet meer inhoudt wanneer het in de handel wordt gebracht of in bedrijf wordt gesteld, of om het AI-systeem binnen een door haar vast te stellen redelijke termijn, die evenredig is met de aard van het risico, uit de handel te nemen of terug te roepen.

2. De aanbieder of andere relevante exploitanten zorgen ervoor dat binnen de door de markttoezichtautoriteit van de lidstaat vastgestelde termijn als bedoeld in lid 1 corrigerende maatregelen worden genomen ten aanzien van alle betrokken AI-systemen die zij in de Unie op de markt hebben aangeboden.

3. De lidstaat brengt daar de Commissie en de andere lidstaten onmiddellijk van op de hoogte. Die informatie omvat alle bekende bijzonderheden, met name de gegevens die nodig zijn om het betrokken AI-systeem te identificeren en om de oorsprong en de toeleveringsketen van het AI-systeem, de aard van het betrokken risico en de aard en de duur van de nationale maatregelen vast te stellen.

4. De Commissie treedt onverwijld in overleg met de lidstaten en de relevante exploitant en evalueert de genomen nationale maatregelen. Aan de hand van die beoordeling besluit de Commissie of de maatregel al dan niet gerechtvaardigd is, en stelt zij zo nodig passende maatregelen voor.

5. De Commissie deel haar besluit aan de lidstaten mee.

Artikel 68: Formele non-conformiteit

1. Indien de markttoezichtautoriteit van een lidstaat een van de volgende feiten vaststelt, verlangt zij van de betrokken aanbieder dat deze een einde maakt aan de non-conformiteit:

(a) de conformiteitsmarkering is in strijd met artikel 49 aangebracht;

(b) de conformiteitsmarkering is niet aangebracht;

(c) de EU-conformiteitsverklaring is niet opgesteld;

(d) de EU-conformiteitsverklaring is niet correct opgesteld;

(e) het identificatienummer van de aangemelde instantie, die betrokken is bij de conformiteitsbeoordelingsprocedure, in voorkomend geval, is niet aangebracht.

2. Indien de in lid 1 bedoelde non-conformiteit voortduurt, neemt de betrokken lidstaat alle passende maatregelen om het op de markt aanbieden van het AI-systeem met een hoog risico te beperken of te verbieden, of het AI-systeem terug te roepen of uit de handel te nemen.

TITEL IX: GEDRAGSCODES

Artikel 69: Gedragscodes

1. De Commissie en de lidstaten stimuleren en vergemakkelijken de opstelling van gedragscodes die bedoeld zijn om de vrijwillige toepassing van de in titel III, hoofdstuk 2, beschreven voorschriften op andere AI-systemen dan AI-systemen met een hoog risico te bevorderen op basis van technische specificaties en oplossingen die passende middelen zijn om naleving van zulke voorschriften in het licht van het beoogde doel van de systemen te waarborgen.

2. De Commissie en het Comité stimuleren en vergemakkelijken de opstelling van gedragscodes die bedoeld zijn om de vrijwillige toepassing op AI-systemen te bevorderen van eisen die bijvoorbeeld betrekking hebben op milieuduurzaamheid, toegankelijkheid voor personen met een handicap, deelname van belanghebbenden aan het ontwerp en de ontwikkeling van AI-systemen en diversiteit van ontwikkelingsteams op basis van duidelijke doelstellingen en kernprestatie-indicatoren om de verwezenlijking van die doelstellingen te meten.

3. Gedragscodes kunnen door individuele aanbieders van AI-systemen of door organisaties die hen vertegenwoordigen, of allebei, worden opgesteld, ook met betrokkenheid van gebruikers en geïnteresseerde belanghebbenden en hun representatieve organisaties. Gedragscodes kunnen betrekking hebben op een of meer AI-systemen, rekening houdend met de overeenkomst van het beoogde doel van de relevante systemen.

4. De Commissie en het Comité houden rekening met de specifieke belangen en behoeften van de kleine aanbieders en start-ups bij het stimuleren en vergemakkelijken van de opstelling van gedragscodes.

TITEL X: VERTROUWELIJKHEID EN SANCTIES

Artikel 70: Vertrouwelijkheid

1. Nationale bevoegde autoriteiten en aangemelde instanties die betrokken zijn bij de toepassing van deze verordening, eerbiedigen de vertrouwelijke aard van informatie en gegevens die zij hebben verkregen tijdens het uitvoeren van hun taken en activiteiten met het oog op de bescherming van:

(a) intellectuele-eigendomsrechten, en vertrouwelijke bedrijfsinformatie of bedrijfsgeheimen van een natuurlijke of rechtspersoon, waaronder de broncode, uitgezonderd de in artikel 5 van Richtlijn (EU) 2016/943 betreffende de bescherming van niet-openbaar gemaakte knowhow en bedrijfsinformatie (bedrijfsgeheimen) tegen het onrechtmatig verkrijgen, gebruiken en openbaar maken daarvan vermelde gevallen;

(b) de doeltreffende uitvoering van deze verordening, met name de uitvoering van inspecties, onderzoeken of audits; c) openbare en nationale veiligheidsbelangen;

(c) de integriteit van strafrechtelijke of administratieve procedures.

2. Onverminderd lid 1 mag op vertrouwelijke basis tussen de nationale bevoegde autoriteiten en tussen nationale bevoegde autoriteiten en de Commissie uitgewisselde informatie niet openbaar worden gemaakt zonder de voorafgaande raadpleging van de nationale bevoegde autoriteit waarvan de informatie afkomstig is en de gebruiker wanneer in de punten 1, 6 en 7 van bijlage III bedoelde AI-systemen met een hoog risico worden gebruikt door rechtshandhavings-, immigratie- of asielautoriteiten, wanneer dergelijke openbaarmaking openbare en nationale veiligheidsbelangen in gevaar zou brengen.

Wanneer de rechtshandhavings-, immigratie- of asielautoriteiten aanbieder van in de punten 1, 6 en 7 van bijlage III bedoelde AI-systemen met een hoog risico zijn, blijft de in bijlage IV vermelde technische documentatie in de gebouwen van die autoriteiten. Die autoriteiten waarborgen dat de markttoezichtautoriteiten bedoeld in artikel 63, leden 5 en 6, indien nodig op verzoek onmiddellijk toegang tot de documentatie kunnen krijgen of een kopie ervan kunnen ontvangen. Alleen personeel van de markttoezichtautoriteit met een passende veiligheidsmachtiging mag die documentatie of kopieën ervan inzien.

3. De leden 1 en 2 laten de rechten en verplichtingen van de Commissie, de lidstaten en de aangemelde instanties met betrekking tot de uitwisseling van informatie en de verspreiding van waarschuwingen, alsook de verplichtingen van de betrokken partijen om in het kader van het strafrecht van de lidstaten informatie te verstrekken, onverlet.

4. De Commissie en de lidstaten kunnen indien nodig vertrouwelijke informatie uitwisselen met regelgevingsinstanties van derde landen waarmee zij bilaterale of multilaterale geheimhoudingsovereenkomsten hebben gesloten die een passend niveau van geheimhouding waarborgen.

Artikel 71: Sancties

1. Overeenkomstig de voorwaarden van deze verordening stellen de lidstaten de voorschriften voor sancties vast, waaronder administratieve geldboeten, die van toepassing zijn op inbreuken op deze verordening en nemen zij alle nodige maatregelen om ervoor te zorgen dat deze naar behoren en doeltreffend worden uitgevoerd. De vastgestelde sancties moeten doeltreffend, evenredig en afschrikkend zijn. Hierbij wordt met name rekening gehouden met de belangen van kleine aanbieders en start-ups en hun economische levensvatbaarheid.

2. De lidstaten stellen de Commissie van die voorschriften en maatregelen in kennis en delen haar onverwijld alle latere wijzigingen daarvan mee.

3. Voor de volgende inbreuken gelden administratieve geldboeten tot 30 000 000 EUR of, als de overtreder een onderneming is, tot 6 % van haar totale wereldwijde jaarlijkse omzet voor het voorafgaande boekjaar, als dat hoger is:

(a) niet-naleving van het verbod van de in artikel 5 vermelde praktijken op het gebied van artificiële intelligentie;

(b) non-conformiteit van het AI-systeem met de in artikel 10 neergelegde voorschriften.

4. Voor de non-conformiteit van het AI-systeem met voorschriften of verplichtingen krachtens deze verordening, uitgezonderd die bepaald in de artikelen 5 en 10, gelden administratieve geldboeten tot 20 000 000 EUR of, als de overtreder een onderneming is, tot 4 % van haar totale wereldwijde jaarlijkse omzet voor het voorafgaande boekjaar, als dat hoger is.

5. Voor de verstrekking van onjuiste, onvolledige of misleidende informatie aan aangemelde instanties en nationale bevoegde autoriteiten naar aanleiding van een verzoek, gelden administratieve geldboeten tot 10 000 000 EUR of, als de overtreder een onderneming is, tot 2 % van haar totale wereldwijde jaarlijkse omzet voor het voorafgaande boekjaar, als dat hoger is.

6. Bij het bepalen van het bedrag van de administratieve geldboete in elk individueel geval worden alle relevante omstandigheden van de specifieke situatie in aanmerking genomen en wordt terdege rekening gehouden met het volgende:

(a) de aard, ernst en duur van de inbreuk en de gevolgen ervan;

(b) of administratieve geldboeten reeds door andere markttoezichtautoriteiten voor dezelfde inbreuk op dezelfde exploitant zijn toegepast;

(c) de omvang en het marktaandeel van de exploitant die de inbreuk pleegt.

7. Elke lidstaat stelt regels vast betreffende de vraag of en in hoeverre administratieve geldboeten kunnen worden opgelegd aan in die lidstaat gevestigde overheidsinstanties of -organen.

8. Afhankelijk van het rechtssysteem van de lidstaten kunnen de regels voor administratieve geldboeten zodanig worden toegepast dat de boeten door bevoegde nationale rechters of andere instanties in voorkomend geval in die lidstaten worden opgelegd. De toepassing van zulke regels in die lidstaten heeft een gelijkwaardig effect.

Artikel 72: Administratieve geldboeten voor instellingen, agentschappen en instanties van de Unie

1. De Europese Toezichthouder voor gegevensbescherming kan administratieve geldboeten opleggen aan instellingen, agentschappen en instanties van de Unie die binnen het toepassingsgebied van deze verordening vallen. Bij het besluiten om al dan niet een administratieve geldboete op te leggen en het bepalen van het bedrag van de administratieve geldboete in elk individueel geval worden alle relevante omstandigheden van de specifieke situatie in aanmerking genomen en wordt terdege rekening gehouden met het volgende:

(a) de aard, ernst en duur van de inbreuk en de gevolgen ervan;

(b) de samenwerking met de Europese Toezichthouder voor gegevensbescherming om de inbreuk te verhelpen en de mogelijke nadelige gevolgen van de inbreuk te beperken, waaronder naleving van eventuele maatregelen die eerder door de Europese Toezichthouder voor gegevensbescherming ten aanzien van dezelfde kwestie aan de betrokken instelling of instantie of het betrokken agentschap van de Unie zijn opgelegd;

(c) soortgelijke eerdere inbreuken door de instelling of instantie of het agentschap van de Unie.

2. Voor de volgende inbreuken gelden administratieve geldboeten tot 500 000 EUR:

(a) niet-naleving van het verbod van de in artikel 5 vermelde praktijken op het gebied van artificiële intelligentie;

(b) non-conformiteit van het AI-systeem met de in artikel 10 neergelegde voorschriften.

3. Voor de non-conformiteit van het AI-systeem met voorschriften of verplichtingen krachtens deze verordening, uitgezonderd die bepaald in de artikelen 5 en 10, gelden administratieve geldboeten tot 250 000 EUR.

4. Alvorens een besluit op grond van dit artikel te nemen, stelt de Europese Toezichthouder voor gegevensbescherming de instelling of instantie of het orgaan van de Unie ten aanzien waarvan hij een procedure volgt, in de gelegenheid om te worden gehoord over de mogelijke inbreuk. De Europese Toezichthouder voor gegevensbescherming baseert zijn besluiten uitsluitend op elementen en omstandigheden waarover de betrokken partijen opmerkingen hebben kunnen maken. Eventuele indieners van klachten worden nauw betrokken bij de procedure.

5. Het recht van verdediging van de partijen wordt in de loop van de procedure ten volle geëerbiedigd. Zij hebben recht op toegang tot het dossier van de Europese Toezichthouder voor gegevensbescherming, onder voorbehoud van het gerechtvaardigde belang van andere personen of ondernemingen bij de bescherming van hun persoonsgegevens of bedrijfsgeheimen.

6. De bedragen die worden geïnd door het opleggen van de geldboeten van dit artikel, worden beschouwd als ontvangsten voor de algemene begroting van de Unie.

TITEL XI: BEVOEGDHEIDSDELEGATIE EN COMITÉPROCEDURE

Artikel 73: Uitoefening van de bevoegdheidsdelegatie

1. De bevoegdheid om gedelegeerde handelingen vast te stellen, wordt aan de Commissie toegekend onder de in dit artikel neergelegde voorwaarden.

2. De in artikel 4, artikel 7, lid 1, artikel 11, lid 3, artikel 43, leden 5 en 6, en artikel 48, lid 5, bedoelde bevoegdheidsdelegatie wordt met ingang van [datum waarop de verordening in werking treedt] voor onbepaalde tijd aan de Commissie verleend.

3. Het Europees Parlement of de Raad kan de in artikel 4, artikel 7, lid 1, artikel 11, lid 3, artikel 43, leden 5 en 6, en artikel 48, lid 5, bedoelde bevoegdheidsdelegatie te allen tijde intrekken. Het besluit tot intrekking beëindigt de delegatie van de in dat besluit genoemde bevoegdheid. Het wordt van kracht op de dag na die van de bekendmaking ervan in het Publicatieblad van de Europese Unie of op een daarin genoemde latere datum. Het laat de geldigheid van de reeds van kracht zijnde gedelegeerde handelingen onverlet.

4. Zodra de Commissie een gedelegeerde handeling heeft vastgesteld, doet zij daarvan gelijktijdig kennisgeving aan het Europees Parlement en de Raad.

5. Een overeenkomstig artikel 4, artikel 7, lid 1, artikel 11, lid 3, artikel 43, leden 5 en 6, en artikel 48, lid 5, vastgestelde gedelegeerde handeling treedt alleen in werking indien het Europees Parlement noch de Raad daartegen binnen een termijn van drie maanden na de kennisgeving van de handeling aan het Europees Parlement en de Raad bezwaar heeft gemaakt, of indien zowel het Europees Parlement als de Raad voor het verstrijken van die termijn de Commissie hebben meegedeeld dat zij daartegen geen bezwaar zullen maken. Die termijn wordt op initiatief van het Europees Parlement of de Raad met drie maanden verlengd.

Artikel 74: Comitéprocedure

1. De Commissie wordt bijgestaan door een comité. Dit comité is een comité in de zin van Verordening (EU) nr. 182/2011.

2. Wanneer naar dit lid wordt verwezen, is artikel 5 van Verordening (EU) nr. 182/2011 van toepassing.

TITEL XII: SLOTBEPALINGEN

Artikel 75: Wijziging van Verordening (EG) nr. 300/2008

Aan artikel 4, lid 3, van Verordening (EG) nr. 300/2008 wordt de volgende alinea toegevoegd:

“Bij het vaststellen van gedetailleerde maatregelen met betrekking tot technische specificaties en procedures voor de goedkeuring en het gebruik van veiligheidsuitrusting betreffende artificiële-intelligentiesystemen in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

Artikel 76: Wijziging van Verordening (EU) nr. 167/2013

Aan artikel 17, lid 5, van Verordening (EU) nr. 167/2013 wordt de volgende alinea toegevoegd:

“Bij het vaststellen van gedelegeerde handelingen krachtens de eerste alinea betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

Artikel 77: Wijziging van Verordening (EU) nr. 168/2013

Aan artikel 22, lid 5, van Verordening (EU) nr. 168/2013 wordt de volgende alinea toegevoegd:

“Bij het vaststellen van gedelegeerde handelingen krachtens de eerste alinea betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

Artikel 78: Wijziging van Richtlijn 2014/90/EU

Aan artikel 8 van Richtlijn 2014/90/EU wordt het volgende lid toegevoegd:

“4. Voor artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, neemt de Commissie bij het uitvoeren van haar activiteiten krachtens lid 1 en bij het vaststellen van technische specificaties en testnormen overeenkomstig de leden 2 en 3 de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

Artikel 79: Wijziging van Richtlijn (EU) 2016/797

Aan artikel 5 van Richtlijn (EU) 2016/797 wordt het volgende lid toegevoegd:

“12. Bij het vaststellen van gedelegeerde handelingen krachtens lid 1 en uitvoeringshandelingen krachtens lid 11 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

Artikel 80: Wijziging van Verordening (EU) 2018/858

Aan artikel 5 van Verordening (EU) 2018/858 wordt het volgende lid toegevoegd:

“4. Bij het vaststellen van gedelegeerde handelingen krachtens lid 3 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

Artikel 81: Wijziging van Verordening (EU) 2018/1139

Verordening (EU) 2018/1139 wordt als volgt gewijzigd:

1) Aan artikel 17 wordt het volgende lid toegevoegd:

“3. Onverminderd lid 2 worden bij het vaststellen van uitvoeringshandelingen krachtens lid 1 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

2) Aan artikel 19 wordt het volgende lid toegevoegd:

“4. Bij het vaststellen van gedelegeerde handelingen krachtens de leden 1 en 2 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie], worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.”

3) Aan artikel 43 wordt het volgende lid toegevoegd:

“4. Bij het vaststellen van uitvoeringshandelingen krachtens lid 1 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie], worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.”

4) Aan artikel 47 wordt het volgende lid toegevoegd:

“3. Bij het vaststellen van gedelegeerde handelingen krachtens de leden 1 en 2 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie], worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.”

5) Aan artikel 57 wordt het volgende lid toegevoegd:

“Bij het vaststellen van die uitvoeringshandelingen betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie], worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.”

6) Aan artikel 58 wordt het volgende lid toegevoegd:

“3. Bij het vaststellen van gedelegeerde handelingen krachtens de leden 1 en 2 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie], worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.”.

Artikel 82: Wijziging van Verordening (EU) 2019/2144

Aan artikel 11 van Verordening (EU) 2019/2144 wordt het volgende lid toegevoegd:

“3. Bij het vaststellen van de uitvoeringshandelingen krachtens lid 2 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

Artikel 83: Reeds in de handel gebrachte of in bedrijf gestelde AI-systemen

1. Deze verordening is niet van toepassing op AI-systemen die componenten zijn van de volgens de in bijlage IX vermelde rechtshandelingen opgezette grootschalige IT-systemen die in de handel zijn gebracht of in bedrijf zijn gesteld vóór [twaalf maanden na de in artikel 85, lid 2, vermelde datum van inwerkingtreding van deze verordening], tenzij de vervanging of wijziging van die rechtshandelingen aanleiding geeft tot een significante wijziging in het ontwerp of het beoogde doel van het betrokken AI-systeem of de betrokken AI-systemen.

De in deze verordening vastgelegde voorschriften worden in voorkomend geval in aanmerking genomen bij de evaluatie van elk volgens de in bijlage IX vermelde rechtshandelingen opgezet grootschalig IT-systeem die moet worden uitgevoerd zoals bepaald in die respectieve handelingen.

2. Deze verordening is alleen van toepassing op AI-systemen met een hoog risico, uitgezonderd die bedoeld in lid 1, die in de handel zijn gebracht of in bedrijf zijn gesteld vóór [de in artikel 85, lid 2, vermelde datum van inwerkingtreding van deze verordening], als die systemen vanaf die datum significante wijzigingen in hun ontwerp of het beoogde doel ondergaan.

Artikel 84: Evaluatie en toetsing

1. De Commissie beoordeelt na de inwerkingtreding van deze verordening eenmaal per jaar of de lijst in bijlage III moet worden gewijzigd.

2. Uiterlijk [drie jaar na de in artikel 85, lid 2, vermelde datum van inwerkingtreding van deze verordening] en vervolgens om de vier jaar dient de Commissie een verslag in bij het Europees Parlement en de Raad over de evaluatie en de toetsing van deze verordening. De verslagen worden openbaar gemaakt.

3. In de in lid 2 bedoelde verslagen wordt specifieke aandacht besteed aan het volgende:

(a) de status van de financiële en personele middelen van de nationale bevoegde autoriteiten teneinde de hun krachtens deze verordening toegewezen taken doeltreffend uit te voeren;

(b) de stand van zaken wat betreft sancties, en met name administratieve geldboeten als bedoeld in artikel 71, lid 1, die door lidstaten op inbreuken van de bepalingen van deze verordening zijn toegepast.

4. Binnen [drie jaar na de in artikel 85, lid 2, vermelde datum van inwerkingtreding van deze verordening] en vervolgens om de vier jaar evalueert de Commissie de impact en doeltreffendheid van gedragscodes om de toepassing van de in titel III, hoofdstuk 2, beschreven voorschriften en eventuele andere aanvullende voorschriften voor andere AI-systemen dan AI-systemen met een hoog risico te bevorderen.

5. Voor de toepassing van de leden 1 tot en met 4 verstrekken het Comité, de lidstaten en nationale bevoegde autoriteiten informatie aan de Commissie op haar verzoek.

6. Bij de uitvoering van de in de leden 1 tot en met 4 vermelde evaluaties en toetsingen neemt de Commissie de standpunten en bevindingen van het Comité, het Europees Parlement, de Raad en van andere relevante instanties of bronnen in aanmerking.

7. Indien nodig dient de Commissie passende voorstellen in teneinde deze verordening te wijzigen, met name in het licht van ontwikkelingen in de technologie en de stand van zaken in de informatiemaatschappij.

Artikel 85: Inwerkingtreding en toepassing

1. Deze verordening treedt in werking op de twintigste dag na die van de bekendmaking ervan in het Publicatieblad van de Europese Unie.

2. Deze verordening is van toepassing vanaf [24 maanden na de inwerkingtreding van de verordening].

3. In afwijking van lid 2 geldt het volgende:

(a) titel III, hoofdstuk 4, en titel VI zijn van toepassing vanaf [drie maanden na de inwerkingtreding van deze verordening];

(b) artikel 71 is van toepassing vanaf [twaalf maanden na de inwerkingtreding van deze verordening].

BIJLAGE I: TECHNIEKEN EN BENADERINGEN OP HET GEBIED VAN ARTIFICIËLE INTELLIGENTIE; als bedoeld in artikel 3, punt 1

(a) Benaderingen voor machinaal leren, waaronder gecontroleerd, ongecontroleerd en versterkend leren, met behulp van een brede waaier aan methoden, waaronder diep leren (“deep learning”).

(b) Op logica en op kennis gebaseerde benaderingen, waaronder kennisrepresentatie, inductief (logisch) programmeren, kennisbanken, inferentie- en deductiemachines, (symbolisch) redeneren en expertsystemen.

(c) Statistische benaderingen, Bayesiaanse schattings-, zoek- en optimalisatiemethoden.

BIJLAGE II: LIJST VAN HARMONISATIEWETGEVING VAN DE UNIE

Deel A — Lijst van harmonisatiewetgeving van de Unie op basis van het nieuwe wetgevingskader

1. Richtlijn 2006/42/EG van het Europees Parlement en de Raad van 17 mei 2006 betreffende machines en tot wijziging van Richtlijn 95/16/EG (PB L 157 van 9.6.2006, blz. 24) [zoals ingetrokken bij de machineverordening];

2. Richtlijn 2009/48/EG van het Europees Parlement en de Raad van 18 juni 2009 betreffende de veiligheid van speelgoed (PB L 170 van 30.6.2009, blz. 1);

3. Richtlijn 2013/53/EU van het Europees Parlement en de Raad van 20 november 2013 betreffende pleziervaartuigen en waterscooters en tot intrekking van Richtlijn 94/25/EG (PB L 354 van 28.12.2013, blz. 90);

4. Richtlijn 2014/33/EU van het Europees Parlement en de Raad van 26 februari 2014 betreffende de harmonisatie van de wetgevingen van de lidstaten inzake liften en veiligheidscomponenten voor liften (PB L 96 van 29.3.2014, blz. 251);

5. Richtlijn 2014/34/EU van het Europees Parlement en de Raad van 26 februari 2014 betreffende de harmonisatie van de wetgevingen van de lidstaten inzake apparaten en beveiligingssystemen bedoeld voor gebruik op plaatsen waar ontploffingsgevaar kan heersen (PB L 96 van 29.3.2014, blz. 309);

6. Richtlijn 2014/53/EU van het Europees Parlement en de Raad van 16 april 2014 betreffende de harmonisatie van de wetgevingen van de lidstaten inzake het op de markt aanbieden van radioapparatuur en tot intrekking van Richtlijn 1999/5/EG (PB L 153 van 22.5.2014, blz. 62);

7. Richtlijn 2014/68/EU van het Europees Parlement en de Raad van 15 mei 2014 betreffende de harmonisatie van de wetgevingen van de lidstaten inzake het op de markt aanbieden van drukapparatuur (PB L 189 van 27.6.2014, blz. 164);

8. Verordening (EU) 2016/424 van het Europees Parlement en de Raad van 9 maart 2016 betreffende kabelbaaninstallaties en tot intrekking van Richtlijn 2000/9/EG (PB L 81 van 31.3.2016, blz. 1);

9. Verordening (EU) 2016/425 van het Europees Parlement en de Raad van 9 maart 2016 betreffende persoonlijke beschermingsmiddelen en tot intrekking van Richtlijn 89/686/EEG van de Raad (PB L 81 van 31.3.2016, blz. 51);

10. Verordening (EU) 2016/426 van het Europees Parlement en de Raad van 9 maart 2016 betreffende gasverbrandingstoestellen en tot intrekking van Richtlijn 2009/142/EG (PB L 81 van 31.3.2016, blz. 99);

11. Verordening (EU) 2017/745 van het Europees Parlement en de Raad van 5 april 2017 betreffende medische hulpmiddelen, tot wijziging van Richtlijn 2001/83/EG, Verordening (EG) nr. 178/2002 en Verordening (EG) nr. 1223/2009, en tot intrekking van Richtlijnen 90/385/EEG en 93/42/EEG van de Raad (PB L 117 van 5.5.2017, blz. 1);

12. Verordening (EU) 2017/746 van het Europees Parlement en de Raad van 5 april 2017 betreffende medische hulpmiddelen voor in-vitrodiagnostiek en tot intrekking van Richtlijn 98/79/EG en Besluit 2010/227/EU van de Commissie (PB L 117 van 5.5.2017, blz. 176).

Deel B — Lijst van andere harmonisatiewetgeving van de Unie

1. Verordening (EG) nr. 300/2008 van het Europees Parlement en de Raad van 11 maart 2008 inzake gemeenschappelijke regels op het gebied van de beveiliging van de burgerluchtvaart en tot intrekking van Verordening (EG) nr. 2320/2002 (PB L 97 van 9.4.2008, blz. 72);

2. Verordening (EU) nr. 168/2013 van het Europees Parlement en de Raad van 15 januari 2013 betreffende de goedkeuring van en het markttoezicht op twee- of driewielige voertuigen en vierwielers (PB L 60 van 2.3.2013, blz. 52);

3. Verordening (EU) nr. 167/2013 van het Europees Parlement en de Raad van 5 februari 2013 inzake de goedkeuring van en het markttoezicht op landbouw- en bosbouwvoertuigen (PB L 60 van 2.3.2013, blz. 1);

4. Richtlijn 2014/90/EU van het Europees Parlement en de Raad van 23 juli 2014 inzake uitrusting van zeeschepen en tot intrekking van Richtlijn 96/98/EG van de Raad (PB L 257 van 28.8.2014, blz. 146);

5. Richtlijn (EU) 2016/797 van het Europees Parlement en de Raad van 11 mei 2016 betreffende de interoperabiliteit van het spoorwegsysteem in de Europese Unie (PB L 138 van 26.5.2016, blz. 44);

6. Verordening (EU) 2018/858 van het Europees Parlement en de Raad van 30 mei 2018 betreffende de goedkeuring van en het markttoezicht op motorvoertuigen en aanhangwagens daarvan en systemen, onderdelen en technische eenheden die voor dergelijke voertuigen zijn bestemd, tot wijziging van Verordeningen (EG) nr. 715/2007 en (EG) nr. 595/2009 en tot intrekking van Richtlijn 2007/46/EG (PB L 151 van 14.6.2018, blz. 1); 3. Verordening (EU) 2019/2144 van het Europees Parlement en de Raad van 27 november 2019 betreffende de voorschriften voor de typegoedkeuring van motorvoertuigen en aanhangwagens daarvan en van systemen, onderdelen en technische eenheden die voor dergelijke voertuigen zijn bestemd wat de algemene veiligheid ervan en de bescherming van de inzittenden van voertuigen en kwetsbare weggebruikers betreft, tot wijziging van Verordening (EU) 2018/858 van het Europees Parlement en de Raad en tot intrekking van de Verordeningen (EG) nr. 78/2009, (EG) nr. 79/2009 en (EG) nr. 661/2009 van het Europees Parlement en de Raad en de Verordeningen (EG) nr. 631/2009, (EU) nr. 406/2010, (EU) nr. 672/2010, (EU) nr. 1003/2010, (EU) nr. 1005/2010, (EU) nr. 1008/2010, (EU) nr. 1009/2010, (EU) nr. 19/2011, (EU) nr. 109/2011, (EU) nr. 458/2011, (EU) nr. 65/2012, (EU) nr. 130/2012, (EU) nr. 347/2012, (EU) nr. 351/2012, (EU) nr. 1230/2012 en (EU) 2015/166 van de Commissie (PB L 325 van 16.12.2019, blz. 1);

7. Verordening (EU) 2018/1139 van het Europees Parlement en de Raad van 4 juli 2018 inzake gemeenschappelijke regels op het gebied van burgerluchtvaart en tot oprichting van een Agentschap van de Europese Unie voor de veiligheid van de luchtvaart, en tot wijziging van de Verordeningen (EG) nr. 2111/2005, (EG) nr. 1008/2008, (EU) nr. 996/2010, (EU) nr. 376/2014 en de Richtlijnen 2014/30/EU en 2014/53/EU van het Europees Parlement en de Raad, en tot intrekking van de Verordeningen (EG) nr. 552/2004 en (EG) nr. 216/2008 van het Europees Parlement en de Raad en Verordening (EEG) nr. 3922/91 van de Raad (PB L 212 van 22.8.2018, blz. 1), voor zover het gaat om het ontwerp, de productie en het in de handel brengen van luchtvaartuigen als bedoeld in artikel 2, lid 1, punten a) en b), wat betreft onbemande luchtvaartuigen, en hun motoren, propellers, onderdelen en apparatuur om het luchtvaartuig op afstand te bedienen.

BIJLAGE III: AI-SYSTEMEN MET EEN HOOG RISICO, ALS BEDOELD IN ARTIKEL 6, LID 2

AI-systemen met een hoog risico overeenkomstig artikel 6, lid 2, zijn de vermelde AI-systemen op de volgende gebieden:

1. biometrische identificatie en categorisering van natuurlijke personen:

(a) AI-systemen die bedoeld zijn om te worden gebruikt voor de biometrische identificatie op afstand van natuurlijke personen in real time en achteraf;

2. beheer en exploitatie van kritieke infrastructuur:

(a) AI-systemen die bedoeld zijn om te worden gebruikt als veiligheidscomponent bij het beheer of de exploitatie van wegverkeer en de levering van water, gas, verwarming en elektriciteit;

3. onderwijs en beroepsopleiding:

(a) AI-systemen die bedoeld zijn om te worden gebruikt voor de bepaling van toegang tot of de toewijzing van natuurlijke personen aan onderwijs- en beroepsopleidingsinstellingen;

(b) AI-systemen die bedoeld zijn om te worden gebruikt voor de beoordeling van studenten in onderwijs- en beroepsopleidingsinstellingen en voor de beoordeling van deelnemers aan tests die gewoonlijk vereist zijn voor toelating tot onderwijsinstellingen;

4. werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid:

(a) AI-systemen die bedoeld zijn voor de aanwerving of selectie van natuurlijke personen, met name voor het bekendmaken van vacatures, het screenen of filteren van sollicitaties, de evaluatie van kandidaten tijdens interviews of tests;

(b) AI-systemen die bedoeld zijn voor het nemen van besluiten over de bevordering en beëindiging van arbeidsgerelateerde contractuele relaties, voor de toewijzing van taken en voor het toezicht op en de evaluatie van prestaties en gedrag van personen in dergelijke relaties;

5. toegang tot en gebruik van essentiële particuliere diensten en openbare diensten en uitkeringen:

(a) AI-systemen die bedoeld zijn om door of namens overheidsinstanties te worden gebruikt om te beoordelen of natuurlijke personen in aanmerking komen voor overheidsuitkeringen en -diensten, evenals voor het verlenen, beperken, intrekken of terugvorderen van dergelijke uitkeringen en diensten;

(b) AI-systemen die bedoeld zijn om de kredietwaardigheid van natuurlijke personen te beoordelen of hun kredietscore vast te stellen, met uitzondering van AI-systemen die in bedrijf zijn gesteld door kleine aanbieders voor eigen gebruik;

(c) AI-systemen die bedoeld zijn om te worden gebruikt voor de inzet of voor het vaststellen van prioriteiten bij de inzet van hulpdiensten, waaronder brandweer en ambulance;

6. rechtshandhaving:

(a) AI-systemen die bedoeld zijn om door rechtshandhavingsautoriteiten te worden gebruikt voor het uitvoeren van individuele risicobeoordelingen van natuurlijke personen om te beoordelen hoe groot het risico is dat een natuurlijke persoon (opnieuw) een strafbaar feit pleegt of hoe groot het risico is voor mogelijke slachtoffers van strafbare feiten;

(b) AI-systemen die bedoeld zijn om door rechtshandhavingsautoriteiten te worden gebruikt, zoals leugendetectoren of soortgelijke hulpmiddelen of voor de vaststelling van de emotionele toestand van een natuurlijke persoon;

(c) AI-systemen die bedoeld zijn om door rechtshandhavingsautoriteiten te worden gebruikt voor de opsporing van deep fakes, zoals bedoeld in artikel 52, lid 3;

(d) AI-systemen die bedoeld zijn om door rechtshandhavingsautoriteiten te worden gebruikt voor de beoordeling van de betrouwbaarheid van bewijsmateriaal tijdens het onderzoek naar of de vervolging van strafbare feiten;

(e) AI-systemen die bedoeld zijn om door rechtshandhavingsautoriteiten te worden gebruikt voor het voorspellen van een daadwerkelijk of potentieel strafbaar feit dat (opnieuw) zal worden gepleegd, op basis van de profilering van natuurlijke personen, als bedoeld in artikel 3, punt 4, van Richtlijn (EU) 2016/680 of de beoordeling van persoonlijkheidskenmerken en kenmerken of eerder crimineel gedrag van natuurlijke personen of groepen;

(f) AI-systemen die bedoeld zijn om door rechtshandhavingsautoriteiten te worden gebruikt voor de profilering van natuurlijke personen als bedoeld in artikel 3, punt 4, van Richtlijn (EU) 2016/680 tijdens de opsporing, het onderzoek of de vervolging van strafbare feiten;

(g) AI-systemen die bedoeld zijn om te worden gebruikt voor misdaadanalyses met betrekking tot natuurlijke personen, waardoor rechtshandhavingsautoriteiten complexe gerelateerde en ongerelateerde grote datareeksen kunnen doorzoeken die beschikbaar zijn in verschillende databronnen of verschillende dataindelingen om onbekende patronen op te sporen of verborgen relaties te ontdekken in de gegevens;

7. migratie, asiel en beheer van grenscontroles:

(a) AI-systemen die bedoeld zijn om door bevoegde overheidsinstanties te worden gebruikt, zoals leugendetectoren of soortgelijke hulpmiddelen of voor de vaststelling van de emotionele toestand van een natuurlijke persoon;

(b) AI-systemen die bedoeld zijn om door bevoegde overheidsinstanties te worden gebruikt voor de beoordeling van een risico, waaronder een beveiligingsrisico, een risico op illegale immigratie of een gezondheidsrisico, dat een natuurlijke persoon vormt die voornemens is het grondgebied van een lidstaat te betreden of dat heeft gedaan;

(c) AI-systemen die bedoeld zijn om door bevoegde overheidsinstanties te worden gebruikt voor de verificatie van de authenticiteit van reisdocumenten en ondersteunende documentatie van natuurlijke personen en de opsporing van niet-authentieke documenten door de controle van hun beveiligingskenmerken;

(d) AI-systemen die bedoeld zijn om bevoegde overheidsinstanties te ondersteunen bij het onderzoek van asielaanvragen, aanvragen voor een visum en aanvragen voor een verblijfsvergunning, evenals gerelateerde klachten met betrekking tot de geschiktheid van de natuurlijke personen die een aanvraag voor een status indienen;

8. rechtsbedeling en democratische processen:

(a) AI-systemen die bedoeld zijn om een rechterlijke instantie te ondersteunen bij het onderzoeken en uitleggen van feiten en de wet en bij de toepassing van het recht op een concrete reeks feiten.

BIJLAGE IV: TECHNISCHE DOCUMENTATIE, als bedoeld in artikel 11, lid 1

De technische documentatie als bedoeld in artikel 11, lid 1, bevat ten minste de volgende informatie, zoals van toepassing op het betreffende AI-systeem:

1. Een algemene beschrijving van het AI-systeem, waaronder:

(a) het beoogde doel, de persoon/personen die het systeem ontwikkelen en de datum en versie van het systeem;

(b) hoe het AI-systeem interageert of kan worden gebruikt om te interageren met hardware of software die geen deel uitmaakt van het AI-systeem zelf, indien van toepassing;

(c) de versies van de betreffende software of firmware en eventuele eisen met betrekking tot versie-updates;

(d) de beschrijving van alle vormen waarin het AI-systeem in de handel wordt gebracht of in bedrijf wordt gesteld;

(e) de beschrijving van de hardware waarop het AI-systeem moet worden uitgevoerd;

(f) wanneer het AI-systeem een component vormt van producten, foto’s of illustraties waarop de externe kenmerken, markeringen en interne indeling van deze producten te zien is;

(g) gebruiksaanwijzing voor de gebruiker en, indien van toepassing, installatie-instructies.

2. Een gedetailleerde beschrijving van de elementen van het AI-systeem en van het proces voor de ontwikkeling ervan, waaronder:

(a) de methoden en uitgevoerde stappen voor de ontwikkeling van het AI-systeem, met inbegrip van, indien relevant, het gebruik van door derden geleverde vooraf getrainde systemen of hulpmiddelen en hoe deze zijn gebruikt, geïntegreerd of aangepast door de aanbieder;

(b) de ontwerpspecificaties van het systeem, met name de algemene logica van het AI-systeem en van de algoritmen; de belangrijkste ontwerpkeuzen, waaronder de motivering en de gedane aannamen, ook met betrekking tot personen of groepen personen waarvoor het systeem bedoeld is om te worden gebruikt; de belangrijkste classificatiekeuzen; voor welke optimalisatie het systeem is ontworpen en de relevantie van de verschillende parameters; de beslissingen ten aanzien van eventuele afwegingen met betrekking tot technische oplossingen die zijn vastgesteld om te voldoen aan de in titel III, hoofdstuk 2, vastgestelde eisen;

(c) de beschrijving van de systeemarchitectuur met een toelichting op hoe softwarecomponenten op elkaar voortbouwen of elkaar informatie aanleveren en hoe de integratie in de algemene verwerking plaatsvindt; de rekenhulpmiddelen die zijn gebruikt voor het ontwikkelen, trainen, testen en valideren van het AI-systeem;

(d) indien relevant, de datavereisten met betrekking tot informatiebladen waarop de opleidingsmethoden en -technieken zijn beschreven en de gebruikte datareeksen voor de training, waaronder informatie over de herkomst van deze datareeksen, de reikwijdte ervan en de belangrijkste kenmerken; hoe de data zijn verkregen en geselecteerd; etiketteringsprocedures (bv. voor gecontroleerd leren), methoden voor dataopschoning (bv. opsporing van uitschieters);

(e) beoordeling van de in overeenstemming met artikel 14 benodigde maatregelen op het gebied van menselijk toezicht, waaronder een beoordeling van de benodigde technische maatregelen voor de vereenvoudiging van de interpretatie van de output van AI-systemen door gebruikers, in overeenstemming met artikel 13, lid 3, punt d);

(f) indien van toepassing, een gedetailleerde beschrijving van vooraf bepaalde wijzigingen in het AI-systeem en de prestaties ervan, samen met alle relevante informatie die verband houdt met de technische oplossingen die zijn ingevoerd om de voortdurende naleving door het AI-systeem van de in titel III, hoofdstuk 2, vastgestelde eisen te waarborgen;

(g) de gebruikte validatie- en testprocedures, waaronder informatie over de gebruikte validatie- en testdata en de belangrijkste kenmerken ervan; de statistieken die worden gebruikt voor het meten van de nauwkeurigheid, robuustheid, cyberbeveiliging en naleving van andere relevante eisen zoals vastgesteld in titel III, hoofdstuk 2, evenals mogelijk discriminerende gevolgen; logbestanden over en alle verslagen van tests die zijn gedateerd en ondertekend door de verantwoordelijken, waaronder met betrekking tot vooraf vastgestelde wijzigingen als bedoeld onder f).

3. Gedetailleerde informatie over de monitoring, werking en controle van het AI-systeem, met name in verband met: de mogelijkheden en beperkingen op het gebied van de prestaties van het systeem, waaronder de verschillende maten van nauwkeurigheid voor specifieke personen of groepen personen waarvoor het systeem bedoeld is om te worden gebruikt en het totale verwachte nauwkeurigheidsniveau in verhouding tot het beoogde doel; de voorzienbare onbedoelde resultaten en risicobronnen voor de gezondheid en veiligheid, de grondrechten en discriminatie gelet op het beoogde doel van het AI-systeem; de in overeenstemming met artikel 14 benodigde maatregelen voor menselijk toezicht, met inbegrip van de technische maatregelen die zijn getroffen om de interpretatie van de output van AI-systemen door gebruikers te vergemakkelijken; specificaties over inputdata, indien van toepassing.

4. Een gedetailleerde beschrijving van het systeem voor risicobeheer overeenkomstig artikel 9.

5. Een beschrijving van de wijzigingen die tijdens de levensduur van het systeem worden aangebracht.

6. Een lijst van de geharmoniseerde normen die volledig of gedeeltelijk worden toegepast en waarvan de referenties zijn gepubliceerd in het Publicatieblad van de Europese Unie. Indien dergelijke geharmoniseerde normen niet zijn toegepast, een gedetailleerde beschrijving van de vastgestelde oplossingen om te voldoen aan de in titel III, hoofdstuk 2, vermelde eisen, met inbegrip van een lijst van andere toegepaste relevante normen en technische specificaties.

7. Een exemplaar van de EU-conformiteitsverklaring.

8. Een gedetailleerde beschrijving van het ingevoerde systeem voor de evaluatie van de prestaties van het AI-systeem nadat het in de handel is gebracht, in overeenstemming met artikel 61, met inbegrip van het in artikel 61, lid 3, bedoelde plan voor monitoring na het in de handel brengen.

BIJLAGE V: EU-CONFORMITEITSVERKLARING

De in artikel 48 bedoelde EU-conformiteitsverklaring bevat de volgende informatie:

1. de naam en het type van het AI-systeem, evenals eventuele aanvullende ondubbelzinnige verwijzingen waarmee het AI-systeem kan worden geïdentificeerd en getraceerd;

2. de naam en het adres van de aanbieder en, indien van toepassing, zijn of haar gemachtigde;

3. een vermelding dat de EU-conformiteitsverklaring wordt verstrekt onder de uitsluitende verantwoordelijkheid van de aanbieder;

4.een vermelding dat het AI-systeem in overeenstemming is met deze verordening en, in voorkomend geval, met eventuele andere desbetreffende Uniewetgeving die voorziet in de afgifte van een EU-conformiteitsverklaring;

5. de vermelding van eventuele toegepaste relevante geharmoniseerde normen of van andere gemeenschappelijke specificaties waarop de conformiteitsverklaring betrekking heeft;

6. indien van toepassing, de naam en het identificatienummer van de aangemelde instantie, een beschrijving van de uitgevoerde conformiteitsbeoordelingsprocedure en identificatie van het afgegeven certificaat;

7. plaats en de datum van afgifte van de verklaring, naam en functie van de persoon die de verklaring heeft ondertekend alsmede vermelding van de persoon voor en namens wie die persoon ondertekent, handtekening.

BIJLAGE VI: CONFORMITEITSBEOORDELINGSPROCEDURE OP BASIS VAN INTERNE CONTROLE

1. De conformiteitsbeoordelingsprocedure op basis van interne controle is de conformiteitsbeoordelingsprocedure op basis van de punten 2 tot en met 4.

2. De aanbieder verifieert dat het ingevoerde kwaliteitsbeheersysteem voldoet aan de in artikel 17 vastgestelde eisen.

3. De aanbieder beoordeelt de in de technische documentatie opgenomen informatie om te beoordelen of het AI-systeem voldoet aan de relevante essentiële eisen die zijn vastgesteld in titel III, hoofdstuk 2.

4. De aanbieder verifieert eveneens of het ontwerp- en ontwikkelingsproces van het AI-systeem en de in artikel 61 bedoelde monitoring na het in de handel brengen overeenkomt met de technische documentatie.

BIJLAGE VII: CONFORMITEIT OP BASIS VAN DE BEOORDELING VAN HET KWALITEITSBEHEERSYSTEEM EN DE BEOORDELING VAN DE TECHNISCHE DOCUMENTATIE

1. Inleiding

De conformiteit op basis van de beoordeling van het kwaliteitsbeheersysteem en de beoordeling van de technische documentatie is de conformiteitsbeoordelingsprocedure op basis van de punten 2 tot en met 5.

2. Overzicht

Het overeenkomstig artikel 17 goedgekeurde kwaliteitsbeheersysteem voor het ontwerp, de ontwikkeling en het testen van AI-systemen wordt beoordeeld in overeenstemming met punt 3 en is onderworpen aan het in punt 5 bedoelde toezicht. De technische documentatie van het AI-systeem wordt beoordeeld in overeenstemming met punt 4.

3. Systeem voor kwaliteitsbeheer

3.1. De aanvraag van de aanbieder bevat onder meer:

(a) de naam en het adres van de aanbieder en, indien de aanvraag wordt ingediend door zijn gemachtigde, ook diens naam en adres;

(b) de lijst met AI-systemen die vallen onder hetzelfde kwaliteitsbeheersysteem;

(c) de technische documentatie voor elk AI-systeem dat valt onder hetzelfde kwaliteitsbeheersysteem;

(d) de documentatie betreffende het kwaliteitsbeheersysteem, dat alle in artikel 17 vermelde aspecten beslaat;

(e) een beschrijving van de ingestelde procedures om te zorgen dat het kwaliteitsbeheersysteem adequaat en doeltreffend blijft;

(f) een schriftelijke verklaring dat er geen gelijkluidende aanvraag bij een andere aangemelde instantie is ingediend.

3.2. Het kwaliteitsbeheersysteem wordt beoordeeld door de aangemelde instantie, die bepaalt of wordt voldaan aan de in artikel 17 bedoelde eisen.

Het besluit wordt meegedeeld aan de aanbieder of diens gemachtigde.

In deze kennisgeving zijn de conclusies van de beoordeling van het kwaliteitsbeheersysteem opgenomen, evenals de met redenen omklede beoordelingsbeslissing.

3.3. Het goedgekeurde kwaliteitsbeheersysteem wordt zodanig uitgevoerd en onderhouden door de aanbieder dat het toereikend en efficiënt blijft.

3.4. Voorgenomen wijzigingen in het goedgekeurde kwaliteitsbeheersysteem of de lijst met AI-systemen waarop het beheersysteem van toepassing is, worden door de aanbieder meegedeeld aan de aangemelde instantie.

De voorgestelde wijzigingen worden beoordeeld door de aangemelde instantie, die beslist of het gewijzigde kwaliteitsbeheersysteem blijft voldoen aan de in punt 3.2 bedoelde eisen dan wel of een nieuwe beoordeling noodzakelijk is.

De aangemelde instantie stelt de aanbieder in kennis van haar beslissing. In deze kennisgeving zijn de conclusies van de beoordeling van de wijzigingen opgenomen, evenals de met redenen omklede beoordelingsbeslissing.

4. Controle van de technische documentatie.

4.1. In aanvulling op de in punt 3 bedoelde aanvraag, wordt een aanvraag bij een aangemelde instantie naar keuze ingediend door de aanbieder voor de beoordeling van de technische documentatie die betrekking heeft op het AI-systeem dat de aanbieder voornemens is in de handel te brengen of in bedrijf te stellen en waarop het in punt 3 bedoelde kwaliteitsbeheersysteem van toepassing is.

4.2. De aanvraag omvat:

(a) de naam en het adres van de aanbieder;

(b) een schriftelijke verklaring dat er geen gelijkluidende aanvraag bij een andere aangemelde instantie is ingediend;

(c) de in bijlage IV bedoelde technische documentatie.

4.3. De technische documentatie wordt beoordeeld door de aangemelde instantie. Hiervoor wordt de aangemelde instantie volledige toegang verleend tot de datareeksen voor training en tests die door de aanbieder worden gebruikt, met inbegrip van door middel van applicatieprogramma-interfaces (API) of andere passende middelen en hulpmiddelen die toegang op afstand mogelijk maken.

4.4. Bij de beoordeling van de technische documentatie kan de aangemelde instantie eisen dat de aanbieder nader bewijs overlegt of nadere tests uitvoert, zodat een passende conformiteitsbeoordeling kan worden uitgevoerd om te controleren of het AI-systeem voldoet aan de in titel III, hoofdstuk 2, vermelde eisen. Wanneer de aangemelde instantie niet tevreden is met de door de aanbieder uitgevoerde tests, voert de aangemelde instantie zelf toereikende tests uit, voor zover passend.

4.5. Indien dat noodzakelijk is om te beoordelen of AI-systemen met een hoog risico voldoen aan de in titel III, hoofdstuk 2, vermelde eisen en na een met redenen omkleed verzoek, krijgt de aangemelde instantie eveneens toegang tot de broncode van het AI-systeem.

4.6. Het besluit wordt meegedeeld aan de aanbieder of diens gemachtigde. In deze kennisgeving zijn de conclusies van de beoordeling van de technische documentatie opgenomen, evenals de met redenen omklede beoordelingsbeslissing.

Indien het AI-systeem voldoet aan de in titel III, hoofdstuk 2, vermelde eisen, verstrekt de aangemelde instantie een EU-beoordelingscertificaat technische documentatie. Het certificaat bevat naam en adres van de aanbieder, de controlebevindingen, de eventuele voorwaarden voor de geldigheid van het certificaat en de noodzakelijke gegevens voor de identificatie van het AI-systeem.

Het certificaat en de bijlagen daarbij bevatten alle relevante informatie voor de evaluatie van de conformiteit van het AI-systeem en maken het mogelijk het in gebruik zijnde AI-systeem te controleren, indien van toepassing.

Wanneer het AI-systeem niet aan de in titel III, hoofdstuk 2, vermelde eisen voldoet, weigert de aangemelde instantie een EU-beoordelingscertificaat technische documentatie te verstrekken en brengt zij de aanvrager hiervan op de hoogte met vermelding van de precieze redenen voor de weigering.

Wanneer het AI-systeem niet voldoet aan de eis met betrekking tot de trainingsdata die zijn gebruikt, moet het AI-systeem opnieuw worden getraind voorafgaand aan de aanvraag voor een nieuwe conformiteitsbeoordeling. In dit geval bevat de met redenen omklede beoordelingsbeslissing van de aangemelde instantie waarin het EU-beoordelingscertificaat technische documentatie wordt geweigerd de specifieke overwegingen ten aanzien van de kwaliteitsdata die worden gebruikt voor de training van het AI-systeem, met name over de redenen waarom deze niet voldoen.

4.7. Eventuele wijzigingen in het AI-systeem die van invloed kunnen zijn op de naleving door het AI-systeem van de eisen of het beoogde doel, worden goedgekeurd door de aangemelde instantie die het EU-beoordelingscertificaat technische documentatie heeft verstrekt. De aanbieder informeert die aangemelde instantie over zijn voornemen om een van voornoemde wijzigingen door te voeren of wanneer hij zich anderszins bewust wordt van het bestaan van dergelijke wijzigingen. De aangemelde instantie beoordeelt de voorgenomen wijzigingen en beslist of deze een nieuwe conformiteitsbeoordeling vereisen overeenkomstig artikel 43, lid 4, dan wel of een aanvulling op het EU-beoordelingscertificaat technische documentatie volstaat. In het laatste geval beoordeelt de aangemelde instantie de wijzigingen, stelt zij de aanbieder in kennis van haar besluit en verstrekt hem, indien de wijzigingen worden goedgekeurd, een aanvulling op het EU-beoordelingscertificaat technische documentatie.

5. Toezicht op het goedgekeurde kwaliteitsbeheersysteem.

5.1. Het doel van het door de aangemelde instantie in punt 3 bedoelde uitgevoerde toezicht is te waarborgen dat de aanbieder naar behoren voldoet aan de algemene voorwaarden van het goedgekeurde kwaliteitsbeheersysteem.

5.2. De aanbieder stelt de aangemelde instantie in staat om voor beoordelingsdoeleinden toegang te krijgen tot de locatie waar het ontwerp, de ontwikkeling en het testen van de AI-systemen plaatsvindt. De aanbieder deelt voorts alle nodige informatie met de aangemelde instantie.

5.3. De aangemelde instantie verricht periodieke audits om te controleren of de aanbieder het kwaliteitsbeheersysteem onderhoudt en toepast en verstrekt de aanbieder een auditverslag. In het kader van deze audits kan de aangemelde instantie aanvullende tests uitvoeren van de AI-systemen waarvoor een EU-beoordelingscertificaat technische documentatie is verstrekt.

BIJLAGE VIII: INFORMATIE DIE MOET WORDEN VERSTREKT BIJ DE REGISTRATIE VAN AI-SYSTEMEN MET EEN HOOG RISICO IN OVEREENSTEMMING MET ARTIKEL 51

Voor wat betreft AI-systemen met een hoog risico die moeten worden geregistreerd in overeenstemming met artikel 51 wordt de volgende informatie verstrekt en daarna actueel gehouden:

1. de naam, het adres en de contactgegevens van de aanbieder;

2. wanneer de informatie wordt ingediend door een andere persoon namens de aanbieder, de naam, het adres en de contactgegevens van die persoon;

3. de naam, het adres en de contactgegevens van de gemachtigde, indien van toepassing;

4. de handelsnaam van het AI-systeem, evenals eventuele aanvullende ondubbelzinnige verwijzingen waarmee het AI-systeem kan worden geïdentificeerd en getraceerd;

5. een beschrijving van de beoogde doelen van het AI-systeem;

6. de status van het AI-systeem (in de handel, in gebruik, niet langer in de handel/in gebruik, teruggeroepen);

7. type, aantal en verloopdatum van het door de aangemelde instantie verstrekte certificaat en de naam of het identificatienummer van die aangemelde instantie, indien van toepassing;

8. een gescand exemplaar van het in punt 7 bedoelde certificaat, indien van toepassing;

9. de lidstaten waarin het AI-systeem in de handel is gebracht, in bedrijf is gesteld of in de Unie ter beschikking is gesteld;

10. een exemplaar van de EU-conformiteitsverklaring, als bedoeld in artikel 48;

11. een elektronische gebruiksaanwijzing; deze informatie wordt niet verstrekt voor AI-systemen met een hoog risico op het gebied van rechtshandhaving en migratie, asiel en beheer van grenscontroles, als bedoeld in bijlage III, punten 1, 6 en 7.

12. URL voor aanvullende informatie (optioneel).

BIJLAGE IX: Uniewetgeving over grootschalige IT-systemen in de Ruimte van vrijheid, veiligheid en recht

1. Schengeninformatiesysteem

(a) Verordening (EU) 2018/1860 van het Europees Parlement en de Raad van 28 november 2018 betreffende het gebruik van het Schengeninformatiesysteem voor de terugkeer van illegaal verblijvende onderdanen van derde landen (PB L 312 van 7.12.2018, blz. 1);

(b) Verordening (EU) 2018/1861 van het Europees Parlement en de Raad van 28 november 2018 betreffende de instelling, de werking en het gebruik van het Schengeninformatiesysteem (SIS) op het gebied van grenscontroles, tot wijziging van de Overeenkomst ter uitvoering van het Akkoord van Schengen en tot wijziging en intrekking van Verordening (EG) nr. 1987/2006 (PB L 312 van 7.12.2018, blz. 14);

(c) Verordening (EU) 2018/1862 van het Europees Parlement en de Raad van 28 november 2018 betreffende de instelling, de werking en het gebruik van het Schengeninformatiesysteem (SIS) op het gebied van politiële en justitiële samenwerking in strafzaken, tot wijziging en intrekking van Besluit 2007/533/JBZ van de Raad en tot intrekking van Verordening (EG) nr. 1986/2006 van het Europees Parlement en de Raad en Besluit 2010/261/EU van de Commissie (PB L 312 van 7.12.2018, blz. 56).

2. Visuminformatiesysteem

(a) Voorstel voor een VERORDENING VAN HET EUROPEES PARLEMENT EN DE RAAD tot wijziging van Verordening (EG) nr. 767/2008, Verordening (EG) nr. 810/2009, Verordening (EU) 2017/2226, Verordening (EU) 2016/399, Verordening XX/2018 [de interoperabiliteitsverordening] en Beschikking 2004/512/EG, en tot intrekking van Besluit 2008/633/JBZ van de Raad – COM(2018) 302 final. Bijwerken na vaststelling van de verordening (mei/april 2021) door de medewetgevers.

3. Eurodac

(a) Gewijzigd voorstel voor een VERORDENING VAN HET EUROPEES PARLEMENT EN DE RAAD betreffende de instelling van “Eurodac” voor de vergelijking van biometrische gegevens ten behoeve van een doeltreffende toepassing van Verordening (EU) XXX/XXX [verordening betreffende asiel- en migratiebeheer] en van Verordening (EU) XXX/XXX [hervestigingsverordening] voor de identificatie van een illegaal verblijvende onderdaan van een derde land of staatloze en betreffende verzoeken van rechtshandhavingsinstanties van de lidstaten en Europol om vergelijkingen van Eurodac-gegevens ten behoeve van rechtshandhaving, en tot wijziging van de Verordeningen (EU) 2018/1240 en (EU) 2019/ 818 – COM(2020) 614 final.

4. Inreis-uitreissysteem

(a) Verordening (EU) 2017/2226 van het Europees Parlement en de Raad van 30 november 2017 tot instelling van een inreis-uitreissysteem (EES) voor de registratie van inreis- en uitreisgegevens en van gegevens over weigering van toegang ten aanzien van onderdanen van derde landen die de buitengrenzen overschrijden en tot vaststelling van de voorwaarden voor toegang tot het EES voor rechtshandhavingsdoeleinden en tot wijziging van de overeenkomst ter uitvoering van het te Schengen gesloten akkoord en Verordeningen (EG) nr. 767/2008 en (EU) nr. 1077/2011 (PB L 327 van 9.12.2017, blz. 20).

5. Europees systeem voor reisinformatie en -autorisatie

(a) Verordening (EU) 2018/1240 van het Europees Parlement en de Raad van 12 september 2018 tot oprichting van een Europees reisinformatie- en -autorisatiesysteem (Etias) en tot wijziging van de Verordeningen (EU) nr. 1077/2011, (EU) nr. 515/2014, (EU) 2016/399, (EU) 2016/1624 en (EU) 2017/2226 (PB L 236 van 19.9.2018, blz. 1);

(b) Verordening (EU) 2018/1241 van het Europees Parlement en de Raad van 12 september 2018 tot wijziging van Verordening (EU) 2016/794 met het oog op de oprichting van een Europees reisinformatie- en -autorisatiesysteem (Etias) (PB L 236 van 19.9.2018, blz. 72).

6. Europees Strafregisterinformatiesysteem over onderdanen van derde landen en staatlozen

(a) Verordening (EU) 2019/816 van het Europees Parlement en de Raad van 17 april 2019 tot invoering van een gecentraliseerd systeem voor de vaststelling welke lidstaten over informatie beschikken inzake veroordelingen van onderdanen van derde landen en staatlozen (Ecris-TCN) ter aanvulling van het Europees Strafregisterinformatiesysteem en tot wijziging van Verordening (EU) 2018/1726 (PB L 135 van 22.5.2019, blz. 1).

7. Interoperabiliteit

(a) Verordening (EU) 2019/817 van het Europees Parlement en de Raad van 20 mei 2019 tot vaststelling van een kader voor interoperabiliteit tussen de Unie-informatiesystemen op het gebied van grenzen en visa (PB L 135 van 22.5.2019, blz. 27);

(b) Verordening (EU) 2019/818 van het Europees Parlement en de Raad van 20 mei 2019 tot vaststelling van een kader voor interoperabiliteit tussen de Unie-informatiesystemen op het gebied van politiële en justitiële samenwerking, asiel en migratie (PB L 135 van 22.5.2019, blz. 85).