Standpunt van het Europees Parlement

Voorstel voor een

VERORDENING VAN HET EUROPEES PARLEMENT EN DE RAAD

TOT VASTSTELLING VAN GEHARMONISEERDE REGELS BETREFFENDE ARTIFICIËLE INTELLIGENTIE (WET OP DE ARTIFICIËLE INTELLIGENTIE) EN TOT WIJZIGING VAN BEPAALDE WETGEVINGSHANDELINGEN VAN DE UNIE

HET EUROPEES PARLEMENT EN DE RAAD VAN DE EUROPESE UNIE,

Gezien het Verdrag betreffende de werking van de Europese Unie, en met name de artikelen 16 en 114,

Gezien het voorstel van de Europese Commissie,

Na toezending van het ontwerp van wetgevingshandeling aan de nationale parlementen,

Gezien het advies van het Europees Economisch en Sociaal Comité 31 ,

Gezien het advies van het Comité van de Regio’s 32 ,

Gezien het advies van de Europese Centrale Bank,

Gezien het gezamenlijke advies van het Europees Comité voor gegevensbescherming en de Europese Toezichthouder voor gegevensbescherming,

Handelend volgens de gewone wetgevingsprocedure,

Overwegende hetgeen volgt:

(1) Deze verordening heeft ten doel de introductie van mensgerichte en betrouwbare artificiële intelligentie te bevorderen en te zorgen voor een hoge mate van bescherming tegen de schadelijke effecten van artificiële-intelligentiesystemen (AI-systemen) op het vlak van gezondheid, veiligheid, grondrechten, democratie en de rechtsstaat en het milieu in de Unie, en voorts innovatie te ondersteunen en de werking van de interne markt te verbeteren. In deze verordening wordt een uniform rechtskader vastgesteld, met name voor de ontwikkeling, het in de handel brengen, het in gebruik stellen en het gebruik van artificiële intelligentie in overeenstemming met de waarden van de Unie, en zij waarborgt het vrije verkeer van op AI gebaseerde goederen en diensten over de grenzen heen, zodat de lidstaten geen beperkingen kunnen opleggen aan de ontwikkeling, het in de handel brengen en het gebruik van AI-systemen, tenzij dat door deze verordening uitdrukkelijk wordt toegestaan. Bepaalde AI-systemen kunnen ook gevolgen hebben voor de democratie, de rechtsstaat en het milieu. Deze punten van zorg worden specifiek behandeld in de kritieke sectoren en gebruiksgevallen die zijn opgenomen in de bijlagen bij deze verordening.

(1bis) Deze verordening moet de waarden van de Unie in stand houden door de verdeling van de voordelen van artificiële intelligentie over de samenleving mogelijk te maken, personen, bedrijven, de democratie en de rechtstaat en het milieu te beschermen tegen risico’s, innovatie en werkgelegenheid te stimuleren en de Unie tot pionier op dit terrein te maken.

(2) AI-systemen kunnen makkelijk worden ingezet in meerdere sectoren van de economie en de samenleving, ook grensoverschrijdend, en in de gehele Unie circuleren. Bepaalde lidstaten hebben reeds overwogen om nationale regels vast te stellen om ervoor te zorgen dat artificiële intelligentie betrouwbaar en veilig is en wordt ontwikkeld en gebruikt met inachtneming van de verplichtingen inzake de grondrechten. Onderling afwijkende nationale regels kunnen leiden tot versnippering van de interne markt en aantasting van de rechtszekerheid voor marktdeelnemers die AI-systemen ontwikkelen of gebruiken. Daarom moet in de hele Unie een consistent en hoog beschermingsniveau worden gewaarborgd zodat AI betrouwbaar is, terwijl verschillen die het vrije verkeer, de innovatie, de inzet en de ingebruikneming van AI-systemen en aanverwante producten en diensten op de interne markt belemmeren, moeten worden voorkomen door uniforme verplichtingen voor marktdeelnemers vast te stellen en op de hele interne markt een eenvormige eerbiediging van dwingende redenen van algemeen belang en van de rechten van personen te waarborgen op basis van artikel 114 van het Verdrag betreffende de werking van de Europese Unie (VWEU).

(2 bis) Aangezien artificiële intelligentie vaak afhankelijk is van de verwerking van grote hoeveelheden gegevens, waarbij veel AI-systemen en -applicaties afhankelijk zijn van de verwerking van persoonsgegevens, is het aangewezen deze verordening te baseren op artikel 16 van het VWEU, waarin het recht van natuurlijke personen op de bescherming van persoonsgegevens is vastgelegd en waarin wordt voorzien in de vaststelling van regels inzake de bescherming van het individu met betrekking tot de verwerking van persoonsgegevens.

(2 ter) Het grondrecht van de bescherming van persoonsgegevens wordt in het bijzonder gewaarborgd door de Verordeningen (EU) 2016/679 en (EU) 2018/1725, en door Richtlijn 2016/680. Richtlijn 2002/58/EG beschermt daarnaast de persoonlijke levenssfeer en het vertrouwelijke karakter van communicatie, en bevat voorschriften voor de opslag van persoons- en niet-persoonsgebonden gegevens in eindapparatuur, respectievelijk de toegang daartoe. Deze rechtshandelingen vormen de grondslag voor duurzame en verantwoorde gegevensverwerking, waaronder in gevallen waarin datareeksen zowel persoons- als niet-persoonsgebonden gegevens bevatten. Deze verordening laat de toepassing van de bestaande Uniewetgeving betreffende de verwerking van persoonsgegevens, met inbegrip van de taken en bevoegdheden van de onafhankelijke toezichthoudende autoriteiten die met het toezicht op de naleving van die instrumenten belast zijn, onverlet. Deze verordening laat de grondrechten inzake de persoonlijke levenssfeer en de bescherming van persoonsgegevens als bedoeld in de Uniewetgeving betreffende gegevensbescherming en privacy, en zoals vastgelegd in het Handvest van de grondrechten van de Europese Unie (het “Handvest”), onverlet.

(2 quater) AI-systemen in de Unie zijn onderworpen aan relevante wetgeving inzake productveiligheid die een kader biedt ter bescherming van consumenten tegen gevaarlijke producten in het algemeen, en die wetgeving moet van toepassing blijven. Deze verordening doet evenmin afbreuk aan de regels inzake consumentenbescherming en productveiligheid die in andere rechtshandelingen van de Unie zijn vastgelegd, waaronder Verordening (EU) 2017/2394, Verordening (EU) 2019/1020, Richtlijn 2001/95/EG inzake algemene productveiligheid en Richtlijn 2013/11/EU.

(2 quinquies) Overeenkomstig artikel 114, lid 2, VWEU mag deze verordening de rechten en belangen van werknemers niet ondermijnen, maar vormt zij hierop een aanvulling. Deze verordening mag derhalve geen afbreuk doen aan het Unierecht inzake sociaal beleid en het nationale arbeidsrecht en de nationale arbeidspraktijken, dat wil zeggen alle wettelijke en contractuele bepalingen betreffende arbeidsvoorwaarden, arbeidsomstandigheden, met inbegrip van de gezondheid en veiligheid op het werk, en de betrekkingen tussen werkgevers en werknemers, met inbegrip van voorlichting, raadpleging en inspraak. Deze verordening mag geen afbreuk doen aan de uitoefening van de in de lidstaten en op het niveau van de Unie erkende grondrechten, met inbegrip van het stakingsrecht of de stakingsvrijheid dan wel het recht of de vrijheid om in het kader van de specifieke stelsels van arbeidsverhoudingen in de lidstaten andere acties te voeren overeenkomstig het nationaal recht en/of de nationale praktijk. Zij mag evenmin afbreuk doen aan overlegpraktijken, het recht om over collectieve overeenkomsten te onderhandelen, deze te sluiten en naleving ervan af te dwingen, en om collectieve actie te voeren overeenkomstig het nationale recht en/of de nationale praktijk. Deze verordening mag de Commissie in geen geval beletten specifieke wetgeving voor te stellen inzake de rechten en vrijheden van werknemers die gevolgen ondervinden van AI-systemen.

(2 sexies) Deze verordening mag geen afbreuk doen aan de in Richtlijn ... [2021/0414(COD)] vastgestelde bepalingen ter verbetering van de arbeidsvoorwaarden voor platformwerk.

(2 septies) Deze verordening moet bijdragen tot de ondersteuning van onderzoek en innovatie, mag onderzoeks- en ontwikkelingsactiviteiten niet ondermijnen en moet de vrijheid van wetenschappelijk onderzoek eerbiedigen. AI-systemen die specifiek zijn ontwikkeld met onderzoek en ontwikkeling voor de wetenschap als enig doel, moeten daarom van het toepassingsgebied worden uitgesloten en er moet voor worden gezorgd dat de verordening geen andere gevolgen heeft voor wetenschappelijke onderzoeks- en ontwikkelingsactiviteiten op het vlak van AI-systemen. Bij alle onderzoeks- en ontwikkelingsactiviteiten moeten onder alle omstandigheden het Handvest, het recht van de Unie en het nationale recht in acht worden genomen.

(3) Artificiële intelligentie is een snel evoluerende verzameling van technologieën die reeds bijdraagt aan een brede waaier van economische, ecologische en maatschappelijke voordelen in alle industrieën en sociale activiteiten, indien deze worden ontwikkeld met inachtneming van relevante algemene beginselen in overeenstemming met het Handvest en de waarden waarop de Unie is gegrondvest. Artificiële intelligentie kan bedrijven, dankzij verbeterde voorspellingen, geoptimaliseerde verrichtingen en toewijzing van middelen en gepersonaliseerde digitale oplossingen voor individuen en organisaties een belangrijk concurrentievoordeel opleveren en helpen om gunstige sociale en ecologische resultaten te behalen, bijvoorbeeld in de gezondheidszorg, de landbouw, voedselveiligheid, onderwijs en opleiding, media, sport, cultuur, infrastructuurbeheer, energie, vervoer en logistiek, crisisbeheer, openbare diensten, veiligheid, justitie, efficiënt gebruik van hulpbronnen en energie, milieumonitoring, behoud en herstel van biodiversiteit en ecosystemen en klimaatmitigatie en -adaptatie.

(3 bis) In het kader van de streefdoelen inzake koolstofneutraliteit moeten Europese ondernemingen inspanningen leveren om alle beschikbare technologische ontwikkelingen te benutten die kunnen helpen om die doelen te halen. Artificiële intelligentie is een technologie met het potentieel om te worden gebruikt bij de verwerking van de alsmaar groeiende hoeveelheid gegevens die voortkomen uit industriële, milieu-, gezondheids- en andere processen. Om investeringen in AI-gebaseerde instrumenten voor analyse en optimalisering te bevorderen, moet deze verordening voorzien in voorspelbare en evenredige omstandigheden voor industriële oplossingen met een laag risico.

(4) Tegelijkertijd kan artificiële intelligentie, afhankelijk van de omstandigheden waarin ze wordt toegepast en gebruikt, alsook van de mate van technologische ontwikkeling, risico’s opleveren en schade toebrengen aan openbare of particuliere belangen en grondrechten van natuurlijke personen die door de Uniewetgeving worden beschermd. Deze schade kan materieel of immaterieel zijn, met inbegrip van lichamelijke, psychische, maatschappelijke of economische schade.

(4 bis) Gezien het feit dat artificiële intelligentie van grote invloed op de samenleving kan zijn en aangezien het dus nodig is dat men vertrouwen heeft in artificiële intelligentie, is het essentieel dat artificiële intelligentie en het regelgevingskader voor artificiële intelligentie worden ontwikkeld met inachtneming van de waarden van de Unie zoals vastgelegd in artikel 2 VEU, de grondrechten en vrijheden zoals vastgelegd in de Verdragen, het Handvest, en het internationaal recht inzake mensenrechten. Voorop staat dat artificiële intelligentie een mensgerichte technologie moet zijn. Artificiële intelligentie mag de menselijke autonomie niet verdringen en niet leiden tot een afname van individuele vrijheid, en moet in eerste instantie de behoeften van de maatschappij en het algemeen belang dienen. Er moeten garanties worden geboden betreffende de ontwikkeling en het gebruik van ethisch verankerde artificiële intelligentie die de waarden van de Unie en het Handvest respecteert.

(5) Om de ontwikkeling, het gebruik en de introductie van artificiële intelligentie op de interne markt te bevorderen is daarom een rechtskader van de Unie nodig met geharmoniseerde regels inzake artificiële intelligentie, dat tegelijkertijd de openbare belangen in hoge mate beschermt, bijvoorbeeld op het gebied van gezondheid en veiligheid, bescherming van de grondrechten, de democratie en de rechtstaat en het milieu, zoals die worden erkend en beschermd door de Uniewetgeving. Om dat doel te bereiken, moeten regels worden vastgesteld voor het in de handel brengen, de inbedrijfstelling en het gebruik van bepaalde AI-systemen, zodat de goede werking van de interne markt wordt gewaarborgd en deze systemen kunnen genieten van het beginsel van vrij verkeer van goederen en diensten. Deze regels moeten duidelijk en robuust zijn voor wat betreft de bescherming van de grondrechten, en daarnaast pro-innovatie zijn en een Europees ecosysteem mogelijk maken van publieke en particuliere actoren die AI-systemen creëren die in overeenstemming zijn met de waarden van de Unie. Door die regels alsook maatregelen ter ondersteuning van innovatie met bijzondere nadruk op kmo’s en start-ups vast te stellen, steunt deze verordening de doelstelling van de Unie om in Europa ontwikkelde AI te bevorderen, om wereldwijd een voortrekkersrol te spelen bij de ontwikkeling van veilige, betrouwbare en ethische artificiële intelligentie, zoals verklaard door de Europese Raad, en de bescherming van ethische beginselen te waarborgen, zoals specifiek gevraagd door het Europees Parlement.

(5 bis) Voorts moet de Unie, om de ontwikkeling van AI-systemen te bevorderen die de waarden van de Unie in acht nemen, de voornaamste onvervulde behoeften en obstakels die het potentieel van de digitale transformatie in de weg staan aanpakken, waaronder het tekort aan werknemers met digitale vaardigheden, punten van zorg wat betreft cyberbeveiliging, onvoldoende (toegang tot) investeringen en de bestaande en potentiële kloof tussen grote ondernemingen, kmo’s en startende ondernemingen. Er moet met name op worden toegezien dat alle regio’s van de Unie de vruchten plukken van AI en innovatie in nieuwe technologieën en dat voldoende investeringen en middelen worden verstrekt, met name aan de regio’s die een achterstand hebben op het vlak van bepaalde digitale indicatoren.

(6) Het begrip “AI-systeem” in deze verordening moet duidelijk worden gedefinieerd en nauw aansluiten op het werk van internationale organisaties die zich bezighouden met artificiële intelligentie, om rechtszekerheid, harmonisatie en brede acceptatie te garanderen en tegelijkertijd de nodige flexibiliteit te bieden om op de snelle technologische ontwikkelingen in dit veld te kunnen inspelen. Bovendien moet de definitie gebaseerd zijn op centrale kenmerken van artificiële intelligentie, zoals het vermogen om te leren, redeneren en modelleren, zodat het onderscheid tussen artificiële intelligentie en eenvoudiger softwaresystemen of programmeermethodes helder is. AI-systemen worden zodanig ontworpen dat zij in verschillende mate autonoom kunnen functioneren, wat betekent dat zij ten minste een zekere mate van onafhankelijkheid van menselijke controle bezitten en zonder menselijke tussenkomst kunnen functioneren. De term “machinaal” verwijst naar het feit dat AI-systemen op machines draaien. De verwijzing naar expliciete of impliciete doelstellingen onderstreept dat AI-systemen kunnen functioneren volgens expliciete, door de mens gedefinieerde doelstellingen, of volgens impliciete doelstellingen. De mogelijkheid bestaat dat de doelstellingen van het AI-systeem verschillen van het beoogde doel van het AI-systeem in een specifieke context. Met de verwijzing naar voorspellingen wordt onder meer inhoud bedoeld, die in deze verordening wordt beschouwd als een vorm van voorspelling in de zin van een van de mogelijke outputs van een AI-systeem. Voor de toepassing van deze verordening moeten omgevingen worden opgevat als de contexten waarin de AI-systemen functioneren, terwijl door het AI-systeem gegenereerde outputs, in de zin van voorspellingen, aanbevelingen of besluiten, beantwoorden aan de doelstellingen van het systeem, op basis van input uit die omgeving. Die output is weer van invloed op bovengenoemde omgeving, alleen al doordat nieuwe informatie aan die omgeving wordt toegevoegd.

(6 bis) AI-systemen beschikken vaak over de mogelijkheid tot machinaal leren, hetgeen deze systemen in staat stelt zich autonoom aan nieuwe taken aan te passen en deze uit te voeren. Machinaal leren verwijst naar het rekenkundige proces waarbij de parameters van een model op basis van gegevens worden geoptimaliseerd; een wiskundige constructie die een output genereert op basis van inputgegevens. Voorbeelden van benaderingen voor machinaal leren zijn gecontroleerd, ongecontroleerd en versterkend leren, waarbij gebruik wordt gemaakt van diverse methoden, waaronder deep learning met behulp van neurale netwerken. Deze verordening is gericht op het aanpakken van nieuwe potentiële risico’s die kunnen ontstaan doordat controle wordt overgedragen aan AI-systemen, met name aan AI-systemen die na hun ingebruikname kunnen evolueren. De functie en output van veel van deze AI-systemen zijn gebaseerd op abstracte wiskundige relaties die voor mensen moeilijk zijn te begrijpen, monitoren en terug te herleiden naar specifieke input. Deze complexiteit en ondoorzichtigheid zijn kenmerken (“black box”-elementen) die gevolgen hebben voor de verantwoording en de verklaarbaarheid. Ook het gebruik van vergelijkbare, maar eenvoudiger technieken zoals op kennis gebaseerde benaderingen, Bayesiaanse schatting of beslisbomen kan op juridische vraagstukken stuiten die in deze verordening behandeld moeten worden, met name bij gebruik in combinatie met machinaal leren in de context van hybride systemen.

(6 ter) AI-systemen kunnen als een zelfstandig softwaresysteem worden gebruikt, in een fysiek product worden geïntegreerd (ingebed), worden gebruikt om ten dienste te staan van de functionaliteit van een fysiek product zonder daarin te zijn geïntegreerd (niet-ingebed) of worden gebruikt als AI-component van een groter systeem. Als dit grotere systeem niet zou functioneren zonder de AI-component in kwestie, moet in het kader van deze verordening het grotere systeem in zijn geheel als één enkel AI-systeem worden beschouwd.

(7) Het in deze verordening gebruikte begrip “biometrische gegevens” sluit aan bij en moet worden uitgelegd in overeenstemming met het begrip biometrische gegevens zoals gedefinieerd in artikel 4, lid 14, van Verordening (EU) 2016/679 van het Europees Parlement en de Raad. Op biometrie gebaseerde gegevens zijn gegevens die het resultaat zijn van specifieke technische verwerking in verband met fysieke, fysiologische of gedragssignalen van een natuurlijke persoon, zoals gezichtsuitdrukkingen, bewegingen, polsfrequentie, stem, toetsaanslagen of gang, die al dan niet de unieke identificatie van een natuurlijke persoon mogelijk maken of bevestigen.

(7 bis) Het in deze verordening gebruikte begrip “biometrische identificatie” moet worden gedefinieerd als de automatische herkenning van fysieke, fysiologische, gedragsmatige en psychologische menselijke kenmerken zoals het gezicht, oogbewegingen, gezichtsuitdrukkingen, lichaamsvorm, stem, spraak, gang, houding, hartslag, bloeddruk, geur, toetsaanslagen, psychologische reacties (woede, angst, verdriet, enz.) met als doel de identiteit van een persoon vast te stellen door biometrische gegevens van die persoon te vergelijken met opgeslagen biometrische gegevens van personen in een database (één -op-vele-identificatie), ongeacht of die persoon hier al dan niet mee heeft ingestemd.

(7 ter) Het in deze verordening gebruikte begrip “biometrische categorisering” moet worden gedefinieerd als het indelen van natuurlijke personen in specifieke categorieën, of het afleiden van hun kenmerken en eigenschappen zoals gender, geslacht, leeftijd, haarkleur, oogkleur, tatoeages, etnische of sociale afkomst, gezondheid, mentaal of fysiek vermogen, gedrags- of persoonlijkheidskenmerken, taal, godsdienst of lidmaatschap van een nationale minderheid, seksuele gerichtheid of politieke overtuiging, op basis van hun biometrische of op biometrie gebaseerde gegevens, of wat van dergelijke gegevens kan worden afgeleid.

(8) Het in deze verordening gebruikte begrip “biometrisch systeem voor identificatie op afstand” moet functioneel worden gedefinieerd als een AI-systeem dat bedoeld is voor de identificatie van natuurlijke personen op afstand door middel van vergelijking van de biometrische gegevens van een persoon met de biometrische gegevens in een referentiedatabank, zonder dat vooraf bekend is of de betrokken persoon aanwezig zal zijn en kan worden geïdentificeerd, ongeacht de gebruikte specifieke technologie, processen of soorten biometrische gegevens, uitgezonderd verificatiesystemen die slechts de biometrische gegevens van een persoon vergelijken met reeds verstrekte biometrische gegevens van die persoon (één-op-één). Gezien hun verschillende kenmerken en de verschillende manieren waarop zij worden gebruikt, alsook de verschillende risico’s die ermee gepaard gaan, moet een onderscheid worden gemaakt tussen biometrische systemen voor identificatie op afstand “in real time” en “achteraf”. In het geval van realtimesystemen gebeurt de registratie van de biometrische gegevens, de vergelijking en de identificatie allemaal ogenblikkelijk, bijna ogenblikkelijk of in ieder geval zonder noemenswaardige vertraging. In dit verband mag er geen ruimte zijn om de regels van deze verordening betreffende het realtimegebruik van de AI-systemen in kwestie te omzeilen door kleine vertragingen toe te staan. Bij realtimesystemen wordt gebruik gemaakt van “live”- of “near live”-materiaal, zoals videobeelden, die worden gegenereerd door een camera of een ander toestel met soortgelijke functionaliteit. In het geval van systemen “achteraf” zijn de biometrische gegevens daarentegen reeds vastgelegd en vinden de vergelijking en de identificatie pas met een aanzienlijke vertraging plaats. Het gaat dan om materiaal, zoals foto’s of videobeelden gegenereerd door camera’s van een gesloten televisiecircuit of privétoestellen, dat vóór het gebruik van het systeem is gegenereerd met betrekking tot de betrokken natuurlijke personen. Aangezien het begrip “biometrische identificatie” onafhankelijk is van de instemming van de persoon, is deze definitie zelfs van toepassing wanneer waarschuwingsberichten zijn geplaatst op de locatie die onder toezicht staat van het biometrische systeem voor identificatie op afstand, en wordt zij niet de facto door inschrijving vooraf opgeheven.

(8 bis) De identificatie van natuurlijke personen op afstand wordt geacht een onderscheid te maken tussen biometrische systemen voor identificatie op afstand en individuele verificatiesystemen in de onmiddellijke nabijheid met behulp van biometrische identificatiemiddelen, met als enig doel te bevestigen of een specifieke natuurlijke persoon die zich voor identificatie meldt, al dan niet is toegestaan, bijvoorbeeld om toegang te krijgen tot een dienst, een apparaat of een bedrijfsruimte.

(9) Voor de uitvoering van deze verordening wordt verstaan onder “openbare ruimte” elke fysieke plaats die toegankelijk is voor het publiek, ongeacht of de plaats in kwestie particulier of openbaar bezit is en ongeacht de potentieel aanwezige beperkingen op de capaciteit. Het begrip heeft derhalve geen betrekking op plaatsen die privé van aard zijn en normaliter niet vrij toegankelijk zijn voor derden, met inbegrip van de rechtshandhavingsautoriteiten, tenzij die partijen specifiek zijn uitgenodigd of gemachtigd, zoals woningen, privéclubs, kantoren, pakhuizen en fabrieken. Onlineruimten vallen evenmin onder de richtlijn, omdat het geen fysieke ruimten zijn. Louter het feit dat er voor de toegang tot een bepaalde ruimte bepaalde voorwaarden kunnen gelden, zoals een toegangsbewijs of leeftijdsbeperking, betekent echter niet dat de ruimte niet voor het publiek toegankelijk is in de zin van deze verordening. Bijgevolg zijn, naast openbare ruimten zoals straten, relevante delen van overheidsgebouwen en de meeste vervoersinfrastructuur, ook ruimten zoals bioscopen, theaters, sportterreinen, scholen, universiteiten, relevante delen van ziekenhuizen en banken, pretparken, festivals, winkels en winkelcentra normaliter voor het publiek toegankelijk. Of een bepaalde ruimte toegankelijk is voor het publiek moet echter per geval worden bepaald, rekening houdend met de specifieke kenmerken van de situatie in kwestie.

(9 bis) Het is belangrijk op te merken dat AI-systemen er zoveel mogelijk naar moeten streven te voldoen aan de algemene beginselen die een kader op hoog niveau vormen ter bevordering van een coherente, mensgerichte benadering van ethische en betrouwbare AI, in overeenstemming met het Handvest van de grondrechten van de Europese Unie en de waarden waarop de Unie is gegrondvest, waaronder de bescherming van de grondrechten, invloed en toezicht door mensen, technische robuustheid en veiligheid, privacy en databeheer, transparantie, non-discriminatie en billijkheid en maatschappelijk en ecologisch welzijn.

(9 ter) “AI-geletterdheid” heeft betrekking op vaardigheden, kennis en begrip die aanbieders, gebruikers en betrokken personen, rekening houdend met hun respectieve rechten en plichten in het kader van deze verordening, in staat stellen met kennis van zaken AI-systemen in te zetten en zich bewuster te worden van de kansen en risico’s van AI en de mogelijke schade die zij kan veroorzaken, hetgeen de democratische controle op AI ten goede zal komen. AI-geletterdheid mag niet beperkt blijven tot leren over hulpmiddelen en technologieën, maar moet er ook op gericht zijn aanbieders en gebruikers toe te rusten met het begrippenkader en de vaardigheden die vereist zijn met het oog op de naleving en handhaving van deze verordening. De Commissie, de lidstaten en de aanbieders en gebruikers van AI-systemen moeten daarom in samenwerking met alle relevante belanghebbenden de ontwikkeling van een toereikend niveau van AI-geletterdheid in alle sectoren van de samenleving bevorderen – voor mensen van alle leeftijden, dus ook voor vrouwen en meisjes – en de vooruitgang op dat gebied nauwlettend in het oog houden.

(10) Om een gelijk speelveld en een doeltreffende bescherming van de rechten en vrijheden van personen in heel de Unie en op internationaal niveau te garanderen, moeten de bij deze verordening vastgestelde regels zonder discriminatie van toepassing zijn op aanbieders van AI-systemen, ongeacht of zij in de Unie of in een derde land gevestigd zijn, en op in de Unie gevestigde exploitanten van AI-systemen. Om ervoor te zorgen dat de Unie trouw is aan haar fundamentele waarden, moeten AI-systemen die bedoeld zijn om te worden gebruikt voor praktijken die bij deze verordening onaanvaardbaar worden geacht, ook buiten de Unie onaanvaardbaar worden geacht vanwege hun bijzonder schadelijke effect op de in het Handvest verankerde grondrechten. Daarom is het passend de uitvoer van dergelijke AI-systemen naar derde landen door aanbieders die in de Unie zijn gevestigd, te verbieden.

(11) Gezien hun digitale aard moeten bepaalde AI-systemen onder het toepassingsgebied van deze verordening vallen, zelfs wanneer zij niet in de Unie in de handel worden gebracht, in bedrijf worden gesteld of worden gebruikt. Dit is bijvoorbeeld het geval voor een in de Unie gevestigde marktdeelnemer die aan een buiten de Unie gevestigde marktdeelnemer bepaalde diensten uitbesteedt in verband met een activiteit die moet worden verricht door een AI-systeem dat als een AI-systeem met een hoog risico zou kunnen worden aangemerkt en waarvan de gevolgen merkbaar zouden zijn voor in de Unie gevestigde natuurlijke personen. In die omstandigheden zou het AI-systeem dat door de marktdeelnemer buiten de Unie wordt gebruikt, data kunnen verwerken die rechtmatig in de Unie zijn verzameld en vanuit de Unie zijn doorgegeven, en vervolgens de aanbestedende marktdeelnemer in de Unie kunnen voorzien van de output van dat AI-systeem die het resultaat is van die verwerking, zonder dat genoemd AI-systeem in de Unie in de handel wordt gebracht, in bedrijf wordt gesteld of wordt gebruikt. Om te voorkomen dat deze verordening wordt omzeild en om natuurlijke personen die zich in de Unie bevinden doeltreffend te beschermen, moet deze verordening ook van toepassing zijn op aanbieders en exploitanten van AI-systemen die in een derde land zijn gevestigd, voor zover de door die systemen geproduceerde output bestemd is om in de Unie te worden gebruikt. Om rekening te houden met bestaande regelingen en bijzondere behoeften inzake samenwerking met buitenlandse partners waarmee informatie en bewijsmateriaal wordt uitgewisseld, zal deze verordening evenwel niet van toepassing zijn op overheidsinstanties van een derde land en internationale organisaties wanneer zij optreden in het kader van internationale overeenkomsten die op nationaal of Europees niveau zijn gesloten met het oog op de rechtshandhaving en justitiële samenwerking met de Unie of haar lidstaten. Dergelijke overeenkomsten zijn bilateraal gesloten tussen lidstaten en derde landen of tussen de Europese Unie, Europol en andere EU-agentschappen enerzijds en derde landen en internationale organisaties anderzijds. Deze uitzondering moet echter beperkt blijven tot betrouwbare landen en internationale organisaties met waarden die gelijk zijn aan die van de Unie.

(12) Deze verordening moet ook van toepassing zijn op instellingen, organen en agentschappen van de Unie wanneer zij optreden als aanbieder of exploitant van een AI-systeem. AI-systemen die uitsluitend voor militaire doeleinden worden ontwikkeld of gebruikt, moeten van het toepassingsgebied van deze verordening worden uitgesloten wanneer dat gebruik onder de exclusieve bevoegdheid valt van het gemeenschappelijk buitenlands en veiligheidsbeleid, zoals geregeld in titel V van het Verdrag betreffende de Europese Unie (VEU). Deze verordening doet geen afbreuk aan de bepalingen betreffende de aansprakelijkheid van aanbieders die als tussenpersoon optreden, vastgesteld in Richtlijn 2000/31/EG van het Europees Parlement en de Raad [zoals gewijzigd bij de wet inzake digitale diensten].

(12 bis) Software en gegevens die openlijk worden gedeeld en die gebruikers vrij mogen raadplegen, gebruiken, wijzigen en herdistribueren en waarvan zij gewijzigde versies mogen herdistribueren, kunnen bijdragen aan onderzoek en innovatie op de markt. Uit onderzoek van de Commissie blijkt tevens dat vrije en opensourcesoftware 65 à 95 miljard EUR kan bijdragen aan het bbp van de Europese Unie en aanzienlijke groeikansen kan bieden voor de Europese economie. Gebruikers mogen software en gegevens, met inbegrip van modellen, uitvoeren, kopiëren, distribueren, bestuderen, wijzigen en verbeteren in het kader van vrije en opensourcelicenties. Met het oog op het bevorderen van de ontwikkeling en uitrol van AI, met name door kmo’s, start-ups, academisch onderzoekers maar ook door personen, moet deze verordening niet van toepassing zijn op dergelijke vrije en opensource-AI-componenten, behalve voor zover zij in de handel worden gebracht of in gebruik worden gesteld door een aanbieder als onderdeel van een AI-systeem met een hoog risico of van een AI-systeem dat onder titel II of titel IV van deze verordening valt.

(12 ter) Noch de gezamenlijke ontwikkeling van vrije en opensource-AI-componenten, noch het beschikbaar stellen van dergelijke componenten in open databases moet worden beschouwd als het in de handel brengen of in gebruik stellen van een product. Een handelsactiviteit in de zin van het in de handel brengen kan echter, behalve wanneer de transactie plaatsvindt tussen twee micro-ondernemingen, worden gekenmerkt door het in rekening brengen van een prijs voor een vrije en opensource-AI-component, maar ook door het in rekening brengen van een prijs voor technische ondersteuningsdiensten, het aanbieden van een softwareplatform waarmee de aanbieder andere diensten te gelde maakt, of het gebruik van persoonsgegevens voor andere redenen dan uitsluitend de verbetering van de beveiliging, compatibiliteit of interoperabiliteit van de software.

(12 quater) De ontwikkelaars van vrije en opensource-AI-componenten mogen uit hoofde van deze verordening niet worden verplicht te voldoen aan vereisten die gericht zijn op de AI-waardeketen en vooral niet op de aanbieder die die vrije en opensource-AI-component heeft gebruikt. Ontwikkelaars van vrije en opensource-AI-componenten moeten echter worden aangemoedigd om algemeen aanvaarde documentatiepraktijken, zoals model- en gegevenskaarten, toe te passen als een manier om de uitwisseling van informatie in de hele AI-waardeketen te versnellen, in het kader van de bevordering van betrouwbare AI-systemen in de Unie.

(13) Teneinde een consistent en hoog niveau van bescherming van de openbare belangen op het gebied van gezondheid, veiligheid en grondrechten alsook democratie en de rechtstaat en het milieu te garanderen, moeten gemeenschappelijke normen voor alle AI-systemen met een hoog risico worden vastgesteld. Deze normen moeten in overeenstemming zijn met het Handvest, de Europese Green Deal, de gemeenschappelijke verklaring over digitale rechten van de Unie en de ethische richtsnoeren voor betrouwbare AI van de deskundigengroep op hoog niveau inzake AI, niet-discriminerend zijn en in overeenstemming zijn met de internationale handelsverbintenissen van de Unie.

(14) Om een evenredige en doeltreffende reeks bindende regels voor AI-systemen in te voeren, moet een duidelijk omschreven, risicogebaseerde aanpak worden gevolgd. Met die aanpak moet de aard en inhoud van dergelijke regels worden afgestemd op de intensiteit en de omvang van de risico’s die AI-systemen met zich mee kunnen brengen. Daarom is het noodzakelijk om bepaalde onaanvaardbare praktijken op het gebied van artificiële intelligentie te verbieden, eisen voor AI-systemen met een hoog risico en verplichtingen voor de betrokken marktdeelnemers vast te stellen, en transparantieverplichtingen voor bepaalde AI-systemen in te voeren.

(15) Afgezien van de vele nuttige toepassingen van artificiële intelligentie, kan de technologie ook worden misbruikt en nieuwe en krachtige instrumenten voor manipulatie, uitbuiting en sociale controle opleveren. Dergelijke praktijken zijn bijzonder schadelijk en abusief en moeten worden verboden omdat zij in strijd zijn met de waarden van de Unie, namelijk eerbied voor de menselijke waardigheid, vrijheid, gelijkheid, democratie en de rechtsstaat, en met de grondrechten van de Unie, waaronder het recht op non-discriminatie, gegevensbescherming en privacy, en de rechten van het kind.

(16) Het in de handel brengen, in bedrijf stellen of gebruiken van bepaalde AI-systemen met de bedoeling of het effect om het menselijk gedrag wezenlijk te verstoren, waardoor lichamelijke of psychische schade kan ontstaan, moet worden verboden. Deze beperking moet worden opgevat als zijnde van toepassing op onder meer neurotechnologieën die worden ondersteund door AI-systemen die worden gebruikt om neurale gegevens die via hersen-computerinterfaces zijn verzameld, te monitoren, te gebruiken of te beïnvloeden, voor zover zij het gedrag van een natuurlijke persoon wezenlijk verstoren op een wijze die die persoon of een andere persoon ernstige schade berokkent of waarschijnlijk zal berokkenen. Dergelijke AI-systemen maken gebruik van subliminale componenten die personen niet kunnen waarnemen, of buiten kwetsbaarheden van individuen en specifieke groepen personen die een gevolg zijn van hun bekende of voorspelde persoonlijkheidskenmerken, leeftijd of hun fysieke of mentale onbekwaamheid, sociale of economische situatie, uit. Zij doen dit met de bedoeling of het effect dat het gedrag van een persoon wezenlijk wordt verstoord en op een manier die deze persoon of een andere persoon, of groepen personen, aanzienlijke schade berokkent of dreigt te berokkenen, met inbegrip van schade die zich na verloop van tijd opbouwt. De intentie om het gedrag te verstoren, mag niet worden verondersteld indien de verstoring het gevolg is van factoren buiten het AI-systeem waarover de aanbieder of de gebruiker geen controle heeft, zoals factoren die redelijkerwijs niet kunnen worden voorzien en beperkt door de aanbieder of de exploitant van het AI-systeem. In ieder geval is het niet vereist dat de aanbieder of de exploitant de intentie heeft de lichamelijke of psychische schade te veroorzaken, zolang deze schade het gevolg is van op AI gebaseerde manipulatieve of uitbuitingspraktijken. Het verbod op dergelijke AI-praktijken vormt een aanvulling op de bepalingen van Richtlijn 2005/29/EG, op grond waarvan oneerlijke handelspraktijken verboden zijn, ongeacht of zij worden uitgevoerd met behulp van AI-systemen of anderszins. In een dergelijke context mogen legale handelspraktijken, bijvoorbeeld op het gebied van reclame, die in overeenstemming zijn met het Unierecht, op zichzelf beschouwd niet als een inbreuk op het verbod worden beschouwd. Onderzoek voor legitieme doeleinden met betrekking tot dergelijke AI-systemen mag niet door het verbod worden belemmerd, voor zover dat onderzoek niet neerkomt op het gebruik van het AI-systeem in mens-machinerelaties waardoor natuurlijke personen aan schade worden blootgesteld, en indien dat onderzoek wordt verricht met inachtneming van erkende ethische normen voor wetenschappelijk onderzoek en op basis van specifieke geïnformeerde toestemming van de personen die aan dergelijke AI-systemen worden blootgesteld of in voorkomend geval van hun wettelijke voogd.

(16 bis) AI-systemen die natuurlijke personen categoriseren door hen in specifieke categorieën in te delen op basis van bekende of afgeleide gevoelige of beschermde kenmerken, zijn bijzonder ingrijpend, schenden de menselijke waardigheid en houden een groot risico op discriminatie in. Onder die kenmerken moet worden verstaan gender en genderidentiteit, ras, etnische achtergrond, migratie- of burgerschapsstatus, politieke voorkeur, seksuele gerichtheid, geloofsovertuiging, handicap of andere gronden waarop discriminatie verboden is krachtens artikel 21 van het Handvest van de grondrechten van de Europese Unie en krachtens artikel 9 van Verordening (EU) 2016/769. Dergelijke systemen moeten bijgevolg worden verboden.

(17) AI-systemen die worden gebruikt om sociale scoring van natuurlijke personen voor algemene doeleinden uit te voeren, kunnen discriminerende resultaten en de uitsluiting van bepaalde groepen tot gevolg hebben. Deze systemen houden een schending in van het recht op waardigheid en non-discriminatie en van waarden als gelijkheid en rechtvaardigheid. Dergelijke AI-systemen beoordelen of classificeren natuurlijke personen of groepen op basis van meerdere aansluitbare informatiebronnen en tijdstippen, met betrekking tot hun sociale gedrag in meerdere contexten of op basis van bekende, afgeleide of voorspelde persoonlijke of persoonlijkheidskenmerken. De sociale score die dergelijke AI-systemen opleveren, kan leiden tot een nadelige of ongunstige behandeling van natuurlijke personen of hele groepen in sociale contexten die geen verband houden met de context waarin de data oorspronkelijk zijn gegenereerd of verzameld, of tot een nadelige behandeling die onevenredig of ongerechtvaardigd is in verhouding tot de ernst van het sociale gedrag. Dergelijke AI-systemen moeten bijgevolg worden verboden.

(18) Het gebruik van AI-systemen voor biometrische identificatie op afstand in real time van natuurlijke personen in openbare ruimten is bijzonder ingrijpend ten aanzien van de rechten en vrijheden van de betrokkenen, en kan uiteindelijk de persoonlijke levenssfeer van een groot deel van de bevolking aantasten, een gevoel van voortdurende bewaking oproepen, partijen die biometrische identificatie toepassen in openbare ruimten een positie van oncontroleerbare macht geven en indirect de uitoefening van de vrijheid van vergadering en andere grondrechten die de kern van de rechtstaat vormen, ontmoedigen. Technische onnauwkeurigheden van AI-systemen voor biometrische identificatie op afstand van natuurlijke personen kunnen tot vertekende resultaten leiden en een discriminerend effect hebben. Dit is met name relevant wanneer het gaat om leeftijd, etniciteit, geslacht of handicaps. Bovendien houden het directe karakter van de gevolgen en de beperkte mogelijkheden voor verdere controles of correcties met betrekking tot het gebruik van dergelijke realtimesystemen, verhoogde risico’s in voor de rechten en vrijheden van de personen die betrokken zijn bij de rechtshandhavingsactiviteiten. Het gebruik van dergelijke systemen in openbare ruimten moet derhalve worden verboden. Evenzo moeten AI-systemen die worden gebruikt voor de analyse van opgenomen beelden van openbare ruimten via biometrische systemen voor de identificatie op afstand “achteraf” ook worden verboden, tenzij er voorafgaande rechterlijke toestemming is voor gebruik in het kader van rechtshandhaving, wanneer dat strikt noodzakelijk is voor de gerichte zoekopdracht in verband met een specifiek ernstig strafbaar feit dat reeds heeft plaatsgevonden, en alleen na voorafgaande rechterlijke toestemming. 

(19) Verwijderd

(20) Verwijderd

(21) Verwijderd

(22) Verwijderd

(23) Verwijderd

(24) Elke verwerking van biometrische gegevens en andere persoonsgegevens in het kader van het gebruik van AI-systemen voor biometrische identificatie, anders dan in verband met het gebruik van biometrische systemen voor identificatie op afstand in real time in openbare ruimten zoals geregeld in deze verordening, moet blijven voldoen aan alle vereisten die voortvloeien uit artikel 9, lid 1, van Verordening (EU) 2016/679, artikel 10, lid 1, van Verordening (EU) 2018/1725 en artikel 10 van Richtlijn (EU) 2016/680, voor zover van toepassing.

(25) Overeenkomstig artikel 6 bis van Protocol nr. 21 betreffende de positie van het Verenigd Koninkrijk en Ierland ten aanzien van de ruimte van vrijheid, veiligheid en recht, dat gehecht is aan het VEU en het VWEU, is Ierland niet gebonden door de in artikel 5, lid 1, punt d), van deze verordening vastgestelde regels die zijn vastgesteld op basis van artikel 16 VWEU in verband met de verwerking van persoonsgegevens door de lidstaten bij de uitvoering van activiteiten binnen het toepassingsgebied van de hoofdstukken 4 en 5 van titel V van het derde deel VWEU, wanneer Ierland niet gebonden is door de regels betreffende de vormen van justitiële samenwerking in strafzaken of van politiële samenwerking in het kader waarvan de op grond van artikel 16 VWEU vastgestelde bepalingen moeten worden nageleefd.

(26) Overeenkomstig de artikelen 2 en 2 bis van Protocol nr. 22 betreffende de positie van Denemarken, dat gehecht is aan het VEU en het VWEU, zijn de regels in artikel 5, lid 1, punt d), van deze verordening, die zijn vastgesteld op basis van artikel 16 VWEU, in verband met de verwerking van persoonsgegevens door de lidstaten bij de uitvoering van activiteiten binnen het toepassingsgebied van de hoofdstukken 4 en 5 van titel V van het derde deel van het VWEU niet bindend voor, noch van toepassing in Denemarken.

(26 bis) AI-systemen die door of namens rechtshandhavingsinstanties worden gebruikt ten behoeve van voorspellingen, profielen of risicobeoordelingen op basis van profilering van natuurlijke personen of gegevensanalyse op basis van persoonlijkheidskenmerken en kenmerken, waaronder de locatie van de persoon, of eerder crimineel gedrag van natuurlijke personen of groepen personen met het oog op het voorspellen van het plegen of opnieuw plegen van een daadwerkelijk of potentieel strafbaar feit of ander strafbaar sociaal gedrag of administratieve overtreding, met inbegrip van systemen voor het voorspellen van fraude, houden een bijzonder risico op discriminatie van bepaalde personen of groepen personen in, aangezien zij de menselijke waardigheid en het voornaamste rechtsbeginsel van het vermoeden van onschuld schenden. Dergelijke AI-systemen moeten derhalve worden verboden.

(26 ter) De willekeurige en niet-gerichte extractie van biometrische gegevens van sociale media of beelden van gesloten televisiesystemen om databanken voor gezichtsherkenning op te zetten of uit te breiden, versterkt het gevoel van massasurveillance en kan leiden tot grove schendingen van de grondrechten, waaronder het recht op privacy. Het gebruik van AI-systemen met dit beoogde doel moet derhalve worden verboden.

(26 quater) Er zijn ernstige zorgen over de wetenschappelijke basis van AI-systemen die gericht zijn op het detecteren van emoties, fysieke of fysiologische kenmerken zoals gezichtsuitdrukkingen, bewegingen, polsfrequentie of stem. Emoties of uitingen van emoties en percepties daarvan variëren aanzienlijk tussen culturen en situaties, en zelfs bij een en dezelfde persoon. De belangrijkste tekortkomingen van dergelijke technologieën zijn de beperkte betrouwbaarheid (categorieën emoties zijn noch betrouwbaar uit te drukken aan de hand van en worden noch ondubbelzinnig geassocieerd met een gemeenschappelijke reeks fysieke of fysiologische bewegingen), het gebrek aan specificiteit (fysieke of fysiologische uitdrukkingen stemmen niet perfect overeen met categorieën emoties) en de beperkte algemeenheid (de effecten van context en cultuur worden onvoldoende in aanmerking genomen). Problemen met betrouwbaarheid en bijgevolg grote risico’s op misbruik kunnen zich met name voordoen bij de invoering van het systeem in situaties in de praktijk op het gebied van rechtshandhaving en grensbeheer, op de werkplek en bij onderwijsinstellingen. Daarom moet het in de handel brengen, in gebruik stellen of gebruiken van AI-systemen die bedoeld zijn om in deze context te worden gebruikt om de emotionele toestand van personen op te sporen, worden verboden.

(26 quinquies) Deze verordening moet praktijken die verboden zijn uit hoofde van de Uniewetgeving, met inbegrip van de gegevensbeschermingswetgeving, de non-discriminatiewetgeving, de wetgeving inzake consumentenbescherming, en de mededingingswetgeving, onverlet laten.

(27) AI-systemen met een hoog risico mogen alleen in de Unie in de handel worden gebracht, in gebruik worden gesteld of worden gebruikt als zij aan bepaalde dwingende eisen voldoen. Die eisen moeten ervoor zorgen dat AI-systemen met een hoog risico die in de Unie beschikbaar zijn of waarvan de output anderszins in de Unie wordt gebruikt, geen onaanvaardbare risico’s inhouden voor belangrijke publieke belangen in de Unie, met inbegrip van de grondrechten, de democratie, de rechtsstaat of het milieu, zoals die door het recht van de Unie worden erkend en beschermd. Om afstemming met sectorale wetgeving te waarborgen en overlappingen te voorkomen, zal in de eisen voor AI-systemen met een hoog risico rekening moeten worden gehouden met sectorale wetgeving tot vaststelling van eisen voor in het toepassingsgebied van deze verordening opgenomen AI-systemen met een hoog risico, zoals Verordening (EU) 2017/745 betreffende medische hulpmiddelen en Verordening (EU) 2017/746 betreffende medische hulpmiddelen voor in-vitrodiagnostiek of Richtlijn 2006/42/EG betreffende machines. AI-systemen die als AI-systemen met een hoog risico zijn aangemerkt, moeten worden beperkt tot systemen die aanzienlijke schadelijke gevolgen hebben voor de gezondheid, de veiligheid en de grondrechten van personen in de Unie, en een dergelijke beperking moet eventuele potentiële beperkingen voor de internationale handel minimaliseren. Gezien het snelle tempo van de technologische ontwikkeling en de mogelijke veranderingen in het gebruik van AI-systemen, moet de lijst van gebieden met een hoog risico en typen gebruiken in bijlage III niettemin permanent worden geëvalueerd door middel van een regelmatige beoordeling.

(28) AI-systemen kunnen nadelige gevolgen hebben voor de gezondheid en de veiligheid van personen, met name wanneer dergelijke systemen functioneren als veiligheidscomponenten van producten. In overeenstemming met de doelstellingen in de harmonisatiewetgeving van de Unie om het vrije verkeer van producten op de interne markt te vergemakkelijken en ervoor te zorgen dat alleen veilige en anderszins conforme producten hun weg naar de markt vinden, is het belangrijk dat de veiligheidsrisico’s die een product in zijn geheel kan genereren door zijn digitale componenten, waaronder AI-systemen, naar behoren worden voorkomen en beperkt. Zo moeten robots die alsmaar autonomer worden, of het nu in een productieomgeving is of voor persoonlijke hulp en zorg, in staat zijn op een veilige manier te werken en hun taken uit te voeren in complexe omgevingen. Ook in de gezondheidssector, waar het belang voor leven en gezondheid bijzonder hoog is, moeten de steeds geavanceerdere diagnosesystemen en systemen ter ondersteuning van menselijke beslissingen betrouwbaar en nauwkeurig zijn.

(28 bis) De omvang van de door het AI-systeem veroorzaakte nadelige gevolgen voor de grondrechten die door het Handvest worden beschermd, is bijzonder relevant voor de classificatie van een AI-systeem als een systeem met een hoog risico. Deze rechten omvatten het recht op menselijke waardigheid, de eerbiediging van het privéleven en van het familie- en gezinsleven, de bescherming van persoonsgegevens, de vrijheid van meningsuiting en van informatie, de vrijheid van vergadering en vereniging, en non-discriminatie, het recht op onderwijs, consumentenbescherming, de rechten van werknemers, de rechten van personen met een handicap, gendergelijkheid, intellectuele-eigendomsrechten, het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, het recht op verdediging en het vermoeden van onschuld, en het recht op behoorlijk bestuur. Naast deze rechten moeten ook de specifieke rechten van kinderen worden benadrukt, die zijn vastgelegd in artikel 24 van het EU-Handvest van de grondrechten en in het Verdrag van de Verenigde Naties inzake de rechten van het kind (nader uitgewerkt in algemene opmerking nr. 25 van het VN-Comité voor de rechten van het kind met betrekking tot de digitale omgeving), waarbij telkens wordt geëist dat rekening wordt gehouden met de kwetsbaarheid van kinderen en dat zij de bescherming en zorg krijgen die nodig zijn voor hun welbevinden. Het grondrecht betreffende een hoog niveau van milieubescherming, dat in het Handvest is verankerd en in het beleid van de Unie wordt uitgevoerd, moet ook in aanmerking worden genomen bij de beoordeling van de ernst van de schade die een AI-systeem kan veroorzaken, ook met betrekking tot de gezondheid en de veiligheid van personen of met betrekking tot het milieu.

(29) Wat betreft AI-systemen met een hoog risico die veiligheidscomponenten zijn van producten of systemen, of die zelf producten of systemen zijn die onder het toepassingsgebied vallen van Verordening (EG) nr. 300/2008 van het Europees Parlement en de Raad, Verordening (EU) nr. 167/2013 van het Europees Parlement en de Raad, Verordening (EU) nr. 168/2013 van het Europees Parlement en de Raad, Richtlijn 2014/90/EU van het Europees Parlement en de Raad, Richtlijn (EU) 2016/797 van het Europees Parlement en de Raad, Verordening (EU) 2018/858 van het Europees Parlement en de Raad, Verordening (EU) 2018/1139 van het Europees Parlement en de Raad, en Verordening (EU) 2019/2144 van het Europees Parlement en de Raad, moeten die handelingen worden gewijzigd zodat de Commissie, op basis van de technische en regelgevingskenmerken van elke sector en zonder in te grijpen in de bestaande governance-, conformiteitsbeoordelings-, markttoezichts- en handhavingsmechanismen en de daarin ingestelde autoriteiten, rekening kan houden met de in deze verordening vastgestelde dwingende voorschriften voor AI-systemen met een hoog risico wanneer zij op basis van die handelingen relevante toekomstige gedelegeerde of uitvoeringshandelingen vaststelt.

(30) Wat AI-systemen betreft die veiligheidscomponenten van producten zijn, of die zelf producten zijn, en die onder het toepassingsgebied van bepaalde harmonisatiewetgeving van de Unie vallen, zoals opgenomen in bijlage II, is het passend ze in het kader van deze verordening als AI-systemen met een hoog risico in te delen indien het product in kwestie de conformiteitsbeoordelingsprocedure ondergaat om naleving van essentiële veiligheidseisen te waarborgen bij een derde conformiteitsbeoordelingsinstantie overeenkomstig die relevante harmonisatiewetgeving van de Unie. Het gaat met name om machines, speelgoed, liften, uitrusting en beveiligingssystemen bestemd voor gebruik op plaatsen waar ontploffingsgevaar kan heersen, radioapparatuur, drukapparatuur, pleziervaartuigen, kabelbaaninstallaties, gastoestellen, medische hulpmiddelen en medische hulpmiddelen voor in-vitrodiagnostiek.

(31) De indeling van een AI-systeem als een AI-systeem met een hoog risico overeenkomstig deze verordening hoeft niet te betekenen dat het product waarvan het AI-systeem de veiligheidscomponent is, of het AI-systeem zelf als product, als “een systeem met een hoog risico” wordt beschouwd volgens de criteria die zijn vastgesteld in de relevante harmonisatiewetgeving van de Unie die op het product van toepassing is. Dit is met name het geval voor Verordening (EU) 2017/745 van het Europees Parlement en de Raad 47 en Verordening (EU) 2017/746 van het Europees Parlement en de Raad 48 , waarin in een conformiteitsbeoordeling door een derde partij is voorzien voor producten met een gemiddeld risico en producten met een hoog risico.

(32) Autonome AI-systemen, d.w.z. andere AI-systemen met een hoog risico dan die welke veiligheidscomponenten van producten zijn of die zelf producten zijn, en die opgenomen zijn in een van de gebieden en typen gebruik in bijlage III, moeten als AI-systemen met een hoog risico worden aangemerkt indien zij, gelet op het beoogde doel, een significant risico inhouden op schade aan de gezondheid en de veiligheid of aan de grondrechten van personen en, wanneer het AI-systeem wordt gebruikt als veiligheidscomponent van een kritieke infrastructuur, aan het milieu. Een dergelijk significant risico op schade moet worden vastgesteld door beoordeling van enerzijds het effect van een dergelijk risico met betrekking tot het geheel van de ernst, intensiteit, waarschijnlijkheid en duur hiervan, en anderzijds de mogelijke gevolgen van het risico voor een individu, meerdere personen of een bepaalde groep personen. Een dergelijke combinatie kan bijvoorbeeld leiden tot een grote ernst, maar een geringe waarschijnlijkheid dat een natuurlijke persoon wordt getroffen, of een grote waarschijnlijkheid dat een groep personen over een lange periode met een geringe intensiteit wordt getroffen, afhankelijk van de context. Dergelijk systemen worden geïdentificeerd op basis van dezelfde methode en criteria die ook voor eventuele toekomstige wijzigingen van de lijst van AI-systemen met een hoog risico worden gehanteerd.

(32 bis) Aanbieders van AI-systemen die onder een van de in bijlage III vermelde gebieden en typen gebruik vallen en die van mening zijn dat hun systeem geen significant risico vormt op schade voor de gezondheid, de veiligheid, de grondrechten of het milieu, moeten de nationale toezichthoudende autoriteiten daarvan in kennis stellen door een met redenen omklede kennisgeving in te dienen. Deze kennisgeving kan de vorm aannemen van een samenvatting van één bladzijde van de relevante informatie over het desbetreffende AI-systeem, met inbegrip van het beoogde doel ervan en de reden waarom het geen significant risico op schade voor de gezondheid, de veiligheid, de grondrechten of het milieu zou opleveren. De Commissie moet criteria specificeren aan de hand waarvan ondernemingen kunnen beoordelen of hun systeem dergelijke risico’s met zich meebrengt, en een gebruiksvriendelijk en gestandaardiseerd model voor de kennisgeving ontwikkelen. Aanbieders moeten de kennisgeving zo vroeg mogelijk indienen en in elk geval voorafgaand aan het in de handel brengen of in gebruik stellen van het AI-systeem, idealiter in de ontwikkelingsfase, en zij moeten de vrijheid hebben om het systeem op elk moment na de kennisgeving in de handel te brengen. Indien de autoriteit echter van oordeel is dat het desbetreffende AI-systeem verkeerd is geclassificeerd, moet zij binnen een termijn van drie maanden bezwaar maken tegen de kennisgeving. Het bezwaar moet worden onderbouwd en er moet naar behoren in worden toegelicht waarom het AI-systeem verkeerd is geclassificeerd. De aanbieder moet het recht behouden om in beroep te gaan door verdere argumenten aan te voeren. Indien na de termijn van drie maanden geen bezwaar tegen de kennisgeving is gemaakt, kunnen de nationale toezichthoudende autoriteiten nog steeds ingrijpen als het AI-systeem op nationaal niveau een risico vormt, zoals voor elk ander AI-systeem op de markt. De nationale toezichthoudende autoriteiten moeten bij het AI-bureau jaarverslagen indienen waarin de ontvangen kennisgevingen en de genomen besluiten worden beschreven.

(33) Verwijderd

(33 bis) Aangezien biometrische gegevens een bijzondere categorie gevoelige persoonsgegevens vormen overeenkomstig Verordening (EU) 2016/679, is het passend verschillende kritieke typen gebruik van biometrische en op biometrie gebaseerde systemen als zeer risicovol te classificeren. AI-systemen die zijn bedoeld om te worden gebruikt voor biometrische identificatie van natuurlijke personen en AI-systemen die zijn bedoeld om conclusies te trekken over de persoonlijke kenmerken van natuurlijke personen op basis van biometrische of op biometrie gebaseerde gegevens, met inbegrip van systemen voor het herkennen van emoties, met uitzondering van die welke krachtens deze verordening verboden zijn, moeten daarom als AI-systemen met een hoog risico worden geclassificeerd. Hiervan moeten AI-systemen worden uitgesloten die zijn bedoeld om te worden gebruikt voor biometrische verificatie met inbegrip van authenticatie die uitsluitend tot doel hebben te bevestigen dat een specifieke natuurlijke persoon daadwerkelijk de persoon is die hij of zij beweert te zijn, en die worden gebruikt om de identiteit van een natuurlijke persoon te bevestigen met als enig doel toegang te hebben tot een dienst, een apparaat of een locatie (één-op-éénverificatie). Biometrische en op biometrie gebaseerde systemen waarin het Unierecht voorziet om maatregelen op het gebied van cyberbeveiliging en de bescherming van persoonsgegevens mogelijk te maken, mogen niet worden beschouwd als systemen die een significant risico inhouden op schade aan de gezondheid, de veiligheid en de grondrechten.

(34) Met betrekking tot het beheer en de exploitatie van kritieke infrastructuur is het passend om AI-systemen die moeten worden gebruikt als veiligheidscomponenten in het beheer en de exploitatie van de water-, gas-, verwarmings- en elektriciteitsvoorziening en kritieke digitale infrastructuur als systemen met een hoog risico te classificeren, aangezien het falen of gebrekkig functioneren hiervan gevolgen kan hebben voor de beveiliging en integriteit van dergelijke kritieke infrastructuur of een grootschalig risico kan opleveren voor het leven en de gezondheid van personen en normale sociale en economische activiteiten aanzienlijk kan verstoren. Veiligheidscomponenten van kritieke infrastructuur, met inbegrip van kritieke digitale infrastructuur, zijn systemen die worden gebruikt om de fysieke integriteit van kritieke infrastructuur of de gezondheid en veiligheid van personen en eigendommen rechtstreeks te beschermen. Het falen of slecht functioneren van dergelijke componenten kan direct leiden tot risico’s voor de fysieke integriteit van kritieke infrastructuur en dus tot risico’s voor de gezondheid en veiligheid van personen en eigendommen. Componenten die uitsluitend voor cyberbeveiligingsdoeleinden zijn bestemd, mogen niet als veiligheidscomponenten worden aangemerkt. Voorbeelden van dergelijke veiligheidscomponenten zijn systemen voor de monitoring van de waterdruk of brandalarminstallaties in datacentra voor cloud computing. 

(35) De invoering van AI-systemen in het onderwijs is belangrijk om bij te dragen tot de modernisering van volledige onderwijsstelsels, om de kwaliteit van het onderwijs zowel offline als online te verbeteren en om de ontwikkeling van digitaal onderwijs te versnellen en het daarmee ook voor een breder publiek beschikbaar te maken. AI-systemen die in het onderwijs of voor beroepsopleidingen worden gebruikt, in het bijzonder voor het verlenen van toegang of het uitoefenen van wezenlijke invloed op besluiten over het toelaten of het toewijzen van personen aan instellingen voor onderwijs of beroepsopleidingen of voor het evalueren van personen aan de hand van tests of als voorwaarde voor hun onderwijs of voor de beoordeling van het passende onderwijsniveau voor een persoon en het uitoefenen van wezenlijke invloed op het onderwijsniveau waar die persoon de beschikking over zal hebben of toegang tot kan krijgen of voor het monitoren en opsporen van ongeoorloofd gedrag van studenten tijdens tests, moeten als systemen met een hoog risico worden beschouwd, aangezien zij bepalend kunnen zijn voor het onderwijs en de carrière van personen en derhalve voor hun vermogen om in hun levensonderhoud te voorzien. Wanneer dergelijke systemen op ondeugdelijke wijze zijn ontworpen en worden gebruikt, kunnen zij bijzonder ingrijpend zijn en in strijd zijn met het recht op onderwijs en opleiding, alsook met het recht niet te worden gediscrimineerd, en kunnen historische patronen van discriminatie in stand worden gehouden, bijvoorbeeld ten nadele van vrouwen, bepaalde leeftijdsgroepen, personen met een handicap of personen met een bepaalde raciale of etnische afkomst of seksuele gerichtheid.

(36) AI-systemen die worden gebruikt op het gebied van werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid, met name voor de aanwerving en selectie van personen, voor het nemen van besluiten of het uitoefenen van wezenlijke invloed op de aanstelling, de promotie en het ontslag en voor de gepersonaliseerde toewijzing van taken op basis van individueel gedrag, persoonlijke of biometrische gegevens, de monitoring of de evaluatie van personen in werkgerelateerde contractuele betrekkingen, moeten ook als systemen met een hoog risico worden geclassificeerd, aangezien deze systemen aanzienlijke gevolgen kunnen hebben voor de toekomstige carrièrekansen en het levensonderhoud van deze personen en de rechten van werknemers. Relevante werkgerelateerde contractuele betrekkingen moeten op zinvolle wijze werknemers en personen omvatten die via platforms diensten verlenen, zoals bedoeld in het werkprogramma van de Commissie voor 2021. Dergelijke systemen kunnen er in het aanwervingsproces en bij de evaluatie, de promotie of het behoud van personen in werkgerelateerde contractuele betrekkingen toe leiden dat historische patronen van discriminatie blijven bestaan, bijvoorbeeld van vrouwen, bepaalde leeftijdsgroepen, personen met een handicap of personen met een bepaalde raciale of etnische afkomst of seksuele gerichtheid. AI-systemen die worden gebruikt om de prestaties en het gedrag van deze personen te monitoren, kunnen ook de essentie ondermijnen van hun grondrechten op gegevensbescherming en privacy. Deze verordening is van toepassing onverminderd de bevoegdheden van de Unie en de lidstaten om te voorzien in meer specifieke regels voor het gebruik van AI-systemen in het kader van de arbeidsverhouding.

(37) Een ander gebied waarop het gebruik van AI-systemen bijzondere aandacht verdient, is de toegang tot en het gebruik van bepaalde essentiële particuliere en openbare diensten, waaronder de gezondheidszorg en essentiële diensten, met inbegrip van, maar niet beperkt tot huisvesting, elektriciteit, verwarming/koeling en internet, en uitkeringen die noodzakelijk zijn voor de volledige deelname van personen aan de samenleving of voor het verbeteren van de levensstandaard. In het bijzonder moeten AI-systemen die worden gebruikt om de kredietscore of de kredietwaardigheid van natuurlijke personen te evalueren, worden geclassificeerd als AI-systemen met een hoog risico, aangezien zij bepalend zijn voor de toegang van deze personen tot financiële middelen of essentiële diensten zoals huisvesting, elektriciteit en telecommunicatiediensten. AI-systemen die voor dit doel worden gebruikt, kunnen leiden tot de discriminatie van personen of groepen en historische patronen van discriminatie in stand houden, bijvoorbeeld op basis van raciale of etnische afkomst, gender, handicap, leeftijd of seksuele gerichtheid, of leiden tot nieuwe soorten discriminerende effecten. AI-systemen waarin het Unierecht voorziet om fraude bij het aanbieden van financiële diensten op te sporen, mogen echter niet worden beschouwd als AI-systemen met een hoog risico uit hoofde van deze verordening. Natuurlijke personen die openbare uitkeringen en diensten van overheidsinstanties aanvragen of ontvangen, waaronder gezondheidszorg en essentiële diensten, met inbegrip van, maar niet beperkt tot huisvesting, elektriciteit, verwarming/koeling en internet, zijn normaal gesproken afhankelijk van deze uitkeringen en diensten en verkeren in een kwetsbare positie ten opzichte van de verantwoordelijke instanties. Wanneer AI-systemen worden gebruikt om te bepalen of dergelijke uitkeringen en diensten moeten worden geweigerd, beperkt, ingetrokken of teruggevorderd door de instanties, kunnen zij aanzienlijke effecten hebben op het levensonderhoud van personen en in strijd zijn met hun grondrechten, zoals het recht op sociale bescherming, non-discriminatie, menselijke waardigheid of een doeltreffende voorziening in rechte. Evenzo kunnen AI-systemen die bedoeld zijn om te worden gebruikt om beslissingen te nemen of besluiten wezenlijk te beïnvloeden over de vraag of natuurlijke personen in aanmerking komen voor een ziektekosten- en levensverzekering, aanzienlijke gevolgen hebben voor het levensonderhoud van personen en hun grondrechten schenden, bijvoorbeeld door de toegang tot gezondheidszorg te beperken of door discriminatie op grond van persoonlijke kenmerken te bestendigen. Deze systemen moeten daarom als systemen met een hoog risico worden geclassificeerd. De verordening mag echter niet leiden tot een belemmering van de ontwikkeling en het gebruik van innovatieve benaderingen bij de overheid, die zou profiteren van een breder gebruik van conforme en veilige AI-systemen, mits deze systemen geen hoog risico met zich meebrengen voor rechtspersonen en natuurlijke personen. Tot slot moeten AI-systemen die worden gebruikt voor het evalueren en classificeren van noodoproepen van natuurlijke personen of om hulpdiensten uit te sturen of hierbij voorrang te verlenen, ook worden geclassificeerd als systemen met een hoog risico, omdat zij besluiten nemen wanneer het leven en de gezondheid van personen en hun eigendom zich in zeer kritieke situaties bevinden.

(37 bis) Gezien de rol en de verantwoordelijkheid van de politiële en justitiële autoriteiten en het effect van de beslissingen die zij nemen met het oog op de voorkoming, het onderzoek, de opsporing en de vervolging van strafbare feiten en de tenuitvoerlegging van straffen, moet sommige specifieke typen gebruik van AI-toepassingen bij rechtshandhaving als risicovol worden aangemerkt, met name in gevallen waarin het leven of de grondrechten van personen aanzienlijk kunnen worden beïnvloed.

(38) Maatregelen van rechtshandhavingsinstanties waarbij bepaalde toepassingen van AI-systemen worden gebruikt, worden gekenmerkt door een aanzienlijke mate van machtsverschillen en kunnen leiden tot de controle, de arrestatie of de vrijheidsberoving van natuurlijke personen, alsook tot andere negatieve effecten voor de grondrechten die door het Handvest worden gewaarborgd. Met name wanneer het AI-systeem niet is getraind met kwalitatief hoogwaardige data, niet voldoet aan toereikende voorschriften wat betreft de prestaties, de nauwkeurigheid of robuustheid ervan of niet goed is ontworpen en getest voordat het in de handel is gebracht of anderszins in gebruik is gesteld, kan het personen op discriminerende wijze of anderszins onjuiste of onrechtvaardige wijze aanduiden. Bovendien kan de uitoefening van belangrijke procedurele grondrechten, zoals het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, evenals de rechten van de verdediging en het vermoeden van onschuld, worden belemmerd, met name wanneer dergelijke AI-systemen onvoldoende transparant, verklaarbaar en gedocumenteerd zijn. Het is daarom passend om een aantal AI-systemen dat bedoeld is voor gebruik in de context van rechtshandhaving, waar nauwkeurigheid, betrouwbaarheid en transparantie bijzonder belangrijk zijn om negatieve effecten te voorkomen, het vertrouwen van het publiek te behouden en de verantwoording en doeltreffende voorziening in rechte te waarborgen, als systemen met een hoog risico te classificeren. Met het oog op de aard van de activiteiten in kwestie en de hieraan gerelateerde risico’s moeten deze AI-systemen met een hoog risico met name AI-systemen omvatten die bedoeld zijn om door of namens rechtshandhavingsinstanties of instellingen, organen of instanties van de Unie ter ondersteuning van rechtshandhavingsautoriteiten te worden gebruikt voor leugendetectortests en vergelijkbare instrumenten, voor zover het gebruik daarvan op grond van de toepasselijke Unie- of nationale wetgeving is toegestaan, om de betrouwbaarheid van bewijs in strafprocedures te evalueren, voor de profilering in de loop van de opsporing, het onderzoek of de vervolging van strafbare feiten, evenals voor misdaadanalyses met betrekking tot natuurlijke personen. AI-systemen die specifiek bedoeld zijn voor gebruik voor administratieve procedures van belasting- en douaneautoriteiten moeten niet worden geclassificeerd als AI-systemen met een hoog risico die worden gebruikt door rechtshandhavingsinstanties met het oog op het voorkomen, opsporen, onderzoeken en vervolgen van strafbare feiten. Het gebruik van AI-instrumenten door rechtshandhavings- en justitiële autoriteiten mag geen factor van ongelijkheid, sociale breuken of uitsluiting worden. De gevolgen van het gebruik van AI-instrumenten voor de rechten van verdediging van verdachten mogen niet genegeerd worden, met name het probleem om betekenisvolle informatie over de werking daarvan te verkrijgen, en het daaruit voortvloeiende probleem om de resultaten daarvan voor de rechtbank aan te vechten, met name door personen tegen wie een onderzoek loopt.

(39) AI-systemen die worden gebruikt op het gebied van migratie, asiel en grensbeheer hebben gevolgen voor personen die vaak in een bijzonder kwetsbare positie verkeren en die afhankelijk zijn van de uitkomst van de acties van de bevoegde overheidsinstanties. De nauwkeurigheid, niet-discriminerende aard en transparantie van de AI-systemen die in deze context worden gebruikt, zijn derhalve van bijzonder belang om de eerbiediging van de grondrechten van de betrokken personen te waarborgen, en met name hun recht op vrij verkeer, non-discriminatie, bescherming van het privéleven en de persoonsgegevens, internationale bescherming en goed bestuur. Het is derhalve passend om AI-systemen als systemen met een hoog risico te classificeren wanneer zij bedoeld zijn om te worden gebruikt door of namens de bevoegde overheidsinstanties of instellingen, organen of instanties van de Unie die taken op het gebied van migratie, asiel en grensbeheer uitvoeren, zoals leugendetectortests en vergelijkbare instrumenten, voor zover het gebruik daarvan in het kader van Unie- en nationale wetgeving is toegestaan, om bepaalde risico’s te beoordelen die natuurlijke personen vormen die het grondgebied van een lidstaat binnenkomen of een visum- of asielaanvraag indienen; om de echtheid te controleren van de relevante documenten van natuurlijke personen; om bevoegde overheidsinstanties bij te staan bij het onderzoek naar en de beoordeling van de waarheidsgetrouwheid van bewijsmateriaal en verklaringen met betrekking tot aanvragen voor asiel, visa en verblijfsvergunningen en hieraan gerelateerde klachten met betrekking tot de doelstelling om vast te stellen of de natuurlijke personen die een status aanvragen, hiervoor in aanmerking komen; voor het monitoren, bewaken of verwerken van persoonsgegevens in het kader van grensbeheeractiviteiten, met het oog op het opsporen, herkennen of identificeren van natuurlijke personen; ten behoeve van prognoses of voorspellingen van trends op het gebied van migratiebewegingen en grensoverschrijdingen. AI-systemen op het gebied van migratie, asiel en grensbeheer die onder deze verordening vallen, moeten in overeenstemming zijn met de desbetreffende procedurele voorschriften die zijn vastgesteld in Richtlijn 2013/32/EU van het Europees Parlement en de Raad, Verordening (EG) nr. 810/2009 van het Europees Parlement en de Raad en andere relevante wetgeving. Het gebruik van AI-systemen bij het beheer van migratie, asiel en grenscontroles mag in geen geval door de lidstaten of de instellingen, organen of instanties van de Unie worden gebruikt als middel om hun internationale verplichtingen uit hoofde van het Verdrag betreffende de status van vluchtelingen van 28 juli 1951, zoals gewijzigd bij het Protocol van 31 januari 1967, te omzeilen, noch om op enigerlei wijze inbreuk te maken op het beginsel van non-refoulement of om veilige en doeltreffende legale wegen naar het grondgebied van de Unie te ontzeggen, met inbegrip van het recht op internationale bescherming.

(40) Bepaalde AI-systemen die bedoeld zijn voor de rechtsbedeling en democratische processen moeten als systemen met een hoog risico worden geclassificeerd gezien hun mogelijk aanzienlijke effecten op de democratie, de rechtsstaat, de individuele vrijheden en het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht. Om de risico’s van potentiële vertekeningen, fouten en ondoorzichtigheid aan te pakken, is het met name passend om AI-systemen die bedoeld zijn om te worden gebruikt door of namens een rechterlijke instantie of een administratief orgaan voor de ondersteuning van gerechtelijke autoriteiten of administratieve organen bij het onderzoeken en uitleggen van feiten en het recht en bij het toepassen van het recht op een concrete reeks feiten, of op vergelijkbare wijze kunnen worden gebruikt in het kader van alternatieve geschillenbeslechting, als systemen met een hoog risico aan te merken. Het gebruik van instrumenten op het gebied van artificiële intelligentie kan ondersteuning bieden, maar mag de beslissingsbevoegdheid van rechters of de onafhankelijkheid van de rechterlijke macht niet doorkruisen, aangezien de uiteindelijke besluitvorming een door de mens aangestuurde activiteit en beslissing moet blijven. Een dergelijke aanmerking omvat echter geen AI-systemen die bedoeld zijn voor louter ondersteunende administratieve activiteiten die geen gevolgen hebben voor de daadwerkelijke rechtsbedeling in afzonderlijke zaken, zoals de anonimisering of pseudonimisering van rechterlijke beslissingen, documenten of data, de communicatie tussen personeelsleden, administratieve taken of de toewijzing van middelen.

(40 bis) Om de risico’s van ongepaste externe inmenging van buitenaf in het in artikel 39 van het Handvest verankerde stemrecht en van onevenredige gevolgen voor democratische processen, democratie en de rechtsstaat aan te pakken, moeten AI-systemen die bedoeld zijn om de uitslag van een verkiezing of referendum of het stemgedrag van natuurlijke personen wanneer zij hun stem uitbrengen bij verkiezingen of referenda te beïnvloeden, worden aangemerkt als AI-systemen met een hoog risico, met uitzondering van AI-systemen waarvan de output niet rechtstreeks is gericht op natuurlijke personen, zoals instrumenten voor het organiseren, optimaliseren en structureren van politieke campagnes vanuit administratief en logistiek oogpunt.

(40 ter) Gezien de mate waarin natuurlijke personen gebruikmaken van de diensten die worden aangeboden door socialemediaplatforms die zijn aangemerkt als zeer grote onlineplatforms, kunnen dergelijke onlineplatforms zodanig worden gebruikt dat de onlineveiligheid, de vorming van de publieke opinie en het publieke debat, verkiezingen, democratische processen en maatschappelijke kwesties sterk worden beïnvloed. Het is daarom passend dat AI-systemen die in de aanbevelingssystemen van deze onlineplatforms worden gebruikt, onder deze verordening vallen, om ervoor te zorgen dat de AI-systemen voldoen aan de in deze verordening neergelegde voorschriften, waaronder de technische voorschriften inzake databeheer, technische documentatie, traceerbaarheid, transparantie, menselijk toezicht, nauwkeurigheid en robuustheid. De naleving van deze verordening moet bovengenoemde zeer grote onlineplatforms in staat stellen te voldoen aan hun bredere verplichtingen inzake risicobeoordeling en -beperking uit hoofde van de artikelen 34 en 35 van Verordening (EU) 2022/2065. De in deze verordening neergelegde verplichtingen doen geen afbreuk aan Verordening (EU) 2022/2065 en moeten de verplichtingen uit hoofde van Verordening (EU) 2022/2065 aanvullen wanneer socialemediaplatforms als zeer grote onlineplatforms zijn aangemerkt. Gezien de Uniebrede impact van socialemediaplatforms die als zeer grote onlineplatforms zijn aangemerkt, moeten de op grond van Verordening (EU) 2022/2065 aangewezen autoriteiten met het oog op de handhaving van deze bepaling optreden als handhavingsautoriteiten.

(41) Het feit dat een AI-systeem uit hoofde van deze verordening als AI-systeem met een hoog risico is geclassificeerd, mag niet aldus worden uitgelegd dat het gebruik van het systeem noodzakelijkerwijs rechtmatig of onrechtmatig is op grond van andere handelingen van het Unierecht of op grond van intern recht dat verenigbaar is met het Unierecht, zoals met betrekking tot de bescherming van de persoonsgegevens. Een dergelijk gebruik mag nog steeds uitsluitend plaatsvinden in overeenstemming met de toepasselijke voorschriften die voortvloeien uit het Handvest en de toepasselijke handelingen van secundair Unierecht en intern recht.

(41 bis) Er bestaat reeds een aantal juridisch bindende regels op Unie-, nationaal en internationaal niveau dat van toepassing is of betrekking heeft op AI-systemen, waaronder, maar niet beperkt tot, het primair Unierecht (de Verdragen van de Europese Unie en het Handvest van de grondrechten van de Europese Unie), het secundair Unierecht (waaronder de algemene verordening gegevensbescherming, de richtlijn productaansprakelijkheid, de verordening inzake het vrije verkeer van niet-persoonsgebonden gegevens, antidiscriminatierichtlijnen, het consumentenrecht en richtlijnen inzake veiligheid en gezondheid op het werk), de mensenrechtenverdragen van de VN en de verdragen van de Raad van Europa (waaronder het Europees Verdrag tot bescherming van de rechten van de mens), alsook het nationaal recht. Naast horizontaal toepasselijke regels bestaan er ook verschillende domeinspecifieke regels die van toepassing zijn op bepaalde AI-toepassingen (zoals de verordening inzake medische hulpmiddelen in de gezondheidszorg).

(42) Om de risico’s van AI-systemen met een hoog risico die in de Unie in de handel zijn gebracht of op andere wijze in gebruik zijn gesteld voor exploitanten en betrokken personen te beperken, moeten bepaalde verplichte voorschriften van toepassing zijn, rekening houdend met het beoogde doel en het redelijkerwijs te voorzien misbruik van het systeem, en in overeenstemming met het systeem voor risicobeheer dat door de aanbieder wordt vastgesteld. Deze voorschriften moeten op doelstellingen gebaseerd zijn, geschikt zijn voor het beoogde doel en redelijk en doeltreffend zijn, zonder onnodige extra regeldruk of kosten voor operators.

(43) Op AI-systemen met een hoog risico moeten voorschriften van toepassing zijn met betrekking tot de kwaliteit en relevantie van de gebruikte datareeksen, technische documentatie en registratie, transparantie en het verstrekken van informatie aan exploitanten, menselijk toezicht en robuustheid, nauwkeurigheid en cyberbeveiliging. Deze voorschriften zijn noodzakelijk om de risico’s voor de gezondheid, veiligheid en grondrechten, alsmede voor het milieu, de democratie en de rechtsstaat, waarvan in het licht van het beoogde doel of redelijkerwijs te voorzien misbruik van het systeem sprake is, te verminderen wanneer geen andere maatregelen redelijkerwijs beschikbaar zijn die de handel in mindere mate beperken, zodat ongerechtvaardigde beperkingen van de handel worden voorkomen.

(44) Toegang tot kwalitatief hoogwaardige data is van wezenlijk belang voor het bieden van structuur en het waarborgen van de prestaties van veel AI-systemen, met name wanneer technieken worden gebruikt waarbij modellen worden getraind, om ervoor te zorgen dat AI-systemen met een hoog risico zoals beoogd en veilig werken en geen bron van discriminatie worden die uit hoofde van het Unierecht verboden is. Kwalitatief hoogwaardige datareeksen voor training, validatie en tests vereisen de uitvoering van passende praktijken voor databeheer. Datareeksen voor training en, in voorkomend geval, voor validatie en tests, met inbegrip van de etikettering ervan, moeten voldoende relevant, representatief en zo volledig mogelijk zijn en moeten naar behoren worden doorgelicht op fouten met het oog op het beoogde doel van het systeem. De datareeksen moeten bovendien de passende statistische kenmerken hebben, waaronder met betrekking tot de personen of groepen personen in verband met wie de AI-systemen met een hoog risico moeten worden gebruikt, met bijzondere aandacht voor het tegengaan van mogelijke vertekeningen in de datareeksen, die zouden kunnen leiden tot risico’s voor de grondrechten of tot discriminerende uitkomsten voor de personen die de gevolgen ondervinden van het AI-systeem met een hoog risico. Vertekeningen kunnen bijvoorbeeld inherent zijn aan de onderliggende datareeksen, met name wanneer historische gegevens worden gebruikt, die worden ingevoerd door de ontwikkelaars van de algoritmen of gegenereerd wanneer de systemen in reële omgevingen worden toegepast. De resultaten die door AI-systemen worden aangeboden, worden beïnvloed door dergelijke inherente vertekeningen, die vaak geleidelijk groter worden en daarmee bestaande discriminatie bestendigen en verergeren, met name voor personen die tot bepaalde kwetsbare of etnische groepen of tot geracialiseerde gemeenschappen behoren. Ten aanzien van datareeksen voor training, validatie en tests moet, voor zover vereist gezien het beoogde doel hiervan, met name rekening worden gehouden met de kenmerken, eigenschappen of elementen die specifiek zijn voor een bepaalde geografische, contextuele gedrags- of functionele omgeving of context waarin het AI-systeem moet worden gebruikt. Om het recht van anderen te beschermen tegen discriminatie die kan voortvloeien uit de vertekening (bias) in AI-systemen, moeten aanbieders, bij wijze van uitzondering en na toepassing van alle toepasselijke voorwaarden die in deze verordening, alsmede in Verordening (EU) 2016/679, Richtlijn (EU) 2016/680 en Verordening (EU) 2018/1725 zijn neergelegd, ook bijzondere categorieën persoonsgegevens kunnen verwerken wanneer sprake is van een zwaarwegend algemeen belang, teneinde de opsporing en correctie van vertekening in verband met AI-systemen met een hoog risico te waarborgen. Negatieve vertekening moet worden opgevat als vertekening die directe of indirecte discriminerende effecten met zich meebrengt voor een natuurlijke persoon. Aan de voorschriften inzake databeheer kan worden voldaan door een beroep te doen op derden die gecertificeerde nalevingsdiensten aanbieden, waaronder verificatie van databeheer, integriteit van datareeksen, en gegevenstraining, -validatie en -tests.

(45) Voor de ontwikkeling en beoordeling van AI-systemen met een hoog risico moeten bepaalde actoren, zoals aanbieders, aangemelde instanties en andere relevante entiteiten, zoals digitale-innovatiehubs, faciliteiten voor tests en experimenten en onderzoekers, toegang hebben tot kwalitatief hoogwaardige datareeksen op de gebieden waarop zij activiteiten verrichten die verband houden met deze verordening en hiervan gebruik kunnen maken. Door de Commissie vastgestelde gemeenschappelijke Europese gegevensruimten en de vergemakkelijking van de gegevensuitwisseling tussen ondernemingen en de overheid in het algemeen belang zullen erg belangrijk zijn voor een betrouwbare, toerekenbare en niet-discriminerende toegang tot kwalitatief hoogwaardige data voor het trainen, valideren en testen van AI-systemen. Op het gebied van gezondheid zal de Europese ruimte voor gezondheidsgegevens bijvoorbeeld de niet-discriminerende toegang tot gezondheidsgegevens en de training van algoritmen voor artificiële intelligentie aan de hand van deze datareeksen vergemakkelijken op een wijze die de privacy waarborgt en die veilig, tijdig, transparant en betrouwbaar is, met een passend institutioneel beheer. Relevante bevoegde autoriteiten, waaronder sectorale autoriteiten, die de toegang tot data verlenen of ondersteunen, kunnen ook steun verlenen voor het verstrekken van kwalitatief hoogwaardige data voor het trainen, valideren en testen van AI-systemen.

(45 bis) Het recht op privacy en bescherming van persoonsgegevens moet gedurende de hele levenscyclus van het AI-systeem worden gewaarborgd. In dit verband zijn de beginselen van gegevensminimalisatie en gegevensbescherming door ontwerp en door standaardinstellingen, zoals vastgelegd in de wetgeving van de Unie inzake gegevensbescherming, essentieel in gevallen waarin de verwerking van gegevens een significant risico voor de grondrechten van personen met zich meebrengt. Aanbieders en gebruikers van AI-systemen moeten technische en organisatorische maatregelen nemen die in overeenstemming zijn met de stand van de techniek om deze rechten te beschermen. Deze maatregelen moeten niet alleen anonimisering en versleuteling omvatten, maar ook het gebruik van de steeds breder beschikbaar komende technologie die de toepassing van algoritmen op gegevens mogelijk maakt, alsook de vergaring van waardevolle inzichten zonder de uitwisseling van de ruwe of gestructureerde gegevens zelf tussen partijen of het onnodig kopiëren daarvan.

(46) Begrijpelijke informatie over de manier waarop AI-systemen met een hoog risico zijn ontwikkeld en hoe zij gedurende hun levensduur presteren, is essentieel om de overeenstemming met de voorschriften van deze verordening te controleren. Dit vereist de registratie en de beschikbaarheid van technische documentatie die de noodzakelijke data bevat om de overeenstemming van het AI-systeem met de desbetreffende voorschriften te beoordelen. Dergelijke informatie moet de algemene kenmerken, mogelijkheden en beperkingen van het systeem omvatten, evenals algoritmen, data en gebruikte processen voor het trainen, testen en valideren, alsook documentatie met betrekking tot het desbetreffende systeem voor risicobeheer. De technische documentatie moet gedurende de levenscyclus van het AI-systeem op gepaste wijze actueel worden gehouden. AI-systemen kunnen tijdens hun levenscyclus een groot milieueffect sorteren en een hoog energieverbruik hebben. De door aanbieders opgestelde technische documentatie moet informatie bevatten over het energieverbruik van het AI-systeem, met inbegrip van het verbruik tijdens de ontwikkeling ervan en het verwachte verbruik tijdens het gebruik ervan, zodat de gevolgen van AI-systemen voor het milieu beter kunnen worden bevat. In deze informatie moet rekening worden gehouden met de wetgeving van de Unie en de lidstaten ter zake. De gerapporteerde informatie moet begrijpelijk, vergelijkbaar en verifieerbaar zijn. De Commissie moet daartoe richtsnoeren opstellen inzake een geharmoniseerde methode voor de berekening en rapportage van de desbetreffende informatie. Om ervoor te zorgen dat slechts één document kan bestaan, moeten begrippen en definities met betrekking tot de vereiste documentatie en alle vereiste documentatie in de wetgeving van de Unie ter zake zoveel mogelijk op elkaar worden afgestemd. 

(46 bis) In AI-systemen moet rekening worden gehouden met methoden die in overeenstemming zijn met de stand van de techniek, alsmede met de toepasselijke normen op dit vlak, zodat het energieverbruik, het hulpbronnengebruik en de productie van afval kunnen worden verminderd en de energie-efficiëntie alsook de algehele efficiëntie van het systeem kunnen worden verhoogd. De milieuaspecten van AI-systemen die van belang zijn voor de toepassing van deze verordening zijn het energieverbruik van het AI-systeem in de ontwikkelings-, training- en uitrolfase, en de registratie, rapportage en opslag van deze gegevens. Het ontwerp van AI-systemen moet het mogelijk maken het verbruik van energie en hulpbronnen in elke fase van de ontwikkeling, rapportage en uitrol te meten en te registreren. De monitoring en rapportage van de uitstoot van AI-systemen moeten robuust, transparant, consequent en nauwkeurig zijn. De Commissie moet, met het oog op de uniforme toepassing van deze verordening en de totstandbrenging van een stabiel juridisch ecosysteem voor aanbieders en exploitanten in de eengemaakte markt, gemeenschappelijke specificaties ontwikkelen voor de methodologie, om te voldoen aan de rapportage- en documentatievoorschriften inzake het verbruik van energie en hulpbronnen tijdens de ontwikkeling, het trainen en de uitrol van het AI-systeem. Deze gemeenschappelijke specificaties voor de meetmethoden kunnen een referentiescenario bieden, op basis waarvan de Commissie beter kan beslissen of in de toekomst regelgevingsmaatregelen nodig zullen zijn, na de uitvoering van een effectbeoordeling waarin de bestaande wetgeving in acht wordt genomen.

(46 ter) Om de doelstellingen van deze verordening te verwezenlijken en bij te dragen tot de milieudoelstellingen van de Unie, zonder de goede werking van de interne markt uit het oog te verliezen, kan het nodig zijn om aanbevelingen en richtsnoeren, en uiteindelijk ook duurzaamheidsstreefcijfers, vast te stellen. Daartoe mag de Commissie een methode ontwikkelen om bij te dragen aan de kernprestatie-indicatoren (KPI’s) en een referentie voor de duurzameontwikkelingsdoelstellingen (Sustainable Development Goals – SDG’s). Het doel moet er in de eerste plaats in bestaan eerlijke vergelijking tussen keuzes bij de uitvoering van AI mogelijk te maken die stimulansen bieden ter bevordering van het gebruik van efficiëntere AI-technologieën om problemen op het gebied van energie en hulpbronnen aan te pakken. Deze verordening moet voorzien in de middelen die nodig zijn om een basisverzameling aan te leggen van gerapporteerde gegevens over de uitstoot van de systemen tijdens de ontwikkelings-, training- en uitrolfase.

(47) Om de ondoorzichtigheid aan te pakken, die ertoe leidt dat bepaalde AI-systemen ondoorgrondelijk of te complex zijn voor natuurlijke personen, moet een bepaalde mate van transparantie vereist zijn voor AI-systemen met een hoog risico. Gebruikers moeten de output van het systeem kunnen interpreteren en dienovereenkomstig kunnen gebruiken. AI-systemen met een hoog risico moeten derhalve vergezeld gaan van relevante documentatie en gebruiksaanwijzingen en beknopte en duidelijke informatie bevatten, waar passend ook met betrekking tot mogelijke risico’s voor de grondrechten en risico’s op discriminatie.

(47 bis) Deze voorschriften inzake transparantie en verklaarbaarheid van AI-beslissingen moeten ook de afschrikkende gevolgen helpen vermijden van digitale asymmetrie en zogenoemde “dark patterns”, die gericht zijn op personen en hun geïnformeerde toestemming.

(48) AI-systemen met een hoog risico moeten op zodanige wijze worden ontworpen en ontwikkeld dat natuurlijke personen toezicht kunnen houden op de werking ervan. Met het oog hierop moeten passende maatregelen voor menselijk toezicht worden bepaald door de aanbieder van het systeem voordat dit in de handel wordt gebracht of in gebruik wordt gesteld. Dergelijke maatregelen moeten, waar passend, met name waarborgen dat voor het systeem ingebouwde operationele beperkingen gelden die niet door het systeem zelf kunnen worden omzeild, dat het systeem reageert op de menselijke exploitant en dat de natuurlijke personen aan wie de taak van het menselijke toezicht is toegewezen, beschikken over de noodzakelijke competenties, opleiding en autoriteit om deze taak uit te voeren.

(49) AI-systemen met een hoog risico moeten gedurende hun levenscyclus consistent presteren en een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging behalen in overeenstemming met de algemeen erkende stand van de techniek. De prestatiestatistieken en het verwachte niveau ervan moeten worden gedefinieerd, met als voornaamste doel de risico’s en de negatieve gevolgen van het AI-systeem te beperken. Het verwachte niveau van de prestatiestatistieken moet op een duidelijke, transparante, gemakkelijk begrijpelijke en inzichtelijke manier aan de exploitanten worden meegedeeld. Het opgeven van prestatiestatistieken mag niet worden beschouwd als bewijs van toekomstige niveaus. Er moeten relevante methoden worden gebruikt om ervoor te zorgen dat de niveaus tijdens het gebruik consistent blijven. Er bestaan weliswaar normalisatieorganisaties om normen vast te stellen, maar er is niettemin behoefte aan coördinatie inzake benchmarking om te bepalen hoe deze genormaliseerde voorschriften en kenmerken van AI-systemen moeten worden gemeten. Het Europees Bureau voor artificiële intelligentie (hierna “het AI-bureau”) moet nationale en internationale metrologie- en benchmarkingautoriteiten samenbrengen en niet-bindende richtsnoeren verstrekken inzake de technische aspecten van het meten van het juiste prestatieniveau en de juiste mate van robuustheid.

(50) De technische robuustheid is een essentieel voorschrift voor AI-systemen met een hoog risico. Deze systemen moeten bestand zijn tegen risico’s in verband met de beperkingen van het systeem (bv. fouten, onregelmatigheden, onverwachte situaties) en tegen kwaadwillige acties die de beveiliging van het AI-systeem in gevaar kunnen brengen en kunnen leiden tot schadelijk of anderszins ongewenst gedrag. Wanneer niet tegen deze risico’s wordt beschermd, kan dit leiden tot veiligheidseffecten of negatieve gevolgen voor de grondrechten, bijvoorbeeld als gevolg van foutieve beslissingen of een onjuiste of vertekende output die door het AI-systeem wordt gegenereerd. Gebruikers van het AI-systeem moeten stappen ondernemen om ervoor te zorgen dat de mogelijke afweging tussen robuustheid en nauwkeurigheid niet leidt tot discriminerende of negatieve resultaten voor subgroepen van minderheden.

(51) Cyberbeveiliging is cruciaal om te waarborgen dat AI-systemen bestand zijn tegen pogingen van derden die gebruikmaken van de kwetsbaarheden van het systeem om het gebruik, het gedrag of de prestaties ervan te wijzigen of de veiligheidskenmerken ervan in gevaar te brengen. Bij cyberaanvallen tegen AI-systemen kunnen AI-specifieke activa worden gebruikt, zoals datareeksen voor training (bv. datavervuiling) of getrainde modellen (bv. vijandige aanvallen of aanvallen om vertrouwelijke gegevens te bemachtigen), of kwetsbaarheden in de digitale activa van het AI-systeem of de onderliggende ICT-infrastructuur worden benut. Om te zorgen voor een niveau van cyberbeveiliging dat aansluit op de risico’s, moeten aanbieders van AI-systemen met een hoog risico, alsmede de aangemelde instanties, bevoegde nationale autoriteiten en autoriteiten voor markttoezicht, derhalve passende maatregelen nemen, waarbij ook op passende wijze rekening wordt gehouden met de onderliggende ICT-infrastructuur. AI-systemen met een hoog risico moeten gedurende de hele levenscyclus van het product, of, indien er geen sprake is van afhankelijkheid van een bepaald product, gedurende een door de producent te vermelden periode, worden ondersteund met beveiligingsoplossingen en -patches.

(52) Als onderdeel van de harmonisatiewetgeving van de Unie moeten regels worden vastgesteld die van toepassing zijn op het in de handel brengen, in gebruik stellen en gebruiken van AI-systemen met een hoog risico die consistent zijn met Verordening (EG) nr. 765/2008 van het Europees Parlement en de Raad tot vaststelling van de eisen inzake accreditatie en markttoezicht betreffende het verhandelen van producten 51 , Besluit nr. 768/2008/EG van het Europees Parlement en de Raad betreffende een gemeenschappelijk kader voor het verhandelen van producten 52 en Verordening (EU) 2019/1020 van het Europees Parlement en de Raad betreffende markttoezicht en conformiteit van producten 53 (hierna het “nieuwe wetgevingskader voor het verhandelen van producten” genoemd).

(53) Het is passend dat een specifieke natuurlijke of rechtspersoon, die als aanbieder wordt aangemerkt, de verantwoordelijkheid neemt voor het in de handel brengen of in gebruik stellen van een AI-systeem met een hoog risico, ongeacht of deze natuurlijke of rechtspersoon de persoon is die het systeem heeft ontworpen of ontwikkeld.

(53 bis) Als ondertekenaars van het Verdrag van de Verenigde Naties inzake de rechten van personen met een handicap (UNCRPD) zijn de Unie en de lidstaten wettelijk verplicht personen met een handicap te beschermen tegen discriminatie en hun gelijkheid te bevorderen, ervoor te zorgen dat personen met een handicap op voet van gelijkheid met anderen toegang hebben tot informatie- en communicatietechnologieën en -systemen, en de eerbiediging van de privacy van personen met een handicap te waarborgen. Gezien het toenemende belang en gebruik van AI-systemen moet de toepassing van universele ontwerpbeginselen op alle nieuwe technologieën en diensten zorgen voor volledige, gelijke en onbeperkte toegang voor iedereen die mogelijk gevolgen ondervindt van of gebruikmaakt van AI-technologieën, met inbegrip van personen met een handicap, op een manier waarbij ten volle rekening wordt gehouden met hun inherente waardigheid en diversiteit. Het is daarom van essentieel belang dat aanbieders ervoor zorgen dat zij voldoen aan de toegankelijkheidsvoorschriften, alsook aan Richtlijn (EU) 2016/2102 en Richtlijn (EU) 2019/882. Aanbieders moeten ervoor zorgen dat door ontwerp aan deze voorschriften wordt voldaan. De nodige maatregelen moeten daarom zo goed mogelijk in het ontwerp van AI-systemen met een hoog risico worden geïntegreerd.

(54) De aanbieder moet een gedegen systeem voor kwaliteitsbeheer vaststellen, zorgen voor het doorlopen van de vereiste conformiteitsbeoordelingsprocedure, de relevante documentatie opstellen en een robuust systeem vaststellen voor monitoring na het in de handel brengen. Van aanbieders die reeds beschikken over systemen voor kwaliteitsbeheer die gebaseerd zijn op normen zoals ISO 9001 of andere relevante normen wordt niet verwacht dat zij een volledig tweede systeem voor kwaliteitsbeheer instellen. In plaats daarvan moeten zij hun bestaande systemen afstemmen op bepaalde aspecten die verband houden met de naleving van bepaalde specifieke voorschriften van deze verordening. Dit moet ook terugkomen in nieuwe normalisatieactiviteiten of -richtsnoeren die de Commissie in dit verband vaststelt. Overheidsinstanties die AI-systemen met een hoog risico in gebruik stellen voor eigen gebruik mogen de regels voor het systeem voor kwaliteitsbeheer goedkeuren en uitvoeren als onderdeel van het systeem voor kwaliteitsbeheer dat, naargelang het geval, op nationaal of regionaal niveau is goedgekeurd, rekening houdend met de specifieke kenmerken van de sector en de competenties en organisatie van de overheidsinstantie in kwestie.

(55) Wanneer een AI-systeem met een hoog risico dat een veiligheidscomponent is van een product dat valt onder desbetreffende sectorale wetgeving van het nieuwe wetgevingskader niet onafhankelijk van het product in de handel wordt gebracht of in gebruik wordt gesteld, moet de fabrikant van het eindproduct, zoals gedefinieerd in de desbetreffende wetgeving van het nieuwe wetgevingskader, de verplichtingen van de aanbieder naleven, zoals vastgesteld in deze verordening, en er met name voor zorgen dat het AI-systeem dat is opgenomen in het eindproduct in overeenstemming is met de voorschriften van deze verordening.

(56) Om de handhaving van deze verordening mogelijk te maken en te zorgen voor een gelijk speelveld voor operators en rekening houdend met de verschillende vormen waarin digitale producten beschikbaar kunnen worden gemaakt, is het van belang dat onder alle omstandigheden wordt gewaarborgd dat een persoon die in de Unie is gevestigd de autoriteiten alle noodzakelijke informatie kan verstrekken over de conformiteit van een AI-systeem. Voordat zij hun AI-systemen beschikbaar maken in de Unie, wijzen aanbieders die buiten de Unie zijn gevestigd derhalve per schriftelijke machtiging een gemachtigde aan die is gevestigd in de Unie.

(57) In lijn met de beginselen van het nieuwe wetgevingskader moeten specifieke verplichtingen voor betrokken marktdeelnemers, zoals importeurs en distributeurs, worden vastgesteld om de rechtszekerheid te waarborgen en de naleving van de regelgeving door deze betrokken marktdeelnemers te vergemakkelijken.

(58) Gezien de aard van AI-systemen en de risico’s voor de veiligheid en de grondrechten die mogelijk gepaard gaan met het gebruik hiervan, onder meer met betrekking tot de noodzaak om een behoorlijke monitoring van de prestaties van een AI-systeem in de praktijk te waarborgen, is het passend om specifieke verantwoordelijkheden voor exploitanten vast te stellen. In het bijzonder moeten exploitanten AI-systemen met een hoog risico gebruiken in overeenstemming met de gebruiksinstructies en moeten, waar passend, bepaalde andere verplichtingen worden vastgesteld met betrekking tot de monitoring van de werking van AI-systemen en met betrekking tot de registratie.

(58 bis) Hoewel aan AI-systemen verbonden risico’s kunnen voortvloeien uit de manier waarop dergelijke systemen worden ontworpen, kunnen de risico’s ook voortvloeien uit de manier waarop dergelijke AI-systemen worden gebruikt. Exploitanten van AI-systemen met een hoog risico spelen daarom een cruciale rol bij het waarborgen van de bescherming van de grondrechten, in aanvulling op de verplichtingen van de aanbieder bij de ontwikkeling van het AI-systeem. Exploitanten zijn het best in staat om te begrijpen hoe het AI-systeem met een hoog risico concreet zal worden gebruikt en kunnen derhalve potentiële significante risico’s identificeren die niet in de ontwikkelingsfase waren voorzien, dankzij een preciezere kennis van de gebruikscontext, de mensen of groepen mensen die waarschijnlijk zullen worden geraakt, met inbegrip van gemarginaliseerde en kwetsbare groepen. Exploitanten moeten passende beheersstructuren voor dit specifieke gebruik in kaart brengen, zoals regelingen voor menselijk toezicht, klachtenprocedures en beroepsprocedures, omdat keuzes met betrekking tot de beheersstructuren een cruciale rol kunnen spelen bij de beperking van risico’s voor de grondrechten in gevallen van concreet gebruik. Om op efficiënte wijze te waarborgen dat de grondrechten worden beschermd, moet de exploitant van AI-systemen met een hoog risico daarom een effectbeoordeling op het gebied van de grondrechten uitvoeren voordat de systemen in gebruik worden gesteld. De effectbeoordeling moet vergezeld gaan van een gedetailleerd plan dat een beschrijving omvat van de maatregelen of instrumenten die de risico’s voor de grondrechten moeten helpen beperken die uiterlijk op het moment van ingebruikstelling zijn vastgesteld. Als dit plan niet kan worden vastgesteld, mag de exploitant het systeem niet in gebruik stellen. De exploitant stelt de nationale toezichthoudende autoriteit en, zo veel als mogelijk, de betrokken belanghebbenden en vertegenwoordigers van de personen of groepen die waarschijnlijk de gevolgen zullen ondervinden van het AI-systeem, op de hoogte om informatie ter zake te verzamelen die noodzakelijk wordt geacht voor de uitvoering van de effectbeoordeling. Exploitanten worden ertoe aangespoord een samenvatting van hun effectbeoordeling op het gebied van de grondrechten openbaar te maken op hun website. Deze verplichtingen mogen niet gelden voor kmo’s, waarvoor het vanwege een gebrek aan middelen moeilijker kan zijn om een dergelijke raadpleging uit te voeren. Zij moeten er evenwel naar streven bovengenoemde vertegenwoordigers bij het proces te betrekken wanneer zij hun effectbeoordeling op het gebied van de grondrechten uitvoeren. Voorts moeten exploitanten van AI-systemen met een hoog risico die overheidsinstanties of instellingen, organen of instanties van de Unie zijn, alsmede exploitanten die ondernemingen zijn die op grond van Verordening (EU) 2022/1925 zijn aangewezen als poortwachter, met het oog op de potentiële gevolgen en de noodzaak van democratisch toezicht en democratische controle, het gebruik van AI-systemen met een hoog risico in een openbare databank registreren. Andere exploitanten kunnen zich vrijwillig registreren.

(59) Het is passend om te bepalen dat de exploitant van het AI-systeem de natuurlijke of rechtspersoon, de overheidsinstantie, het agentschap of een ander orgaan moet zijn die/dat verantwoordelijk is voor het gebruik van het AI-systeem, tenzij het gebruik plaatsvindt in de loop van een persoonlijke, niet-beroepsactiviteit.

(60) Binnen de AI-waardeketen worden vaak door meerdere entiteiten instrumenten en diensten geleverd, alsook onderdelen of processen, die vervolgens door de aanbieder in het AI-systeem worden geïntegreerd, onder meer met betrekking tot de verzameling en de voorverwerking van gegevens, het (opnieuw) trainen, testen en evalueren van modellen, de integratie in software, of andere aspecten van modelontwikkeling. De betrokken entiteiten kunnen hun aanbod direct of indirect commercieel beschikbaar stellen via interfaces, zoals applicatieprogramma-interfaces (API’s), en distribueren in het kader van vrije en open bronlicenties, maar ook steeds vaker door middel van AI-werknemersplatforms, de doorverkoop van getrainde parameters, doe-het-zelf-pakketten voor het bouwen van modellen of het aanbieden van betaalde toegang tot architectuur voor model serving om modellen te ontwikkelen en te trainen. Gezien deze complexiteit van de AI-waardeketen moeten alle relevante derde partijen, en met name de partijen die zijn betrokken bij de ontwikkeling, de verkoop en de commerciële levering van softwarehulpmiddelen, -onderdelen, vooraf getrainde modellen of in het AI-systeem geïntegreerde gegevens, of aanbieders van netwerkdiensten, zonder afbreuk te doen aan hun eigen intellectuele-eigendomsrechten of bedrijfsgeheimen, de vereiste informatie, training of expertise verstrekken en, waar passend, samenwerken met aanbieders om hun controle over alle naleving van de desbetreffende aspecten van het AI-systeem die onder deze verordening vallen, mogelijk te maken. Om kosteneffectief beheer van de AI-waardeketen mogelijk te maken, wordt de mate van controle uitdrukkelijk bekendgemaakt door elke derde partij die instrumenten, diensten, onderdelen of processen levert aan de aanbieder die vervolgens door de aanbieder worden geïntegreerd in het AI-systeem. 

(60 bis) Wanneer een van de partijen een sterkere onderhandelingspositie heeft, bestaat het risico dat die partij haar positie ten nadele van de andere contractpartij gebruikt bij onderhandelingen over de levering van instrumenten, diensten, onderdelen of processen die worden gebruikt of geïntegreerd in een AI-systeem met een hoog risico, of over de rechtsmiddelen voor inbreuken op of beëindiging van gerelateerde verplichtingen. Dergelijke contractuele onevenwichtigheden zijn met name schadelijk voor micro-, kleine en middelgrote ondernemingen, alsook voor startende ondernemingen, tenzij deze eigendom zijn van of worden uitbesteed door een onderneming die in staat is de onderaannemer op passende wijze te compenseren, aangezien laatstgenoemde geen reële mogelijkheid heeft om over de voorwaarden van de contractuele overeenkomst te onderhandelen en wellicht geen andere keuze heeft dan de “graag of niet”-contractvoorwaarden te aanvaarden. Oneerlijke contractvoorwaarden die de levering van instrumenten, diensten, onderdelen of processen die worden gebruikt of geïntegreerd in een AI-systeem met een hoog risico, of de rechtsmiddelen voor inbreuken op of beëindiging van gerelateerde verplichtingen regelen, mogen daarom niet bindend zijn voor dergelijke micro-, kleine en middelgrote ondernemingen en startende ondernemingen wanneer de voorwaarden eenzijdig aan deze ondernemingen zijn opgelegd.

(60 ter) In de regels inzake contractvoorwaarden moet rekening worden gehouden met het beginsel van contractvrijheid als essentieel concept in de relaties tussen ondernemingen. Daarom moeten niet alle contractvoorwaarden aan een oneerlijkheidstoets worden onderworpen, maar alleen voorwaarden die eenzijdig aan micro-, kleine en middelgrote ondernemingen en startende ondernemingen worden opgelegd. Het gaat daarbij om situaties waarin een partij een bepaalde contractvoorwaarde voorstelt en de micro-, kleine of middelgrote onderneming of de startende onderneming geen invloed kan uitoefenen op de inhoud van die voorwaarde, ondanks een poging om erover te onderhandelen. Een contractvoorwaarde die door één partij wordt voorgesteld en door de micro-, kleine of middelgrote onderneming of de startende onderneming is aanvaard, of een voorwaarde waarover is onderhandeld en die vervolgens in gewijzigde vorm tussen de contractpartijen is overeengekomen, mag niet als eenzijdig opgelegd worden beschouwd.

(60 quater) Voorts moeten de regels inzake oneerlijke contractvoorwaarden alleen van toepassing zijn op de elementen van contracten die betrekking hebben op de levering van instrumenten, diensten, onderdelen of processen die worden gebruikt of geïntegreerd in een AI-systeem met een hoog risico, of op de rechtsmiddelen voor inbreuken op of beëindiging van gerelateerde verplichtingen. Andere delen van hetzelfde contract die geen verband houden met deze elementen, mogen niet aan de in deze verordening vastgestelde oneerlijkheidstoets worden onderworpen.

(60 quinquies) Criteria voor de vaststelling van oneerlijke contractvoorwaarden mogen alleen worden toegepast op buitensporige contractvoorwaarden, waarmee misbruik wordt gemaakt van een sterkere onderhandelingspositie. De overgrote meerderheid van de contractvoorwaarden die vanuit commercieel oogpunt gunstiger zijn voor de ene partij dan voor de andere, waaronder voorwaarden die gebruikelijk zijn in overeenkomsten tussen ondernemingen, zijn een normale uitdrukking van het beginsel van contractvrijheid en blijven van toepassing. Als een contractvoorwaarde niet is opgenomen in de lijst van voorwaarden die altijd als oneerlijk worden beschouwd, is de algemene oneerlijkheidsbepaling van toepassing. In dit verband moeten de als oneerlijk aangemerkte voorwaarden als maatstaf dienen voor de interpretatie van de algemene oneerlijkheidsbepaling.

(60 sexies) Basismodellen zijn een recente ontwikkeling, waarbij AI-modellen worden ontwikkeld op basis van algoritmen die zijn ontworpen om de algemeenheid en veelzijdigheid van de output te optimaliseren. Deze modellen worden vaak getraind met een breed scala aan gegevensbronnen en grote hoeveelheden gegevens om een breed scala aan downstreamtaken te verwezenlijken, waaronder taken waarvoor de modellen niet specifiek zijn ontwikkeld en getraind. Het basismodel kan uni- of multimodaal zijn en wordt getraind door middel van verschillende methoden, waaronder gecontroleerd leren en versterkend leren. AI-systemen met een specifiek beoogd doel of AI-systemen voor algemene doeleinden kunnen een uitvoering van een basismodel zijn, wat inhoudt dat elk basismodel in talloze downstream-AI-systemen of AI-systemen voor algemene doeleinden kan worden hergebruikt. Deze modellen zijn van toenemend belang voor veel downstreamtoepassingen en -systemen.

(60 septies) In het geval van basismodellen die als dienst worden verleend, bijvoorbeeld door toegang te verlenen tot een API, moet de samenwerking met downstreamaanbieders doorlopen tot de dienst niet langer wordt verleend en ondersteund, om ervoor te zorgen dat de risico’s op passende wijze kunnen worden beperkt, tenzij de aanbieder van het basismodel zowel het trainingmodel als uitgebreide, passende informatie verstrekt over de datareeksen en het ontwikkelingsproces van het systeem of de dienst, zoals de verlening van toegang tot een API, zodanig beperkt dat de downstreamaanbieder volledig aan deze verordening kan voldoen zonder verdere ondersteuning van de oorspronkelijke aanbieder van het basismodel.

(60 octies) In het licht van de aard en complexiteit van de waardeketen voor AI-systemen is het van essentieel belang de rol te verduidelijken van de actoren die bijdragen tot de ontwikkeling van AI-systemen. Er bestaat aanzienlijke onzekerheid over de manier waarop basismodellen zich zullen ontwikkelen, zowel wat de typologie van modellen als zelfbestuur betreft. Het is daarom van essentieel belang de juridische situatie van aanbieders van basismodellen te verduidelijken. Naast hun complexiteit en onverwachte impact, het gebrek van downstreamaanbieders van AI aan controle over de ontwikkeling van het basismodel en de daaruit voortvloeiende machtsongelijkheid, en met het oog op de waarborging van een eerlijke verdeling van de verantwoordelijkheden in de AI-waardeketen, moeten deze modellen worden onderworpen aan evenredige en specifiekere voorschriften en verplichtingen uit hoofde van deze verordening. Basismodellen moeten door passend ontwerp en door passende tests en analyses potentiële risico’s en gevaren kunnen beoordelen en beperken, maatregelen inzake databeheer kunnen treffen, onder meer voor de beoordeling van vertekeningen, en voldoen aan de technische ontwerpvoorschriften ter waarborging van het juiste prestatieniveau en de juiste mate van voorspelbaarheid, interpreteerbaarheid, corrigeerbaarheid, veiligheid en cyberbeveiliging, alsook aan de milieunormen. Deze verplichtingen moeten vergezeld gaan van normen. Basismodellen moeten bovendien een informatieverplichting hebben en alle vereiste technische documentatie opstellen om potentiële downstreamaanbieders in staat te stellen aan hun verplichtingen uit hoofde van deze verordening te voldoen. Generatieve basismodellen moeten zorgen voor transparantie met betrekking tot het feit dat de inhoud niet wordt gegenereerd door mensen maar door een AI-systeem. Deze specifieke voorschriften en verplichtingen volstaan niet om basismodellen te beschouwen als AI-systemen met een hoog risico. Zij moeten ervoor zorgen dat de doelstellingen van deze verordening om een hoog niveau van bescherming van de grondrechten, gezondheid en veiligheid, het milieu, de democratie en de rechtsstaat te waarborgen, worden verwezenlijkt. Vooraf getrainde modellen die zijn ontwikkeld voor een kleiner, minder algemeen en beperkter aantal toepassingen en niet voor een breder scala aan taken kunnen worden aangepast, zoals eenvoudige AI-systemen voor meerdere doeleinden, mogen voor de toepassing van deze verordening niet als basismodellen worden beschouwd, omdat ze beter te interpreteren zijn en hun gedrag daarmee minder onvoorspelbaar is.

(60 nonies) Gezien de aard van basismodellen ontbreekt het aan deskundigheid op het gebied van conformiteitsbeoordeling en worden de auditmethoden voor derden nog altijd ontwikkeld. Daarom worden er in de sector zelf nieuwe manieren ontwikkeld om fundamentele modellen te beoordelen die gedeeltelijk aan de auditdoelstelling voldoen (zoals modelbeoordeling, red teaming en verificatie- en validatietechnieken voor machinaal leren). Deze interne beoordelingen voor basismodellen moeten breed toepasbaar zijn (bv. onafhankelijk van distributiekanalen, modaliteit en ontwikkelingsmethoden) om de specifieke risico’s van dergelijke modellen aan te pakken, rekening houdend met de praktijken in de sector die in overeenstemming zijn met de stand van de techniek, en moeten gericht zijn op de totstandbrenging van voldoende technisch inzicht in en controle over het model, het beheer van redelijkerwijs te voorziene risico’s, en uitgebreide analyse en toetsing van het model door middel van passende maatregelen, bijvoorbeeld met de hulp van onafhankelijke beoordelaars. Aangezien basismodellen een nieuwe en snel evoluerende ontwikkeling zijn op het gebied van artificiële intelligentie, is het passend dat de Commissie en het AI-bureau het wetgevings- en beheerskader van deze modellen periodiek monitoren en beoordelen, met name waar het generatieve AI-systemen betreft die op dergelijke modellen gebaseerd zijn, wat belangrijke vragen doet rijzen over de generatie van inhoud die in strijd is met het Unierecht, de regels inzake auteursrecht en mogelijk misbruik. Niettemin moet worden verduidelijkt dat deze verordening geen afbreuk mag doen aan wetgeving van de Unie inzake auteursrecht en aanverwante rechten, waaronder Richtlijn 2001/29/EG, Richtlijn 2004/48/EG en Richtlijn (EU) 2019/790.

(61) Normalisatie moet een belangrijke rol spelen bij de levering van technische oplossingen aan aanbieders om de naleving van deze verordening te waarborgen. De naleving van geharmoniseerde normen, zoals gedefinieerd in Verordening (EU) nr. 1025/2012 van het Europees Parlement en de Raad, moet een middel zijn voor aanbieders om de overeenstemming met de voorschriften van deze verordening aan te tonen. Om de doeltreffendheid van normen als beleidsinstrument voor de Unie te garanderen, en gezien het belang van normen voor het waarborgen van conformiteit met de voorschriften van deze verordening en voor het concurrentievermogen van ondernemingen, moet voor een evenwichtige belangenvertegenwoordiging worden gezorgd door alle belanghebbende partijen bij de vaststelling van normen te betrekken. Het normalisatieproces moet transparant zijn wat betreft de rechtspersonen en natuurlijke personen die aan de normalisatieactiviteiten deelnemen.

(61 bis) Om de naleving te vergemakkelijken, moeten de eerste normalisatieverzoeken uiterlijk twee maanden na de inwerkingtreding van deze verordening door de Commissie worden ingediend. Dit moet de rechtszekerheid verbeteren en daarmee investeringen en innovatie op het gebied van AI stimuleren, alsook het concurrentievermogen en de groei van de markt van de Unie, en het beheer door meerdere belanghebbenden bevorderen die de betrokken Europese belanghebbenden vertegenwoordigen, zoals het AI-bureau, Europese normalisatie-instellingen en -organen of krachtens de sectorale wetgeving van de Unie ingestelde deskundigengroepen, alsook de sector, kmo’s, startende ondernemingen, maatschappelijke organisaties, onderzoekers en sociale partners, en moet uiteindelijk de wereldwijde samenwerking bij de normalisatie op het gebied van AI vergemakkelijken, met inachtneming van de waarden van de Unie. Bij het opstellen van normalisatieverzoeken moet de Commissie het AI-bureau en het adviesforum voor AI raadplegen om de nodige expertise in te winnen.

(61 ter) Wanneer AI-systemen bedoeld zijn voor gebruik op de werkplek, moeten geharmoniseerde normen beperkt zijn tot technische specificaties en procedures.

(61 quater) De Commissie moet onder bepaalde voorwaarden gemeenschappelijke specificaties kunnen vaststellen wanneer er geen relevante geharmoniseerde norm bestaat of om specifieke problemen op het gebied van de grondrechten aan te pakken. De Commissie moet gedurende het hele ontwerpproces regelmatig overleg plegen met het AI-bureau en zijn adviesforum, met Europese normalisatie-instellingen en -organen of krachtens de sectorale wetgeving van de Unie ingestelde deskundigengroepen, en met de betrokken belanghebbenden, waaronder de sector, kmo’s, startende ondernemingen, maatschappelijke organisaties, onderzoekers en sociale partners.

(61 quinquies) De Commissie moet bij de vaststelling van gemeenschappelijke specificaties streven naar afstemming van de regelgeving op het gebied van AI met gelijkgestemde partners, wat van cruciaal belang is voor het stimuleren van innovatie en grensoverschrijdende partnerschappen op het gebied van AI, aangezien coördinatie met gelijkgestemde partners in internationale normalisatie-instellingen van groot belang is.

(62) Om te zorgen voor een hoog niveau van betrouwbaarheid van AI-systemen met een hoog risico, moeten deze systemen worden onderworpen aan een conformiteitsbeoordeling voordat zij in de handel worden gebracht of in gebruik worden gesteld. Om het vertrouwen in de waardeketen te vergroten en bedrijven zekerheid te bieden over de prestaties van hun systemen, kunnen derden die AI-onderdelen leveren vrijwillig een conformiteitsbeoordeling door derden aanvragen.

(63) Teneinde de lasten voor exploitanten tot een minimum te beperken en eventuele mogelijke overlappingen te voorkomen, is het passend dat de overeenstemming van AI-systemen met een hoog risico die verband houden met producten die vallen onder bestaande harmonisatiewetgeving van de Unie volgens de benadering van het nieuwe wetgevingskader met de voorschriften van deze verordening, wordt beoordeeld als onderdeel van de conformiteitsbeoordeling waarin in die wetgeving reeds is voorzien. De toepasselijkheid van de voorschriften van deze verordening mag dus geen gevolgen hebben voor de specifieke logica, methode of algemene structuur van de conformiteitsbeoordeling uit hoofde van de desbetreffende specifieke wetgeving van het nieuwe wetgevingskader. Deze benadering wordt volledig weerspiegeld in de wisselwerking tussen deze verordening en de [machineverordening]. Hoewel de voorschriften van deze verordening ook betrekking hebben op de veiligheidsrisico’s van AI-systemen die de veiligheidsfuncties van machines waarborgen, zullen bepaalde specifieke voorschriften van de [machineverordening] de veilige integratie van het AI-systeem in de volledige machine waarborgen, zodat de veiligheid van de machine in haar geheel niet in gevaar wordt gebracht. In de [machineverordening] wordt dezelfde definitie van AI-systemen toegepast als in deze verordening.

(64) Gezien de complexiteit van AI-systemen met een hoog risico en de risico’s die daarmee gepaard gaan, is het van essentieel belang een adequatere capaciteit te ontwikkelen voor de toepassing van conformiteitsbeoordeling door derden voor AI-systemen met een hoog risico. Gezien de huidige ervaring van personen die professionele certificeringen vóór het in de handel brengen uitvoeren op het gebied van productveiligheid en de andere aard van risico’s die hiermee gepaard gaan, is het niettemin passend om, in ieder geval in een eerste fase van de toepassing van deze verordening, het toepassingsgebied van conformiteitsbeoordelingen door derden voor AI-systemen met een hoog risico die geen verband houden met producten te beperken. De conformiteitsbeoordeling van dergelijke systemen moet derhalve als algemene regel door de aanbieder onder eigen verantwoordelijkheid worden uitgevoerd, met als enige uitzondering AI-systemen die bedoeld zijn om te worden gebruikt voor de biometrische identificatie van personen op afstand of AI-systemen die bedoeld zijn om conclusies te trekken over de persoonlijke kenmerken van natuurlijke personen op basis van biometrische of op biometrie gebaseerde gegevens, waaronder systemen voor het herkennen van emoties, ten aanzien waarvan een aangemelde instantie moet worden betrokken bij de conformiteitsbeoordeling, voor zover deze systemen niet verboden zijn.

(65) Met het oog op de uitvoering van conformiteitsbeoordelingen door derden, wanneer deze vereist zijn, moeten de nationale bevoegde autoriteiten aangemelde instanties aanwijzen op grond van deze verordening, mits deze instanties voldoen aan een reeks voorschriften, met name met betrekking tot de onafhankelijkheid, competenties, afwezigheid van belangenconflicten en minimumvoorschriften inzake cyberbeveiliging. De lidstaten moeten aansporen tot de aanwijzing van voldoende conformiteitsbeoordelingsinstanties, opdat de certificering tijdig kan geschieden. De procedures voor de beoordeling, aanwijzing, aanmelding en monitoring van conformiteitsbeoordelingsinstanties moeten in de lidstaten zo uniform mogelijk worden toegepast om administratieve belemmeringen aan de grens weg te nemen en ervoor te zorgen dat het potentieel van de interne markt wordt verwezenlijkt. 

(65 bis) In overeenstemming met de verbintenissen van de Unie in het kader van de Overeenkomst inzake technische handelsbelemmeringen van de Wereldhandelsorganisatie is het goed om de aanvaarding van testresultaten die geproduceerd zijn door bevoegde conformiteitsbeoordelingsinstanties te maximaliseren, ongeacht het grondgebied waar zij gevestigd zijn, zo nodig om aan te tonen dat zij aan de toepasselijke voorschriften van de verordening voldoen. De Commissie moet actief op zoek gaan naar bruikbare internationale instrumenten die kunnen helpen dit te verwezenlijken, en moet met name streven naar de mogelijke totstandbrenging van overeenkomsten inzake wederzijdse erkenning met landen met een vergelijkbaar niveau van technische ontwikkeling die een vergelijkbare aanpak hanteren met betrekking tot AI en conformiteitsbeoordeling.

(66) In lijn met het algemeen erkende begrip van ingrijpende wijziging van producten die vallen onder de harmonisatiewetgeving van de Unie, is het passend dat voor een AI-systeem met een hoog risico een nieuwe conformiteitsbeoordeling wordt uitgevoerd wanneer zich een niet-geplande verandering voordoet die verder gaat dan gecontroleerde of geplande veranderingen door de aanbieder, met inbegrip van permanent leren, en die een nieuw, onaanvaardbaar risico kan doen ontstaan en aanzienlijke gevolgen kan hebben voor de overeenstemming van het AI-systeem met een hoog risico met deze verordening of wanneer het beoogde doel van het systeem verandert. Daarnaast is het ten aanzien van AI-systemen die blijven “leren” nadat zij in de handel worden gebracht of in gebruik worden gesteld (d.w.z. die automatisch aanpassen hoe taken worden uitgevoerd) noodzakelijk om te voorzien in regels die bepalen dat veranderingen met betrekking tot het algoritme en de prestaties ervan die vooraf door de aanbieder zijn bepaald en die op het moment van de conformiteitsbeoordeling zijn beoordeeld, geen ingrijpende wijziging vormen. Hetzelfde moet gelden voor updates van het AI-systeem om veiligheidsredenen in het algemeen en ter bescherming tegen veranderende dreigingen van manipulatie van het systeem, onder voorwaarde dat ze geen ingrijpende wijziging vormen. 

(67) Op AI-systemen met een hoog risico moet de CE-markering worden aangebracht om aan te geven dat zij in overeenstemming zijn met deze verordening, zodat zij vrij kunnen bewegen op de interne markt. Op fysieke AI-systemen met een hoog risico moet een fysieke CE-markering worden aangebracht, die kan worden aangevuld met een digitale CE-markering. Voor uitsluitend digitale AI-systemen met een hoog risico moet een digitale CE-markering worden gebruikt. De lidstaten mogen het in de handel brengen en in gebruik stellen van AI-systemen met een hoog risico die aan de in deze verordening vastgelegde voorschriften voldoen en waarop de CE-markering is aangebracht, niet op ongerechtvaardigde wijze belemmeren.

(68) In bepaalde omstandigheden kan de snelle beschikbaarheid van innovatieve technologieën cruciaal zijn voor de gezondheid en veiligheid van personen, het milieu en de klimaatverandering, en de samenleving in haar geheel. Het is derhalve passend dat de lidstaten om uitzonderlijke redenen in verband met de bescherming van het leven en de gezondheid van natuurlijke personen, de bescherming van het milieu en de bescherming van kritieke infrastructuur toestemming kunnen verlenen voor het in de handel brengen of in gebruik stellen van AI-systemen die nog niet aan een conformiteitsbeoordeling zijn onderworpen.

(69) Om de werkzaamheden van de Commissie en de lidstaten op het gebied van artificiële intelligentie te vergemakkelijken en om de transparantie ten opzichte van het publiek te vergroten, moeten aanbieders van AI-systemen met een hoog risico die geen verband houden met producten die onder het toepassingsgebied van de desbetreffende bestaande harmonisatiewetgeving van de Unie vallen, worden verplicht hun AI-systemen en basismodellen met een hoog risico te registreren in een EU-databank, die door de Commissie moet worden vastgesteld en beheerd. Deze databank moet vrij en openbaar toegankelijk zijn en moet gemakkelijk begrijpelijk en machineleesbaar zijn. De databank moet bovendien gebruiksvriendelijk en gemakkelijk te navigeren zijn, en moet zoekfuncties hebben die het grote publiek ten minste in staat stellen de databank te doorzoeken op specifieke systemen met een hoog risico, locaties, risicocategorieën uit bijlage IV en trefwoorden. Ook exploitanten die overheidsinstanties of instellingen, organen of instanties van de Unie zijn of exploitanten die namens hen optreden en exploitanten die ondernemingen zijn die op grond van Verordening (EU) 2022/1925 zijn aangewezen als poortwachter, moeten zich in de EU-databank registreren voordat zij een AI-systeem met een hoog risico voor het eerst in gebruik stellen of gebruiken, en na elke ingrijpende wijziging. Andere exploitanten moeten het recht hebben dit vrijwillig te doen. Ook alle ingrijpende wijzigingen van AI-systemen met een hoog risico moeten in de EU-databank worden geregistreerd. De Commissie moet de verwerkingsverantwoordelijke van die databank zijn, in overeenstemming met Verordening (EU) 2018/1725 van het Europees Parlement en de Raad. Teneinde de volledige functionaliteit van de databank te waarborgen, moet de procedure voor het vaststellen van de databank de uitwerking van functionele specificaties door de Commissie en een onafhankelijk auditverslag omvatten. De Commissie moet bij de uitvoering van haar taken als verwerkingsverantwoordelijke voor de EU-databank rekening houden met cyberbeveiliging en risico’s in verband met gevaren. Om de beschikbaarheid en het gebruik van de databank door het publiek te maximaliseren, moet de databank, met inbegrip van de via de databank beschikbaar gestelde informatie, voldoen aan de voorschriften van Richtlijn (EU) 2019/882.

(70) Bepaalde AI-systemen die bedoeld zijn om met natuurlijke personen te interageren of om inhoud te genereren, kunnen specifieke risico’s op imitatie of bedrog met zich meebrengen, ongeacht of zij al dan niet als systeem met een hoog risico gelden. In bepaalde omstandigheden moeten voor het gebruik van deze systemen daarom specifieke transparantieverplichtingen gelden, zonder dat afbreuk wordt gedaan aan de voorschriften en verplichtingen voor AI-systemen met een hoog risico. Met name moeten natuurlijke personen op de hoogte worden gesteld van het feit dat zij interageren met een AI-systeem, tenzij dit duidelijk blijkt uit de omstandigheden en de context van het gebruik. Natuurlijke personen moeten bovendien worden geïnformeerd wanneer zij worden blootgesteld aan een systeem voor het herkennen van emoties of een systeem voor biometrische categorisering. Dergelijke informatie en kennisgevingen moeten een formaat hebben dat toegankelijk is voor personen met een handicap. Daarnaast moeten gebruikers die een AI-systeem gebruiken om beeld-, audio- of video-inhoud te genereren of te manipuleren die duidelijke overeenkomsten vertoont met bestaande personen, plaatsen of gebeurtenissen en ten onrechte door personen als authentiek zou worden waargenomen, bekendmaken dat de inhoud kunstmatig is gecreëerd of gemanipuleerd door de output van artificiële intelligentie als zodanig aan te merken en de kunstmatige oorsprong ervan bekend te maken.

(71) Artificiële intelligentie is een snel ontwikkelende familie van technologieën die regelgevingstoezicht en een veilige en gecontroleerde plek voor experimenteren vereist, terwijl tegelijkertijd de verantwoorde innovatie en integratie van passende waarborgen en maatregelen voor risicobeperking worden gewaarborgd. Om te zorgen voor een wettelijk kader dat innovatie stimuleert, toekomstbestendig is en bestand is tegen verstoringen, moeten de lidstaten ten minste één testomgeving voor regelgeving op het gebied van artificiële intelligentie tot stand brengen om de ontwikkeling en het testen van innovatieve AI-systemen onder strikt regelgevingstoezicht mogelijk te maken voordat deze systemen in de handel worden gebracht of anderszins in gebruik worden gesteld. Als volgende stap is het wenselijk om de totstandbrenging van testomgevingen voor regelgeving, die momenteel aan de lidstaten wordt overgelaten, verplicht te stellen met vastgestelde criteria. Een testomgeving voor regelgeving kan ook samen met een of meer andere lidstaten tot stand worden gebracht, mits de testomgeving voldoet aan het respectieve nationale niveau van de betrokken lidstaten. Er kunnen tevens aanvullende testomgevingen tot stand worden gebracht op verschillende niveaus, bijvoorbeeld over de grenzen van de lidstaten heen, om grensoverschrijdende samenwerking en synergieën te vergemakkelijken. Met uitzondering van de verplichte testomgeving op nationaal niveau moeten de lidstaten ook virtuele of hybride testomgevingen tot stand kunnen brengen. Alle testomgevingen voor regelgeving moeten zowel fysieke als virtuele producten aankunnen. De instanties die de testomgevingen voor regelgeving tot stand brengen moeten er bovendien voor zorgen dat de testomgevingen over voldoende financiële en personele middelen beschikken om naar behoren te kunnen functioneren. 

(72) De doelstellingen van testomgevingen voor regelgeving moeten erin bestaan: voor de autoriteiten die de testomgeving hebben ontwikkeld, hun inzicht in technische ontwikkelingen te vergroten, toezichtmethoden te verbeteren en richtsnoeren te verstrekken aan ontwikkelaars en aanbieders van AI-systemen om te komen tot overeenstemming van de regelgeving met deze verordening of, in voorkomend geval, andere relevante wetgeving van de Unie en de lidstaten, alsook met het Handvest van de grondrechten; voor de toekomstige aanbieders het testen en ontwikkelen van innovatieve oplossingen in verband met AI-systemen in de fase voorafgaand aan het in de handel brengen mogelijk te maken en te vergemakkelijken om de rechtszekerheid te vergroten, de autoriteiten die de testomgeving hebben ontwikkeld in een gecontroleerde omgeving meer te laten leren op regelgevingsgebied om betere richtsnoeren te ontwikkelen en mogelijke toekomstige verbeteringen van het rechtskader via de gewone wetgevingsprocedure in kaart te brengen. Significante risico’s die tijdens het ontwikkelen en testen van dergelijke AI-systemen worden vastgesteld, moeten onmiddellijk worden beperkt en bij gebreke daarvan leiden tot de opschorting van het ontwikkelings- en testproces totdat beperkende maatregelen worden getroffen. Teneinde de uniforme uitvoering in de gehele Unie en schaalvoordelen te waarborgen, is het passend om gemeenschappelijke regels vast te stellen voor de uitvoering van testomgevingen voor regelgeving, evenals een kader voor de samenwerking tussen de relevante autoriteiten die betrokken zijn bij het toezicht op de testomgevingen. De lidstaten moeten ervoor zorgen dat testomgevingen voor regelgeving in de hele Unie op grote schaal beschikbaar zijn, terwijl de deelname vrijwillig moet blijven. Het is bijzonder belangrijk ervoor te zorgen dat kmo’s en start-ups gemakkelijk toegang hebben tot deze testomgevingen en actief betrokken zijn bij en deelnemen aan de ontwikkeling en het testen van innovatieve AI-systemen, zodat zij met hun knowhow en ervaring bijdragen kunnen leveren.

(72 bis) Deze verordening moet de rechtsgrondslag bieden voor het gebruik van persoonsgegevens die voor andere doeleinden zijn verzameld, met het oog op de ontwikkeling van bepaalde AI-systemen in het openbaar belang in de AI-testomgeving voor regelgeving, alleen onder bepaalde voorwaarden in lijn met artikel 6, lid 4, van Verordening (EU) 2016/679 en artikel 6 van Verordening (EU) 2018/1725 en onverminderd artikel 4, lid 2, van Richtlijn (EU) 2016/680. Bij de testomgeving betrokken toekomstige aanbieders moeten zorgen voor passende waarborgen en moeten samenwerken met de bevoegde autoriteiten, onder meer door hun richtsnoeren te volgen en snel en in goed vertrouwen te handelen om eventuele grote risico’s voor de veiligheid, de gezondheid, het milieu en de grondrechten te beperken die zich tijdens de ontwikkeling en het experimenteren in de testomgeving kunnen voordoen. Er moet rekening worden gehouden met het gedrag van de bij de testomgeving betrokken toekomstige aanbieders wanneer bevoegde autoriteiten besluiten om hun deelname aan de testomgeving tijdelijk of permanent te schorsen of al dan niet een administratieve geldboete op te leggen op grond van artikel 83, lid 2, van Verordening (EU) 2016/679 en artikel 57 van Richtlijn (EU) 2016/680.

(72 ter) Om ervoor te zorgen dat artificiële intelligentie tot gunstige sociale en ecologische resultaten leidt, moeten de lidstaten onderzoek naar en ontwikkeling van AI ter ondersteuning van gunstige sociale en ecologische resultaten ondersteunen en bevorderen door voldoende middelen toe te wijzen, waaronder overheidsfinanciering en financiering door de Unie, en door het maatschappelijk middenveld geleide projecten prioritair toegang te geven tot testomgevingen voor regelgeving. Dergelijke projecten moeten gebaseerd zijn op het beginsel van interdisciplinaire samenwerking tussen AI-ontwikkelaars, deskundigen op het gebied van ongelijkheid en non-discriminatie, toegankelijkheid, consumentenrecht, milieurecht en digitale rechten, alsook academici.

(73) Om de innovatie te bevorderen en beschermen, is het belangrijk dat de belangen van kleine aanbieders en gebruikers van AI-systemen in het bijzonder in aanmerking worden genomen. Hiertoe moeten de lidstaten initiatieven ontwikkelen die gericht zijn op deze operators en die onder meer betrekking hebben op AI-geletterdheid, bewustmaking en informatie en communicatie. De lidstaten moeten hiervoor de bestaande kanalen gebruiken en waar nodig nieuwe specifieke kanalen voor de communicatie met kmo’s, start-ups, gebruikers en andere innovatoren opzetten om begeleiding te bieden en vragen over de uitvoering van deze verordening te beantwoorden. Die bestaande kanalen omvatten, maar zijn niet beperkt tot, de Enisa-teams voor respons op computerbeveiligingsincidenten, de nationale gegevensbeschermingsagentschappen, het platform voor AI on demand, de Europese digitale-innovatiehubs en andere relevante instrumenten die door EU-programma’s worden gefinancierd, evenals de faciliteiten voor tests en experimenteren die door de Commissie en de lidstaten op nationaal of Unieniveau zijn vastgesteld. Waar nodig moeten deze kanalen met elkaar samenwerken om synergieën te creëren en te zorgen voor een homogene aanpak bij hun adviezen aan start-ups, kmo’s en gebruikers. Bovendien moet rekening worden gehouden met de specifieke belangen en behoeften van kleine aanbieders wanneer aangemelde instanties bijdragen voor de conformiteitsbeoordeling vaststellen. De Commissie moet de certificerings- en nalevingskosten voor kmo’s en start-ups regelmatig beoordelen, onder meer via transparant overleg met kmo’s, start-ups en gebruikers, en moet met de lidstaten samenwerken om die kosten te verlagen. Vertaalkosten in verband met verplichte documentatie en communicatie met autoriteiten kunnen bijvoorbeeld een aanzienlijke kostenpost vormen voor met name kleine aanbieders en andere operators. De lidstaten zouden ervoor kunnen zorgen dat een van de talen die door hen worden vastgesteld en aanvaard voor de documentatie van betrokken aanbieders en voor de communicatie met operators breed wordt begrepen door een zo groot mogelijk aantal grensoverschrijdende gebruikers. Middelgrote ondernemingen die recentelijk veranderd zijn van de categorie “kleine onderneming” naar “middelgrote onderneming” in de zin van de bijlage bij Aanbeveling 2003/361/EG (artikel 16), moeten zolang de lidstaten dat gepast achten toegang blijven houden tot deze initiatieven en adviezen, aangezien deze nieuwe middelgrote ondernemingen soms de juridische middelen en opleiding ontberen om een goede kennis en naleving van de bepalingen te waarborgen.

(74) Om de risico’s voor de uitvoering te beperken die voortvloeien uit een gebrek aan kennis en deskundigheid op de markt en om de nakoming door aanbieders en aangemelde organen van hun verplichtingen uit hoofde van deze verordening te vergemakkelijken, moeten het platform voor AI on demand, de Europese digitale-innovatiehubs en de faciliteiten voor tests en experimenteren die door de Commissie en de lidstaten op nationaal of EU-niveau zijn vastgesteld, bijdragen tot de uitvoering van deze verordening. Binnen hun respectievelijke mandaat en bevoegdheid kunnen zij met name technische en wetenschappelijke steun verlenen aan aanbieders en aangemelde instanties.

(75) Het is passend dat de Commissie voor zover mogelijk de toegang tot faciliteiten voor tests en experimenteren voor instanties, groepen of laboratoria vergemakkelijkt die overeenkomstig relevante harmonisatiewetgeving van de Unie zijn opgericht of erkend en die taken uitvoeren in het kader van de conformiteitsbeoordeling van producten of apparaten die onder die harmonisatiewetgeving van de Unie vallen. Dit is met name het geval voor deskundigenpanels, deskundige laboratoria en referentielaboratoria op het gebied van medische hulpmiddelen overeenkomstig de Verordeningen (EU) 2017/745 en (EU) 2017/746.

(76) Teneinde versnippering te voorkomen, de optimale werking van de eengemaakte markt te garanderen, een doeltreffende en geharmoniseerde uitvoering van deze verordening te waarborgen, in de hele Unie een hoog niveau van betrouwbaarheid en bescherming van de gezondheid en veiligheid, de grondrechten, het milieu, de democratie en de rechtsstaat met betrekking tot AI-systemen te verwezenlijken, de nationale toezichthoudende autoriteiten en de instellingen, organen en instanties van de Unie actief te ondersteunen bij aangelegenheden in het kader van deze verordening, en het gebruik van artificiële intelligentie in de hele Unie te bevorderen, moet een Bureau voor artificiële intelligentie van de Europese Unie worden opgericht. Het AI-bureau moet rechtspersoonlijkheid hebben, moet volledig onafhankelijk handelen, moet verantwoordelijk zijn voor een aantal adviserende en coördinerende taken, waaronder het opstellen van adviezen, aanbevelingen of richtsnoeren over kwesties die verband houden met de uitvoering van deze verordening, en moet over voldoende financiering en personeel beschikken. De lidstaten moeten zorgen voor de strategische leiding en controle van het AI-bureau via de raad van bestuur van het AI-bureau, samen met de Commissie, de EDPS, het FRA en het Enisa. Een uitvoerend directeur moet verantwoordelijk zijn voor het beheer van de activiteiten van het secretariaat van het AI-bureau en voor het vertegenwoordigen van het AI-bureau. Belanghebbenden moeten formeel deelnemen aan de werkzaamheden van het AI-bureau via een adviesforum dat voor een gevarieerde en evenwichtige vertegenwoordiging van de belanghebbenden moet zorgen en het AI-bureau moet adviseren over aangelegenheden die verband houden met deze verordening. Indien de oprichting van het AI-bureau niet voldoende blijkt te zijn om een volledig consistente toepassing van deze verordening op het niveau van de Unie en efficiënte grensoverschrijdende handhavingsmaatregelen te waarborgen, moet de oprichting van een AI-agentschap worden overwogen.

(77) Elke lidstaat moet een nationale toezichthoudende autoriteit aanwijzen voor het toezicht op de toepassing en uitvoering van deze verordening. Deze moet ook haar lidstaat in de raad van bestuur van het AI-bureau vertegenwoordigen. Om de efficiëntie van de organisatie aan de kant van de lidstaten te verbeteren en een officieel contactpunt in te stellen voor het publiek en andere wederpartijen op het niveau van de lidstaten en de Unie. Elke nationale toezichthoudende autoriteit moet volledig onafhankelijk optreden bij de uitvoering van de taken en de uitoefening van de bevoegdheden die haar overeenkomstig deze verordening zijn toegewezen.

(77 bis) De nationale toezichthoudende autoriteiten moeten toezien op de toepassing van de bepalingen van deze verordening en bijdragen aan de consequente toepassing daarvan in de gehele Unie. Daartoe moeten de nationale toezichthoudende autoriteiten met elkaar en met de relevante nationale bevoegde autoriteiten, de Commissie en het AI-bureau samenwerken.

(77 ter) Ten aanzien van de vertrouwelijke informatie die hun bij de uitvoering van hun taken of de uitoefening van hun bevoegdheden ter kennis is gekomen, moet voor het lid of de personeelsleden van elke nationale toezichthoudende autoriteit zowel tijdens hun ambtstermijn als daarna het beroepsgeheim gelden, zulks overeenkomstig het Unierecht of intern recht. Tijdens hun ambtstermijn moet het beroepsgeheim met name gelden voor bedrijfsgeheimen en voor meldingen van inbreuken op deze verordening door natuurlijke personen.

(78) Om ervoor te zorgen dat aanbieders van AI-systemen met een hoog risico rekening kunnen houden met de ervaring met het gebruik van AI-systemen met een hoog risico voor het verbeteren van hun systemen en het ontwerp- en ontwikkelingsproces of tijdig eventuele mogelijke corrigerende maatregelen kunnen nemen, moeten alle aanbieders beschikken over een systeem voor monitoring na het in de handel brengen. Dit systeem is ook belangrijk om te waarborgen dat de mogelijke risico’s van AI-systemen die blijven “leren” of zich blijven ontwikkelen nadat zij in de handel zijn gebracht of in gebruik zijn gesteld, op efficiëntere en tijdigere wijze kunnen worden aangepakt. In dit verband moeten aanbieders ook worden verplicht te zorgen voor een systeem om eventuele ernstige incidenten of eventuele inbreuken op het intern of Unierecht, waaronder bepalingen ter bescherming van de grondrechten en consumentenrechten, die voortvloeien uit het gebruik van hun AI-systemen, te melden bij de relevante autoriteiten en passende corrigerende maatregelen te nemen. Exploitanten moeten ook worden verplicht om eventuele ernstige incidenten of inbreuken op het intern of Unierecht die voortvloeien uit het gebruik van hun AI-systemen, te melden bij de relevante autoriteiten wanneer zij dergelijke ernstige incidenten of inbreuken vaststellen. 

(79) Teneinde een passende en doeltreffende handhaving te waarborgen van de voorschriften en verplichtingen van deze verordening, die valt onder de harmonisatiewetgeving van de Unie, moet het systeem van markttoezicht en de conformiteit van producten, zoals vastgesteld bij Verordening (EU) 2019/1020, volledig van toepassing zijn. Voor de toepassing van deze verordening moeten de nationale toezichthoudende autoriteiten optreden als markttoezichtautoriteiten voor onder deze verordening vallende AI-systemen, met uitzondering van AI-systemen die onder bijlage II bij deze verordening vallen. Voor AI-systemen die onder de in bijlage II vermelde rechtshandelingen vallen, moeten de bevoegde autoriteiten uit hoofde van die rechtshandelingen de leidende autoriteit blijven. De nationale toezichthoudende autoriteiten en de bevoegde autoriteiten in de in bijlage II vermelde rechtshandelingen moeten waar nodig samenwerken. In voorkomend geval moeten de bevoegde autoriteiten in de in bijlage II vermelde rechtshandelingen bevoegd personeel naar de nationale toezichthoudende autoriteit sturen om haar bij de uitvoering van haar taken bij te staan. Voor de toepassing van deze verordening moeten de nationale toezichthoudende autoriteiten dezelfde bevoegdheden en verplichtingen hebben als markttoezichtautoriteiten uit hoofde van Verordening (EU) 2019/1020. Waar noodzakelijk met het oog op hun taken, moeten nationale overheidsinstanties of -organen die toezicht houden op de toepassing van het Unierecht voor de bescherming van de grondrechten, met inbegrip van instanties voor gelijke behandeling, ook toegang hebben tot eventuele documentatie die op grond van deze verordening wordt opgesteld. Nadat alle andere redelijke manieren om de conformiteit te beoordelen of te verifiëren zijn uitgeput, moet de nationale toezichthoudende autoriteit op een met redenen omkleed verzoek toegang worden verleend tot de datareeksen voor training, validatie en tests, het getrainde model en het trainingsmodel van het AI-systeem met een hoog risico, met inbegrip van de relevante modelparameters en de uitvoerings-/werkomgeving ervan. In het geval van onder deze verordening vallende eenvoudigere softwaresystemen die niet gebaseerd zijn op getrainde modellen, en wanneer alle andere manieren om de conformiteit te verifiëren zijn uitgeput, kan de nationale toezichthoudende autoriteit bij wijze van uitzondering op een met redenen omkleed verzoek toegang krijgen tot de broncode. Wanneer de nationale toezichthoudende autoriteit overeenkomstig deze verordening toegang is verleend tot de datareeksen voor training, validatie en tests, moet die toegang worden verkregen met passende technische middelen en instrumenten, waaronder toegang ter plaatse en, in uitzonderlijke omstandigheden, toegang op afstand. De nationale toezichthoudende autoriteit moet alle verkregen informatie, met inbegrip van broncode, software en gegevens, voor zover van toepassing, als vertrouwelijke informatie behandelen en het toepasselijke Unierecht inzake de bescherming van intellectuele eigendom en bedrijfsgeheimen in acht nemen. De nationale toezichthoudende autoriteit moet alle verkregen informatie na afloop van het onderzoek wissen.

(80) De wetgeving van de Unie inzake financiële diensten omvat regels en voorschriften met betrekking tot interne governance en risicobeheer die van toepassing zijn op gereguleerde financiële instellingen bij het verlenen van deze diensten, ook wanneer zij gebruikmaken van AI-systemen. Om te zorgen voor een coherente toepassing en handhaving van de verplichtingen uit hoofde van deze verordening en de relevante regels en voorschriften van de Uniewetgeving inzake financiële diensten, moeten de bevoegde autoriteiten die verantwoordelijk zijn voor het toezicht op en de handhaving van de wetgeving inzake financiële diensten, met inbegrip van, waar van toepassing, de Europese Centrale Bank, worden aangewezen als bevoegde autoriteiten met het oog op het toezicht op de uitvoering van deze verordening, waaronder voor markttoezichtactiviteiten, met betrekking tot AI-systemen die worden geleverd of gebruikt door gereguleerde en gecontroleerde financiële instellingen. Teneinde de samenhang tussen deze verordening en de regels die van toepassing zijn op kredietinstellingen die vallen onder Richtlijn 2013/36/EU van het Europees Parlement en de Raad verder te verbeteren, is het ook passend om de procedure voor de conformiteitsbeoordeling en enkele van de procedurele verplichtingen van aanbieders in verband met het risicobeheer, de monitoring na het in de handel brengen en de documentatie op te nemen in de bestaande verplichtingen en procedures in het kader van Richtlijn 2013/36/EU. Om overlappingen te voorkomen, moet ook worden voorzien in beperkte afwijkingen in verband met het systeem voor kwaliteitsbeheer van aanbieders en de monitoringsverplichting voor exploitanten van AI-systemen met een hoog risico voor zover deze van toepassing zijn op kredietinstellingen die vallen onder Richtlijn 2013/36/EU.

(80 bis) Gezien de doelstellingen van deze verordening, te weten het waarborgen van een gelijkwaardig niveau van bescherming van de gezondheid, de veiligheid en de grondrechten van natuurlijke personen en het garanderen van de bescherming van de rechtsstaat en de democratie, en rekening houdend met het feit dat het beperken van de risico’s van AI-systemen voor dergelijke rechten op nationaal niveau mogelijkerwijs onvoldoende kan worden gegarandeerd of verschillend kan worden geïnterpreteerd, hetgeen tot een ongelijk niveau van bescherming van natuurlijke personen en versnippering van de markt zou kunnen leiden, moet aan de nationale toezichthoudende autoriteiten de bevoegdheid worden verleend om met het oog op een doeltreffende handhaving gezamenlijke onderzoeken uit te voeren of gebruik te maken van de vrijwaringsprocedure van de Unie waarin deze verordening voorziet. Gezamenlijke onderzoeken moeten worden ingesteld in gevallen waarin de nationale toezichthoudende autoriteit voldoende reden heeft om te denken dat een inbreuk op deze verordening een wijdverbreide inbreuk of een wijdverbreide inbreuk met een Uniedimensie is, of het AI-systeem of het basismodel een risico vertegenwoordigt dat gevolgen heeft of waarschijnlijk gevolgen zal hebben voor ten minste 45 miljoen personen in meer dan één lidstaat.

(81) De ontwikkeling van andere AI-systemen dan AI-systemen met een hoog risico in overeenstemming met de voorschriften van deze verordening kan leiden tot een groter gebruik van betrouwbare artificiële intelligentie in de Unie. Aanbieders van AI-systemen die geen hoog risico met zich meebrengen, moeten worden aangemoedigd om gedragscodes op te stellen die bedoeld zijn ter bevordering van de vrijwillige toepassing van de verplichte voorschriften die gelden voor AI-systemen met een hoog risico. Aanbieders moeten ook worden aangemoedigd om op vrijwillige basis aanvullende voorschriften toe te passen die bijvoorbeeld betrekking hebben op milieuduurzaamheid, de toegankelijkheid voor personen met een handicap, de deelname van belanghebbenden aan het ontwerp en de ontwikkeling van AI-systemen en de diversiteit van de ontwikkelingsteams. De Commissie kan initiatieven ontwikkelen, ook van sectorale aard, om de technische belemmeringen te helpen beperken die de grensoverschrijdende uitwisseling van data voor AI-ontwikkeling belemmeren, waaronder met betrekking tot infrastructuur voor de toegang tot data en de semantische en technische interoperabiliteit van verschillende soorten data.

(82) Het is belangrijk dat AI-systemen die verband houden met producten en die overeenkomstig deze verordening geen hoog risico met zich meebrengen en derhalve niet hoeven te voldoen aan de voorschriften voor AI-systemen met een hoog risico, desalniettemin veilig zijn wanneer zij in de handel worden gebracht of in gebruik worden gesteld. Met het oog op deze doelstelling zou Richtlijn 2001/95/EG van het Europees Parlement en de Raad als vangnet van toepassing zijn.

(83) Om een betrouwbare en constructieve samenwerking van bevoegde autoriteiten op Unie- en nationaal niveau te waarborgen, moeten alle partijen die betrokken zijn bij de toepassing van deze verordening streven naar transparantie en openheid, met inachtneming van de vertrouwelijkheid van informatie en data die zij bij de uitvoering van hun taken verkrijgen, door technische en organisatorische maatregelen te treffen ter bescherming van de veiligheid en vertrouwelijkheid van de informatie die zij bij de uitvoering van hun activiteiten hebben verkregen, onder meer voor intellectuele-eigendomsrechten en openbare en nationale veiligheidsbelangen. Wanneer de activiteiten van de Commissie, nationale bevoegde autoriteiten en aangemelde instanties op grond van deze verordening leiden tot een inbreuk op intellectuele-eigendomsrechten, moeten de lidstaten voorzien in passende maatregelen en rechtsmiddelen om de handhaving van de intellectuele-eigendomsrechten te waarborgen overeenkomstig Richtlijn 2004/48/EG.

(84) Naleving van deze verordening moet kunnen worden afgedwongen middels het opleggen van geldboeten door de nationale toezichthoudende autoriteit, in het kader van door haar ingeleide procedures in overeenstemming met het bepaalde in deze verordening. De lidstaten moeten alle nodige maatregelen treffen opdat de bepalingen van deze verordening worden uitgevoerd, onder meer door te voorzien in doeltreffende, evenredige en afschrikkende sancties bij inbreuken daarop. Teneinde de administratieve straffen tegen inbreuken op deze verordening te versterken en te harmoniseren, moeten de maxima voor de vaststelling van de administratieve geldboeten voor bepaalde specifieke inbreuken worden vastgesteld. Bij de beoordeling van het bedrag van de geldboeten moeten de nationale bevoegde autoriteiten per afzonderlijk geval rekening houden met alle relevante omstandigheden van de specifieke situatie, met inachtneming van met name de aard, de ernst en de duur van de inbreuk, de gevolgen ervan en de omvang van de aanbieder, met name wanneer de aanbieder een kmo of een start-up is. De Europese Toezichthouder voor gegevensbescherming moet bevoegd zijn om geldboeten op te leggen aan instellingen, organen en instanties van de Unie die vallen onder het toepassingsgebied van deze verordening. De sancties en proceskosten uit hoofde van deze verordening mogen niet aan contractuele bepalingen of enig andere regeling worden onderworpen.

(84 bis) Aangezien de rechten en vrijheden van natuurlijke personen, rechtspersonen en groepen natuurlijke personen ernstig kunnen worden ondermijnd door AI-systemen, is het van essentieel belang dat natuurlijke personen en rechtspersonen of groepen natuurlijke personen betekenisvolle toegang hebben tot rapportage- en verhaalmechanismen en recht hebben op toegang tot evenredige en doeltreffende rechtsmiddelen. Zij moeten inbreuken op deze verordening aan hun nationale toezichthoudende autoriteit kunnen melden en het recht hebben een klacht in te dienen tegen de aanbieders of exploitanten van AI-systemen. In voorkomend geval moeten de exploitanten voorzien in interne klachtenmechanismen die door natuurlijke personen en rechtspersonen of groepen natuurlijke personen kunnen worden gebruikt. Onverminderd elke andere administratieve of buitengerechtelijke voorziening moeten natuurlijke personen, rechtspersonen en groepen natuurlijke personen daarnaast het recht hebben op een doeltreffende gerechtelijke voorziening in verband met een wettelijk bindend besluit van een nationale toezichthoudende autoriteit dat hen betreft, of indien de nationale toezichthoudende autoriteit een klacht niet in behandeling neemt, de indiener van een klacht niet informeert over de behandeling of de voorlopige uitkomst van de behandeling van de klacht, of zich niet houdt aan zijn verplichting om een definitief besluit te nemen.

(84 ter) Wanneer exploitanten een AI-systeem met een hoog risico gebruiken om beslissingen te nemen of te helpen nemen met betrekking tot natuurlijke personen, moeten de betrokken personen altijd ervan in kennis worden gesteld dat er een AI-systeem met een hoog risico op hen wordt toegepast. Deze informatie kan de betrokken personen een basis bieden om hun recht op uitleg uit hoofde van deze verordening uit te oefenen. Wanneer exploitanten de betrokken personen uit hoofde van deze verordening uitleg geven, moeten zij rekening houden met het niveau van deskundigheid en kennis van de gemiddelde consument of persoon.

(84 quater) De Uniewetgeving betreffende de bescherming van klokkenluiders (Richtlijn (EU) 2019/1937) is volledig van toepassing op academici, ontwerpers, ontwikkelaars, projectcontribuanten, auditors, productmanagers, ingenieurs en marktdeelnemers die informatie verkrijgen over inbreuken op het Unierecht door een aanbieder van AI-systemen of zijn AI-systeem.

(85) Om ervoor te zorgen dat het regelgevingskader waar nodig kan worden aangepast, moet de Commissie de bevoegdheid krijgen om overeenkomstig artikel 290 VWEU handelingen vast te stellen teneinde wijzigingen aan te brengen in de in de lijst van bijlage II opgenomen harmonisatiewetgeving van de Unie, de in de lijst van bijlage III opgenomen AI-systemen met een hoog risico, de bepalingen inzake technische documentatie van bijlage IV, de inhoud van de EU-conformiteitsverklaring van bijlage V, de bepalingen inzake de procedures voor de conformiteitsbeoordeling van de bijlagen VI en VII en de bepalingen inzake de vaststelling van de AI-systemen met een hoog risico waarop de procedure voor de conformiteitsbeoordeling op basis van de beoordeling van het systeem voor kwaliteitsbeheer en de beoordeling van de technische documentatie van toepassing moet zijn. Het is van bijzonder belang dat de Commissie bij haar voorbereidende werkzaamheden tot passende raadplegingen overgaat, onder meer op deskundigenniveau, en dat die raadplegingen gebeuren in overeenstemming met de beginselen die zijn vastgelegd in het Interinstitutioneel Akkoord van 13 april 2016 over beter wetgeven. Bij deze raadplegingen moet een evenwichtige selectie van belanghebbenden worden betrokken, waaronder consumentenorganisaties, het maatschappelijk middenveld, verenigingen die de betrokken personen vertegenwoordigen, vertegenwoordigers uit verschillende sectoren van het bedrijfsleven en van bedrijven van verschillende omvang, alsmede onderzoekers en wetenschappers. Met name om te zorgen voor gelijke deelname aan de voorbereiding van gedelegeerde handelingen, ontvangen het Europees Parlement en de Raad alle documenten op hetzelfde tijdstip als de deskundigen van de lidstaten, en hebben hun deskundigen systematisch toegang tot de vergaderingen van de deskundigengroepen van de Commissie die zich bezighouden met de voorbereiding van de gedelegeerde handelingen.

(85 bis) Gezien de snelle technologische ontwikkelingen en de vereiste technische deskundigheid bij de beoordeling van AI-systemen met een hoog risico, moet de Commissie de uitvoering van deze verordening, met name de verboden AI-systemen, de transparantieverplichtingen en de lijst van gebieden met een hoog risico en praktijkvoorbeelden, regelmatig en ten minste jaarlijks evalueren en daarbij het AI-bureau en de relevante belanghebbenden raadplegen.

(86) Om eenvormige voorwaarden voor de uitvoering van deze verordening te waarborgen, moeten aan de Commissie uitvoeringsbevoegdheden worden toegekend. Die bevoegdheden moeten worden uitgeoefend in overeenstemming met Verordening (EU) nr. 182/2011 van het Europees Parlement en de Raad 59 .

(87) Daar de doelstelling van deze verordening niet voldoende door de lidstaten kan worden verwezenlijkt en vanwege de omvang of de gevolgen van het optreden, beter op het niveau van de Unie kan worden verwezenlijkt, kan de Unie, overeenkomstig het in artikel 5 VEU neergelegde subsidiariteitsbeginsel, maatregelen nemen. Overeenkomstig het in hetzelfde artikel neergelegde evenredigheidsbeginsel gaat deze verordening niet verder dan nodig is om deze doelstelling te verwezenlijken.

(87 bis) Aangezien betrouwbare informatie over het hulpbronnen- en energieverbruik, de afvalproductie en andere milieueffecten van AI-systemen en aanverwante ICT-technologie, met inbegrip van software, hardware en met name datacentra, beperkt is, moet de Commissie een passende methode invoeren om het milieueffect en de doeltreffendheid van deze verordening te meten in het licht van de milieu- en klimaatdoelstellingen van de Unie.

(88) Deze verordening moet van toepassing zijn vanaf … [PB — voeg de datum van artikel 85 in]. De infrastructuur in verband met de governance en het systeem voor de conformiteitsbeoordeling moet echter vóór deze datum operationeel zijn; de bepalingen inzake aangemelde instanties en de governancestructuur moeten derhalve van toepassing zijn vanaf … [PB — datum invoegen — drie maanden na de inwerkingtreding van deze verordening]. De lidstaten moeten daarnaast de regels inzake sancties, waaronder administratieve geldboeten, vaststellen en de Commissie hiervan in kennis stellen en ervoor zorgen dat deze uiterlijk op de datum van toepassing van deze verordening naar behoren en op doeltreffende wijze worden uitgevoerd. De bepalingen inzake sancties moeten derhalve van toepassing zijn vanaf [PB — datum invoegen — twaalf maanden na de inwerkingtreding van deze verordening].

(89) Overeenkomstig artikel 42, lid 2, van Verordening (EU) 2018/1725 zijn de Europese Toezichthouder voor gegevensbescherming en het Europees Comité voor gegevensbescherming geraadpleegd, en op 18 juni 2021 hebben zij een advies uitgebracht.

HEBBEN DE VOLGENDE VERORDENING VASTGESTELD:

TITEL I: ALGEMENE BEPALINGEN

Artikel 1: Onderwerp

1. Deze verordening heeft ten doel de introductie van mensgerichte en betrouwbare artificiële intelligentie te bevorderen en te zorgen voor een hoge mate van bescherming tegen de schadelijke effecten van artificiële-intelligentiesystemen (AI-systemen) op het vlak van gezondheid, veiligheid, grondrechten, democratie, de rechtsstaat en het milieu in de Unie, en voorts innovatie te ondersteunen.

Bij deze verordening worden vastgesteld:

(a) geharmoniseerde regels voor het in de handel brengen, in gebruik stellen en gebruiken van artificiële-intelligentiesystemen (hierna “AI-systemen” genoemd) in de Unie;

(b) verboden op bepaalde praktijken op het gebied van artificiële intelligentie;

(c) specifieke voorschriften voor AI-systemen met een hoog risico en verplichtingen voor de exploitanten van dergelijke systemen;

(d) geharmoniseerde transparantievoorschriften voor bepaalde AI-systemen;

(e) regels inzake markttoezicht, marktmonitoring, governance en handhaving;

(e bis) maatregelen ter ondersteuning van innovatie, met bijzondere aandacht voor kmo’s en start-ups, met inbegrip van de oprichting van testomgevingen voor regelgeving en gerichte maatregelen om de regeldruk voor kmo’s en start-ups te verminderen;

(e ter) regels voor de oprichting en werking van het Bureau voor artificiële intelligentie (AI-bureau) van de Unie.

Artikel 2: Toepassingsgebied

1. Deze verordening is van toepassing op:

(a) aanbieders die AI-systemen in de Unie in de handel brengen of in gebruik stellen, ongeacht of deze aanbieders in de Unie of in een derde land zijn gevestigd;

(b) exploitanten van AI-systemen die gevestigd zijn of zich bevinden in de Unie;

(c) aanbieders en exploitanten van AI-systemen die gevestigd zijn of zich bevinden in een derde land wanneer het lidstatelijke recht van toepassing is krachtens internationaal publiekrecht of de output van het systeem bedoeld is om in de Unie te worden gebruikt;

(c bis) aanbieders die in artikel 5 bedoelde AI-systemen buiten de Unie in de handel brengen of in gebruik stellen, terwijl de aanbieder of distributeur van dergelijke systemen zich in de Unie bevindt;

(c ter) importeurs en distributeurs van AI-systemen, alsook gemachtigden van aanbieders van AI-systemen, indien die importeurs, distributeurs of gemachtigden gevestigd zijn of zich bevinden in de Unie;

(c quater) betrokken personen als gedefinieerd in artikel 3, punt 8 bis, die zich in de Unie bevinden en wier gezondheid, veiligheid of grondrechten negatief worden beïnvloed door het gebruik van een AI-systeem dat in de Unie in de handel wordt gebracht of in gebruik wordt gesteld.

2. Op AI-systemen met een hoog risico die veiligheidscomponenten van producten of systemen vormen of die zelf producten of systemen zijn en die binnen het toepassingsgebied van de in bijlage II, deel B, opgenomen harmonisatiewetgeving van de Unie vallen, is uitsluitend artikel 84 van deze verordening van toepassing.

3. Deze verordening is niet van toepassing op AI-systemen die louter voor militaire doeleinden worden ontwikkeld of gebruikt.

4. Deze verordening is niet van toepassing op overheidsinstanties in derde landen of internationale organisaties die overeenkomstig lid 1 onder het toepassingsgebied van deze verordening vallen wanneer deze instanties of organisaties AI-systemen gebruiken in het kader van internationale samenwerking of overeenkomsten voor samenwerking met de Unie of een of meer lidstaten op het gebied van rechtshandhaving en justitie en zij het onderwerp zijn van een besluit van de Commissie dat is vastgesteld overeenkomstig artikel 36 van Richtlijn (EU) 2016/680 of artikel 45 van Verordening (EU) 2016/679 (adequaatheidsbesluit) of deel uitmaken van een internationale overeenkomst tussen de Unie en dat derde land of die internationale organisatie overeenkomstig artikel 218 VWEU die passende waarborgen biedt met betrekking tot de bescherming van de persoonlijke levenssfeer en de grondrechten en fundamentele vrijheden van personen.

5. Deze verordening laat de toepassing van de bepalingen inzake de aansprakelijkheid van dienstverleners die als tussenpersoon optreden, zoals uiteengezet in hoofdstuk II, afdeling IV, van Richtlijn 2000/31/EG van het Europees Parlement en de Raad 60 [te vervangen door de dienovereenkomstige bepalingen van de wet inzake digitale diensten], onverlet.

5 bis. Het Unierecht inzake de bescherming van persoonsgegevens, de privacy en de vertrouwelijkheid van communicatie is van toepassing op de verwerking van persoonsgegevens in verband met de rechten en verplichtingen die in deze verordening zijn vastgelegd. Deze verordening laat de Verordeningen (EU) 2016/679 en (EU) 2018/1725 en de Richtlijnen 2002/58/EG en (EU) 2016/680 onverlet, onverminderd de regelingen van artikel 10, lid 5, en artikel 54 van deze verordening.

5 ter. Deze verordening doet geen afbreuk aan de regels die zijn vastgesteld in andere rechtshandelingen van de Unie met betrekking tot consumentenbescherming en productveiligheid.

5 quater. Deze verordening belet de lidstaten of de Unie niet om wettelijke en bestuursrechtelijke bepalingen te handhaven of in te voeren die gunstiger zijn voor werknemers wat betreft de bescherming van hun rechten met betrekking tot het gebruik van AI-systemen door werkgevers, of om de toepassing van voor werknemers gunstigere collectieve overeenkomsten aan te moedigen of toe te staan.

5 quinquies. Deze verordening is niet van toepassing op onderzoeks-, test- en ontwikkelingsactiviteiten met betrekking tot een AI-systeem voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld, mits deze activiteiten met inachtneming van de grondrechten en het toepasselijke Unierecht worden uitgevoerd. Tests in reële omstandigheden vallen niet onder deze vrijstelling. De Commissie is bevoegd overeenkomstig artikel 73 gedelegeerde handelingen vast te stellen ter verduidelijking van de toepassing van dit lid om deze vrijstelling te specificeren om bestaand en mogelijk misbruik ervan te voorkomen. Het AI-bureau verstrekt richtsnoeren over de governance inzake onderzoek en ontwikkeling overeenkomstig artikel 56 en streeft er ook naar de toepassing ervan door de nationale toezichthoudende autoriteiten te coördineren.

5 sexies. Deze verordening is niet van toepassing op AI-componenten die worden aangeboden in het kader van gratis en opensourcelicenties, behalve voor zover zij in de handel worden gebracht of in gebruik worden gesteld door een aanbieder als onderdeel van een AI-systeem met een hoog risico of van een AI-systeem dat onder titel II of titel IV valt. Deze vrijstelling geldt niet voor basismodellen zoals gedefinieerd in artikel 3.

Artikel 3: Definities

Voor de toepassing van deze verordening gelden de volgende definities:

(1) “artificiële-intelligentiesysteem” (AI-systeem): een machinaal systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat voor expliciete of impliciete doelstellingen output kan genereren, zoals voorspellingen, aanbevelingen of beslissingen die van invloed zijn op de fysieke of virtuele omgeving;

(1 bis) “risico” de combinatie van de kans op schade en de ernst van die schade;

(1 ter) “significant risico”: een risico dat aanzienlijk is als gevolg van de combinatie van de ernst, de intensiteit, de waarschijnlijkheid dat het zich voordoet, de duur van de gevolgen, en het vermogen om een persoon, meerdere personen of een bepaalde groep personen te treffen;

(1 quater) “basismodel”: een AI-systeemmodel dat is getraind aan de hand van grootschalige gegevens, is ontworpen voor allerhande output en kan worden aangepast aan tal van uiteenlopende taken;

(1 quinquies) “AI-systeem voor algemene doeleinden”: een AI-systeem dat kan worden gebruikt in en aangepast aan tal van toepassingen waarvoor het niet doelbewust en specifiek is ontworpen;

(1 sexies) “uitgebreide training”: het productieproces van een krachtig AI-model waarvoor computermiddelen boven een zeer hoge drempel nodig zijn;

(2) “aanbieder”: een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem ontwikkelt of beschikt over een AI-systeem dat is ontwikkeld met het oog op het al dan niet tegen betaling in de handel brengen of in gebruik stellen ervan onder de eigen naam of merknaam;

(3) verwijderd

(4) “exploitant”: een natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem onder eigen verantwoordelijkheid gebruikt, tenzij het AI-systeem wordt gebruikt in het kader van een persoonlijke niet-beroepsactiviteit;

(5) “gemachtigde”: een in de Unie gevestigde natuurlijke of rechtspersoon die een schriftelijke machtiging heeft gekregen van een aanbieder van een AI-systeem om namens hem de verplichtingen en procedures van deze verordening respectievelijk na te komen en uit te voeren;

(6) “importeur”: een in de Unie gevestigde natuurlijke of rechtspersoon die een AI-systeem in de handel brengt of in gebruik stelt dat de naam of merknaam van een buiten de Unie gevestigde natuurlijke of rechtspersoon draagt;

(7) “distributeur”: een andere natuurlijke persoon of rechtspersoon in de toeleveringsketen dan de aanbieder of de importeur, die een AI-systeem in de Unie in de handel brengt zonder de eigenschappen hiervan te beïnvloeden;

(8) “operator”: de aanbieder, exploitant, gemachtigde, importeur en distributeur;

(8 bis) “betrokken persoon”: elke natuurlijke persoon of groep personen die onderworpen is aan of anderszins wordt beïnvloed door een AI-systeem;

(9) “in de handel brengen”: het voor het eerst in de Unie op de markt aanbieden van een AI-systeem;

(10) “op de markt aanbieden”: het in het kader van een handelsactiviteit, al dan niet tegen betaling, verstrekken van een AI-systeem met het oog op distributie of gebruik op de markt van de Unie;

(11) “in gebruik stellen”: de directe levering van een AI-systeem aan de exploitant voor het eerste gebruik of voor eigen gebruik op de markt van de Unie voor het beoogde doel;

(12) “beoogd doel”: het gebruik waarvoor een AI-systeem door de aanbieder is bedoeld, met inbegrip van de specifieke context en voorwaarden van het gebruik, zoals gespecificeerd in de informatie die door de aanbieder in de gebruiksinstructies, reclame- of verkoopmaterialen en verklaringen, alsook in de technische documentatie is verstrekt;

(13) “redelijkerwijs te voorzien misbruik”: het gebruik van een AI-systeem op een wijze die niet in overeenstemming is met het beoogde doel zoals aangegeven in de door de aanbieder opgestelde gebruiksaanwijzing, maar die kan voortvloeien uit redelijkerwijs te voorzien menselijk gedrag of de redelijkerwijs te voorziene interactie met andere systemen, met inbegrip van andere AI-systemen;

(14) “veiligheidscomponent van een product of systeem”: in overeenstemming met de in bijlage II vermelde harmonisatiewetgeving van de Unie een component van een product of systeem die een veiligheidsfunctie voor dat product of systeem vervult of waarvan het falen of gebrekkig functioneren de gezondheid en veiligheid van personen in gevaar brengt;

(15) “gebruiksinstructies”: de door de aanbieder verstrekte informatie om de exploitant te informeren over met name het beoogde doel en juiste gebruik van een AI-systeem, alsook informatie over te nemen voorzorgsmaatregelen, met inbegrip van de specifieke geografische, functionele of gedragsomgeving waarin het AI-systeem met een hoog risico moet worden gebruikt;

(16) “terugroepen van een AI-systeem”: een maatregel gericht op het retourneren aan de aanbieder van een AI-systeem dat reeds aan exploitanten ter beschikking is gesteld;

(17) “uit de handel nemen van een AI-systeem”: een maatregel gericht op het verhinderen van de distributie, de presentatie en het aanbod van een AI-systeem;

(18) “prestaties van een AI-systeem”: het vermogen van een AI-systeem om het beoogde doel te verwezenlijken;

(19) “aanmeldende autoriteit”: de nationale autoriteit die verantwoordelijk is voor het opzetten en uitvoeren van de noodzakelijke procedures voor de beoordeling, aanwijzing en kennisgeving van de conformiteitsbeoordelingsinstanties en de monitoring hiervan;

(20) “conformiteitsbeoordeling”: het proces waarmee wordt aangetoond of is voldaan aan de voorschriften van titel III, hoofdstuk 2, van deze verordening in verband met een AI-systeem;

(21) “conformiteitsbeoordelingsinstantie”: een instantie die voor derden conformiteitsbeoordelingsactiviteiten verricht, zoals onder meer testen, certificeren en inspecteren;

(22) “aangemelde instantie”: een conformiteitsbeoordelingsinstantie die overeenkomstig deze verordening en andere relevante harmonisatiewetgeving van de Unie is aangemeld;

(23) “ingrijpende wijziging”: een wijziging of een reeks wijzigingen van een AI-systeem nadat dit in de handel is gebracht of in gebruik is gesteld, die door de aanbieder niet is voorzien of gepland in de initiële risicobeoordeling en als gevolg waarvan de overeenstemming van het AI-systeem met de voorschriften van titel III, hoofdstuk 2, van deze verordening wordt beïnvloed of die resulteert in een wijziging van het beoogde doel waarvoor het AI-systeem is beoordeeld;

(24) “CE-conformiteitsmarkering” (CE-markering): een fysieke of digitale markering waarmee een aanbieder aangeeft dat een AI-systeem of een product met een ingebed AI-systeem in overeenstemming is met de voorschriften van titel III, hoofdstuk 2, van deze verordening en andere toepasselijke wetgeving van de Unie tot harmonisatie van de voorwaarden voor het in de handel brengen van producten (hierna “harmonisatiewetgeving van de Unie” genoemd) die in het aanbrengen ervan voorziet;

(25) “monitoring na het in de handel brengen”: alle door aanbieders van AI-systemen verrichte activiteiten voor het proactief verzamelen en evalueren van ervaringen met door hen in de handel gebrachte of in gebruik genomen AI-systemen, teneinde te kunnen vaststellen of er onmiddellijk corrigerende dan wel preventieve maatregelen nodig zijn;

(26) “markttoezichtautoriteit”: de nationale autoriteit die de activiteiten verricht en maatregelen neemt als bedoeld in Verordening (EU) 2019/1020;

(27) “geharmoniseerde norm”: een Europese norm als gedefinieerd in artikel 2, punt 1, c), van Verordening (EU) nr. 1025/2012;

(28) “gemeenschappelijke specificaties”: een document dat geen norm is en dat technische oplossingen bevat om te voldoen aan bepaalde voorschriften en verplichtingen zoals vastgesteld in deze verordening;

(29) “trainingsdata”: data die worden gebruikt voor het trainen van een AI-systeem door de leerbare parameters hiervan aan te passen;

(30) “validatiedata”: data die worden gebruikt voor het verrichten van een evaluatie van het getrainde AI-systeem en voor het afstemmen van onder andere de niet-leerbare parameters en het leerproces ervan, om onderfitting of overfitting te voorkomen; de validatiedatareeks is zowel een afzonderlijke datareeks als een deel van de datareeks voor de training, als vaste of variabele verdeling;

(31) “testdata”: data die worden gebruikt voor het verrichten van een onafhankelijke evaluatie van het getrainde en gevalideerde AI-systeem om de verwachte prestaties van dat systeem te bevestigen voordat het in de handel wordt gebracht of in gebruik wordt gesteld;

(32) “inputdata”: data die in een AI-systeem worden ingevoerd of direct door een AI-systeem worden verkregen en op basis waarvan het systeem een output genereert;

(33) “biometrische gegevens”: biometrische gegevens als gedefinieerd in artikel 4, punt 14, van Verordening (EU) 2016/679;

(33 bis) “op biometrie gebaseerde gegevens”: gegevens die het resultaat zijn van een specifieke technische verwerking met betrekking tot de fysieke, fysiologische of gedragsgerelateerde kenmerken van een natuurlijke persoon;

(33 ter) “biometrische identificatie”: de geautomatiseerde herkenning van fysieke, fysiologische, gedragsgerelateerde en psychologische menselijke kenmerken om de identiteit van een persoon vast te stellen door biometrische gegevens van die persoon te vergelijken met in een databank opgeslagen biometrische gegevens van personen (één-op-vele-identificatie);

(33 quater) “biometrische verificatie”: de geautomatiseerde verificatie van de identiteit van natuurlijke personen door biometrische gegevens van een persoon te vergelijken met eerder verstrekte biometrische gegevens (één-op-één-verificatie, met inbegrip van authenticatie);

(33 quinquies) “bijzondere categorieën persoonsgegevens”: de categorieën persoonsgegevens als bedoeld in artikel 9, lid 1, van Verordening (EU) 2016/679;

(34) “systeem voor het herkennen van emoties”: een AI-systeem dat is bedoeld voor het vaststellen of afleiden van emoties, gedachten, gemoedstoestanden of intenties van personen of groepen op basis van hun biometrische en op biometrie gebaseerde gegevens;

(35) “biometrische categorisering”: het indelen van natuurlijke personen in specifieke categorieën, of het afleiden van hun kenmerken en eigenschappen op basis van hun biometrische of op biometrie gebaseerde gegevens;

(36) “biometrisch systeem voor de identificatie op afstand”: een AI-systeem dat is bedoeld voor het identificeren van natuurlijke personen op afstand door middel van de vergelijking van de biometrische gegevens van een persoon met de biometrische gegevens die zijn opgenomen in een referentiedatabank en zonder dat de exploitant van het AI-systeem vooraf weet of de persoon hierin is opgenomen en kan worden geïdentificeerd, met uitzondering van verificatiesystemen;

(37) “biometrisch systeem voor de identificatie op afstand in real time”: een biometrisch systeem voor de identificatie op afstand waarbij het vastleggen van biometrische gegevens, de vergelijking en de identificatie plaatsvinden zonder aanzienlijke vertraging. Dit omvat niet alleen de onmiddellijke identificatie, maar ook beperkte vertragingen om omzeiling te voorkomen;

(38) “biometrisch systeem voor de identificatie op afstand achteraf”: een ander biometrisch systeem voor de identificatie op afstand dan een biometrisch systeem voor de identificatie op afstand in real time;

(39) “openbare ruimte”: een fysieke plek die in publieke of private handen is en toegankelijk is voor het publiek, ongeacht of bepaalde voorwaarden voor de toegang van toepassing zijn en ongeacht eventuele capaciteitsbeperkingen;

(40) “rechtshandhavingsinstantie”:

(a) iedere overheidsinstantie die bevoegd is voor de voorkoming, het onderzoek, de opsporing en de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid; of

(b) ieder ander orgaan dat of iedere andere entiteit die krachtens het recht van de lidstaten is gemachtigd openbaar gezag en openbare bevoegdheden uit te oefenen met het oog op de voorkoming, het onderzoek, de opsporing en de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid;

(41) “rechtshandhaving”: activiteiten die worden verricht door of namens rechtshandhavingsinstanties met het oog op de voorkoming, het onderzoek, de opsporing en de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid;

(42) “nationale toezichthoudende autoriteit”: een openbare instantie waaraan een lidstaat de verantwoordelijkheid toekent voor de uitvoering en toepassing van deze verordening, voor de coördinatie van de activiteiten die aan die lidstaat zijn toevertrouwd, voor het optreden als enkel contactpunt voor de Commissie en voor het vertegenwoordigen van de lidstaat in de raad van bestuur van het AI-bureau;

(43) “nationale bevoegde autoriteit”: een van de nationale autoriteiten die verantwoordelijk zijn voor de handhaving van deze verordening; 

(44) “ernstig incident”: elk incident van een AI-systeem dat of elke storing van een AI-systeem die direct of indirect leidt, kan hebben geleid of kan leiden tot:

(a) het overlijden van een persoon of ernstige schade voor de gezondheid van een persoon;

(b) een ernstige verstoring van het beheer en de exploitatie van kritieke infrastructuur;

(b bis) een schending van de krachtens het Unierecht beschermde grondrechten;

(b ter) ernstige schade aan eigendom of het milieu;

(44 bis) “persoonsgegevens”: persoonsgegevens zoals gedefinieerd in artikel 4, punt 1, van Verordening (EU) 2016/679;

(44 ter) “niet-persoonsgebonden gegevens”: andere gegevens dan persoonsgegevens;

(44 quater) “profilering”: elke vorm van geautomatiseerde verwerking van persoonsgegevens zoals gedefinieerd in artikel 4, punt 4, van Verordening (EU) 2016/679, of in het geval van rechtshandhavingsautoriteiten in artikel 3, punt 4, van Richtlijn (EU) 2016/680, of in het geval van instellingen, organen of instanties van de Unie in artikel 3, punt 5, van Verordening (EU) 2018/1725;

(44 quinquies) “deepfake”: gemanipuleerde of synthetische audio-, beeld- of video-inhoud die ten onrechte authentiek of waarheidsgetrouw lijkt te zijn, en die voorstellingen bevat van personen die dingen lijken te zeggen of te doen die zij niet hebben gezegd of gedaan, geproduceerd met behulp van AI-technieken, waaronder machinaal leren en deep learning;

(44 sexies) “wijdverbreide inbreuk”: alle handelingen of omissies die in strijd zijn met het Unierecht ter bescherming van de belangen van personen:

a) die schade hebben veroorzaakt of waarschijnlijk zullen veroorzaken voor de collectieve belangen van personen met verblijfplaats in ten minste twee andere lidstaten dan de lidstaat waar:

i) de handeling of omissie haar oorsprong vond of plaatshad;

ii) de betrokken aanbieder of, waar van toepassing, diens gemachtigde is gevestigd; of,

iii) de exploitant is gevestigd, indien de inbreuk door de exploitant is gepleegd;

b) die schade hebben veroorzaakt, veroorzaken of waarschijnlijk zullen veroorzaken voor de collectieve belangen van personen en die gemeenschappelijke kenmerken hebben, waaronder dezelfde onrechtmatige praktijk of een inbreuk op hetzelfde belang, en die zich gelijktijdig voordoen en door dezelfde operator worden begaan in ten minste drie lidstaten;

(44 septies) “wijdverbreide inbreuk met een Uniedimensie”: een wijdverbreide inbreuk die schade heeft veroorzaakt of waarschijnlijk zal veroorzaken voor de collectieve belangen van personen in ten minste twee derde van de lidstaten waarvan de bevolking ten minste twee derde uitmaakt van de bevolking van de Unie;

(44 octies) “testomgeving voor regelgeving”: een door een overheidsinstantie tot stand gebrachte gecontroleerde omgeving ter vergemakkelijking van het volgens een specifiek plan en onder regelgevend toezicht ontwikkelen, testen en valideren van innovatieve AI-systemen voor een beperkte duur voordat zij in de handel worden gebracht of in bedrijf worden gesteld;

(44 nonies) “kritieke infrastructuur”: een voorziening, een faciliteit, apparatuur, een netwerk of een systeem, of een onderdeel van een voorziening, een faciliteit, apparatuur, een netwerk of een systeem, die of dat noodzakelijk is voor de verlening van een essentiële dienst in de zin van artikel 2, lid 4, van Richtlijn (EU) 2022/2557;

(44 duodecies) “sociale scoring”: het beoordelen of classificeren van natuurlijke personen op basis van hun sociaal gedrag, sociaal-economische status of bekende of voorspelde persoonlijke of persoonlijkheidskenmerken;

(44 terdecies) “sociaal gedrag”: de manier waarop een natuurlijke persoon interageert met en invloed uitoefent op andere natuurlijke personen of de samenleving;

(44 quaterdecies) “stand van de techniek”: het ontwikkelde stadium van technisch vermogen op een gegeven moment met betrekking tot producten, processen en diensten, op basis van de desbetreffende geconsolideerde bevindingen op het gebied van wetenschap, technologie en ervaring;

(44 quindecies)  “testen in reële omstandigheden”: het tijdelijk testen van een AI-systeem voor zijn beoogde doel in reële omstandigheden buiten een laboratorium of een anderszins gesimuleerde omgeving;

Artikel 4: Verwijderd

Artikel 4 bis: Algemene beginselen die van toepassing zijn op alle AI-systemen

1. Alle onder deze verordening vallende operators stellen alles in het werk om AI-systemen of basismodellen te ontwikkelen en te gebruiken in overeenstemming met de volgende algemene beginselen die een kader op hoog niveau vormen ter bevordering van een coherente, mensgerichte Europese benadering van ethische en betrouwbare artificiële intelligentie, die volledig in overeenstemming is met het Handvest en met de waarden waarop de Unie is gegrondvest:

a) “invloed en toezicht door mensen”: AI-systemen worden ontwikkeld en gebruikt als een instrument dat ten dienste staat van mensen, dat de menselijke waardigheid en persoonlijke autonomie eerbiedigt, en dat functioneert op een wijze waar mensen op passende wijze controle en toezicht op kunnen houden;

b) “technische robuustheid en veiligheid”: AI-systemen worden zodanig ontwikkeld en gebruikt dat onbedoelde en onverwachte schade zoveel mogelijk wordt beperkt, dat zij robuust zijn in geval van onbedoelde problemen en dat zij bestand zijn tegen pogingen tot wijziging van het gebruik of de prestaties van het AI-systeem met het oog op onrechtmatig gebruik door kwaadwillige derden;

c) “privacy en databeheer”: AI-systemen worden ontwikkeld en gebruikt in overeenstemming met de bestaande regels inzake privacy en gegevensbescherming, en de verwerking van gegevens voldoet aan hoge normen wat kwaliteit en integriteit betreft;

d) “transparantie”: AI-systemen worden ontwikkeld en gebruikt op een wijze die passende traceerbaarheid en verklaarbaarheid mogelijk maakt, waarbij mensen ervan in kennis worden gesteld dat zij communiceren of interageren met een AI-systeem, en gebruikers naar behoren worden geïnformeerd over de mogelijkheden en beperkingen van dat AI-systeem en betrokken personen worden geïnformeerd over hun rechten;

e) “diversiteit, non-discriminatie en billijkheid”: AI-systemen worden zodanig ontwikkeld en gebruikt dat de inclusie van diverse actoren wordt gewaarborgd en dat gelijke toegang, gendergelijkheid en culturele diversiteit worden bevorderd, waarbij discriminerende effecten en onrechtvaardige vertekeningen die op grond van het Unierecht of het nationale recht verboden zijn, worden voorkomen;

f) “sociaal en ecologisch welzijn”: AI-systemen worden ontwikkeld en gebruikt op een duurzame en milieuvriendelijke wijze en op een manier die alle mensen ten goede komt, waarbij de langetermijneffecten op het individu, de samenleving en de democratie worden gemonitord en beoordeeld.

2. Lid 1 laat verplichtingen uit hoofde van het bestaande Unie- en nationale recht onverlet. Voor AI-systemen met een hoog risico worden de algemene beginselen door aanbieders of exploitanten omgezet en nageleefd door middel van de voorschriften van de artikelen 8 tot en met 15 en de in titel III, hoofdstuk 3, van deze verordening vastgelegde relevante verplichtingen. Voor basismodellen worden de algemene beginselen door aanbieders omgezet en nageleefd door middel van de voorschriften van de artikelen 28 tot en met 28 ter. Voor alle AI-systemen kan de toepassing van de in lid 1 bedoelde beginselen naargelang het geval worden bereikt door middel van de bepalingen van artikel 28, artikel 52 of de toepassing van geharmoniseerde normen, technische specificaties en gedragscodes als bedoeld in artikel 69, zonder nieuwe verplichtingen uit hoofde van deze verordening te creëren.

3. De Commissie en het AI-bureau nemen deze leidende beginselen op in normalisatieverzoeken en aanbevelingen in de vorm van technische richtsnoeren om aanbieders en exploitanten te helpen bij de ontwikkeling en het gebruik van AI-systemen. Bij de ontwikkeling van de passende geharmoniseerde normen voor AI-systemen met een hoog risico als bedoeld in artikel 40, lid 2 ter, nemen de Europese normalisatie-instellingen de in lid 1 van dit artikel bedoelde algemene beginselen in aanmerking als op uitkomst gebaseerde doelstellingen. 

Artikel 4 ter: AI-geletterdheid

1. Bij de uitvoering van deze verordening bevorderen de Unie en de lidstaten maatregelen voor de ontwikkeling van een toereikend niveau van AI-geletterdheid, in alle sectoren en rekening houdend met de verschillende behoeften van groepen aanbieders, exploitanten en betrokken personen, onder meer door middel van programma’s voor onderwijs en opleiding en voor scholing en omscholing en met waarborging van een passend gender- en leeftijdsevenwicht, met het oog op democratische controle van AI-systemen.

2. Aanbieders en exploitanten van AI-systemen nemen maatregelen om te zorgen voor een toereikend niveau van AI-geletterdheid bij hun personeel en andere personen die namens hen AI-systemen exploiteren en gebruiken, en houden daarbij rekening met hun technische kennis, ervaring, onderwijs en opleiding en de context waarin de AI-systemen zullen worden gebruikt, evenals met de personen of groepen personen ten aanzien van wie de AI-systemen zullen worden gebruikt.

3. Dergelijke maatregelen voor geletterdheid bestaan concreet uit het aanleren van basisbegrippen en -vaardigheden in verband met AI-systemen en de werking daarvan, met inbegrip van de verschillende soorten producten en gebruikssituaties en de risico’s en voordelen die eraan verbonden zijn.

4. Een toereikend niveau van AI-geletterdheid is een niveau dat voor zover nodig bijdraagt tot de bekwaamheid van aanbieders en exploitanten om naleving en handhaving van deze verordening te waarborgen.

TITEL II: VERBODEN PRAKTIJKEN OP HET GEBIED VAN ARTIFICIËLE INTELLIGENTIE

Artikel 5

1. De volgende praktijken op het gebied van artificiële intelligentie zijn verboden:

(a) het in de handel brengen, in gebruik stellen of gebruiken van een AI-systeem dat subliminale technieken waarvan personen zich niet bewust zijn of doelbewust manipulatieve of misleidende technieken gebruikt, met als doel of effect het gedrag van personen of een groep personen wezenlijk te verstoren door hun vermogen om een geïnformeerd besluit te nemen merkbaar te belemmeren, waardoor de persoon een besluit neemt dat deze anders niet had genomen, op een wijze die ertoe leidt of er waarschijnlijk toe zal leiden dat deze of andere personen, of een groep personen, aanzienlijke schade oplopen.

Het in de eerste alinea bedoelde verbod op AI-systemen die subliminale technieken toepassen, is niet van toepassing op AI-systemen die bedoeld zijn om voor goedgekeurde therapeutische doeleinden te worden gebruikt op basis van specifieke geïnformeerde toestemming van de personen die eraan zijn blootgesteld of, indien van toepassing, van hun wettelijke voogd;

(b) het in de handel brengen, in gebruik stellen of gebruiken van een AI-systeem dat gebruikmaakt van de kwetsbaarheden van een persoon of een specifieke groep personen, waaronder kenmerken van bekende of voorspelde persoonlijkheidskenmerken of de sociale of economische situatie, leeftijd of fysieke of geestelijke vermogens van deze persoon of deze groep personen, met als doel of effect het gedrag van deze persoon of van personen die tot deze groep behoren wezenlijk te verstoren op een wijze die ertoe leidt of er waarschijnlijk toe zal leiden dat deze of andere personen aanzienlijke schade oplopen;

(b bis) het in de handel brengen, in gebruik stellen of gebruiken van systemen voor biometrische categorisering die natuurlijke personen indelen op basis van gevoelige of beschermde eigenschappen of kenmerken, of op basis van het afleiden van die eigenschappen of kenmerken. Dit verbod is niet van toepassing op AI-systemen die bedoeld zijn om voor goedgekeurde therapeutische doeleinden te worden gebruikt op basis van specifieke geïnformeerde toestemming van de personen die eraan zijn blootgesteld of, indien van toepassing, van hun wettelijke voogd;

(c) het in de handel brengen, in gebruik stellen of gebruiken van AI-systemen voor de sociale scoring, evaluatie of classificatie van natuurlijke personen of groepen natuurlijke personen gedurende een bepaalde periode op basis van hun sociale gedrag of bekende, afgeleide of voorspelde persoonlijke of persoonlijkheidskenmerken, waarbij de sociale score een of beide van de volgende gevolgen heeft:

i) de nadelige of ongunstige behandeling van bepaalde natuurlijke personen of volledige groepen personen in een sociale context die geen verband houdt met de context waarin de data oorspronkelijk werden gegenereerd of verzameld;

ii) de nadelige of ongunstige behandeling van bepaalde natuurlijke personen of volledige groepen personen die ongerechtvaardigd of onevenredig met hun sociale gedrag of de ernst hiervan is;

(d) het gebruik van biometrische systemen voor de identificatie op afstand in real time in openbare ruimten;

(d bis) het in de handel brengen, in gebruik stellen of gebruiken van een AI-systeem voor het verrichten van risicobeoordelingen van natuurlijke personen of groepen natuurlijke personen om te beoordelen hoe groot het risico is dat een natuurlijke persoon (opnieuw) een strafbaar feit pleegt, dan wel om te voorspellen of een daadwerkelijk of potentieel strafbaar feit of een daadwerkelijke of potentiële administratieve overtreding (opnieuw) zal worden gepleegd, op basis van de profilering van een natuurlijke persoon of de beoordeling van persoonlijkheidskenmerken en kenmerken, waaronder de locatie van de persoon, of eerder crimineel gedrag van natuurlijke personen of groepen natuurlijke personen;

(d ter) het in de handel brengen, in gebruik stellen of gebruiken van AI-systemen die databanken voor gezichtsherkenning aanleggen of aanvullen door ongerichte scraping van gezichtsafbeeldingen van internet of CCTV-beelden;

(d quater) het in de handel brengen, in gebruik stellen of gebruiken van AI-systemen om emoties van een natuurlijke persoon af te leiden in het kader van rechtshandhaving, grensbeheer, de werkplek en onderwijsinstellingen;

(d quinquies) het in gebruik stellen of gebruiken van AI-systemen voor de analyse van geregistreerde beelden van openbaar toegankelijke ruimten door middel van biometrische systemen voor identificatie op afstand “achteraf”, tenzij dit overeenkomstig het Unierecht onderworpen is aan voorafgaande rechterlijke toestemming en dit met het oog op rechtshandhaving strikt noodzakelijk is voor gerichte zoekopdrachten in verband met een specifiek ernstig strafbaar feit zoals gedefinieerd in artikel 83, lid 1, VWEU dat reeds heeft plaatsgevonden.

1 bis. Dit artikel doet geen afbreuk aan de verboden die van toepassing zijn wanneer een praktijk op het gebied van artificiële intelligentie een inbreuk vormt op andere Uniewetgeving, met inbegrip van het Unierecht inzake gegevensbescherming, non-discriminatie, consumentenbescherming of mededinging.

TITEL III: AI-SYSTEMEN MET EEN HOOG RISICO

Hoofdstuk 1: CLASSIFICATIE VAN AI-SYSTEMEN ALS AI-SYSTEMEN MET EEN HOOG RISICO

Artikel 6: Classificatieregels voor AI-systemen met een hoog risico

1. Ongeacht of een AI-systeem los van in de punten a) en b) bedoelde producten in de handel wordt gebracht of in gebruik wordt gesteld, wordt een AI-systeem als AI-systeem met een hoog risico beschouwd wanneer aan beide van de volgende voorwaarden is voldaan:

(a) het AI-systeem is bedoeld om te worden gebruikt als veiligheidscomponent van een product of het AI-systeem is zelf een product dat valt onder de in bijlage II opgenomen harmonisatiewetgeving van de Unie;

(b) voor het product waarvan het AI-systeem overeenkomstig punt a) de veiligheidscomponent vormt of voor het AI-systeem als product zelf moet een conformiteitsbeoordeling van een derde partij met betrekking tot de risico’s voor de gezondheid en veiligheid worden uitgevoerd met het oog op het in de handel brengen of in gebruik stellen van dat product overeenkomstig de in bijlage II opgenomen harmonisatiewetgeving van de Unie.

2. Naast de in lid 1 bedoelde AI-systemen met een hoog risico worden ook AI-systemen die onder een of meer van de kritieke gebieden en praktijkvoorbeelden zoals bedoeld in bijlage III vallen als AI-systeem met een hoog risico beschouwd indien zij een significant risico op schade voor de gezondheid, de veiligheid of de grondrechten van natuurlijke personen inhouden. Wanneer een AI-systeem onder punt 2 van bijlage III valt, wordt het als een systeem met een hoog risico beschouwd indien het een significant risico op schade voor het milieu inhoudt.

De Commissie verstrekt zes maanden vóór de inwerkingtreding van deze verordening, na raadpleging van het AI-bureau en van relevante belanghebbenden, richtsnoeren waarin duidelijk de omstandigheden worden gespecificeerd waarin de output van in bijlage III bedoelde AI-systemen een significant risico op schade voor de gezondheid, de veiligheid of de grondrechten van natuurlijke personen zou inhouden, of wordt uitgelegd wanneer dit niet het geval zou zijn. 

2 bis. Wanneer aanbieders die onder een of meer van de in bijlage III bedoelde kritieke gebieden en praktijkvoorbeelden vallen, van mening zijn dat hun AI-systeem geen significant risico als beschreven in lid 2 inhoudt, dienen zij bij de nationale toezichthoudende autoriteit een met redenen omklede kennisgeving in dat zij niet onderworpen zijn aan de voorschriften van titel III, hoofdstuk 2, van deze verordening. Wanneer het AI-systeem bedoeld is om in twee of meer lidstaten te worden gebruikt, wordt die kennisgeving gericht aan het AI-bureau. Onverminderd artikel 65 beoordeelt en beantwoordt de nationale toezichthoudende autoriteit de kennisgeving binnen drie maanden, hetzij rechtstreeks, hetzij via het AI-bureau, indien zij van mening is dat het AI-systeem verkeerd is geclassificeerd.

2 ter. Aanbieders die hun AI-systeem verkeerd classificeren als niet onderworpen aan de voorschriften van titel III, hoofdstuk 2, van deze verordening en het in de handel brengen vóór de uiterste termijn voor bezwaar door nationale toezichthoudende autoriteiten, worden overeenkomstig artikel 71 bestraft met geldboeten.

2 quater. De nationale toezichthoudende autoriteiten dienen bij het AI-bureau een jaarlijks verslag in met een gedetailleerd overzicht van het aantal ontvangen kennisgevingen, de daarmee verband houdende gebieden met een hoog risico en de besluiten die zijn genomen met betrekking tot de ontvangen kennisgevingen.

Artikel 7: Wijzigingen van bijlage III

1. De Commissie is bevoegd om overeenkomstig artikel 73 gedelegeerde handelingen vast te stellen tot wijziging van bijlage III door voor AI-systemen met een hoog risico gebieden of praktijkvoorbeelden toe te voegen of te wijzigen wanneer deze een significant risico inhouden op schade voor de gezondheid en veiligheid, of op nadelige effecten op de grondrechten, op het milieu of op de democratie en de rechtsstaat, en dat risico gezien de ernst en waarschijnlijkheid ervan gelijk is aan of groter is dan het risico op schade of nadelige effecten dat wordt gevormd door de AI-systemen met een hoog risico die reeds zijn opgenomen in bijlage III.

(a) verwijderd.

(b) verwijderd.

1 bis. De Commissie is tevens bevoegd om overeenkomstig artikel 73 gedelegeerde handelingen vast te stellen om praktijkvoorbeelden van AI-systemen met een hoog risico van de lijst in bijlage III te schrappen indien de in lid 1 bedoelde voorwaarden niet langer van toepassing zijn.

2. Bij de beoordeling van een AI-systeem met het oog op de leden 1 en 1 bis houdt de Commissie rekening met de volgende criteria:

(a) het beoogde doel van het AI-systeem;

(a bis) de algemene capaciteiten en functionaliteiten van het AI-systeem ongeacht het beoogde doel ervan;

(b) de mate waarin een AI-systeem is gebruikt of waarschijnlijk zal worden gebruikt;

(b bis) de aard van de gegevens en de hoeveelheid gegevens die door het AI-systeem worden verwerkt en gebruikt;

(b ter) de mate waarin het AI-systeem autonoom handelt;

(c) de mate waarin het gebruik van een AI-systeem reeds schade voor de gezondheid en veiligheid heeft veroorzaakt, nadelige effecten op de grondrechten, het milieu, de democratie en de rechtsstaat heeft gehad of aanleiding heeft gegeven tot aanzienlijke zorgen in verband met de waarschijnlijkheid van dergelijke schade of nadelige effecten, zoals aangetoond door bijvoorbeeld verslagen of gedocumenteerde beschuldigingen die zijn ingediend bij de nationale toezichthoudende autoriteiten, de Commissie, het AI-bureau, de EDPS of het Bureau van de Europese Unie voor de grondrechten;

(d) de potentiële omvang van dergelijke schade of dergelijke nadelige effecten, met name wat betreft de intensiteit ervan en de mogelijkheid dat meerdere personen worden getroffen of dat een bepaalde groep personen onevenredig wordt getroffen;

(e) de mate waarin potentieel geschade of nadelig getroffen personen afhankelijk zijn van de aan de hand van een AI-systeem geproduceerde output, waarbij die output louter bijkomstig is ten aanzien van de te nemen relevante maatregelen of besluiten, met name omdat het om praktische of juridische redenen niet redelijkerwijs mogelijk is om van deze output af te zien;

(e bis) het mogelijke misbruik en kwaadwillig gebruik van het AI-systeem en van de daaraan ten grondslag liggende technologie;

(f) de mate waarin sprake is van een onevenwichtige machtsverhouding, of de potentieel geschade of nadelig getroffen personen zich in een kwetsbare positie bevinden ten opzichte van de gebruiker van een AI-systeem, met name als gevolg van status, autoriteit, kennis, economische of sociale omstandigheden of leeftijd;

(g) de mate waarin de aan de hand van een AI-systeem geproduceerde uitkomst gemakkelijk omkeerbaar of te verhelpen is, waarbij uitkomsten die nadelige effecten hebben op de gezondheid, de veiligheid, de grondrechten van personen, het milieu, of op de democratie en de rechtsstaat niet als gemakkelijk omkeerbaar worden beschouwd;

(g bis) de mate van beschikbaarheid en gebruik van doeltreffende technische oplossingen en mechanismen voor de controle, betrouwbaarheid en corrigeerbaarheid van het AI-systeem;

(g ter) de schaal en waarschijnlijkheid van de voordelen van de uitrol van het AI-systeem voor personen, groepen of de samenleving in het algemeen, met inbegrip van mogelijke verbeteringen op het gebied van productveiligheid;

(g quater) de mate van menselijk toezicht en de mogelijkheid van tussenkomst door een mens om beslissingen of aanbevelingen die tot schade kunnen leiden terzijde te schuiven;

(h) de mate waarin in het bestaande Unierecht is voorzien in:

i) doeltreffende maatregelen om beroep aan te tekenen in verband met de schade die is veroorzaakt door een AI-systeem, met uitzondering van vorderingen tot vergoeding van directe of indirecte schade;

ii) doeltreffende maatregelen om deze risico’s te voorkomen of aanzienlijk te beperken.

2 bis. Bij de beoordeling van een AI-systeem met het oog op de leden 1 of 1 bis raadpleegt de Commissie het AI-bureau en, waar relevant, vertegenwoordigers van groepen waarop een AI-systeem van invloed is, de industrie, onafhankelijke deskundigen, de sociale partners en maatschappelijke organisaties. De Commissie houdt in dit verband ook openbare raadplegingen en maakt de resultaten van die raadplegingen en van de eindbeoordeling openbaar.

2 ter. Het AI-bureau, de nationale toezichthoudende autoriteiten of het Europees Parlement kunnen de Commissie verzoeken de indeling van een AI-systeem in een risicocategorie overeenkomstig de leden 1 en 1 bis opnieuw te beoordelen en te wijzigen. De Commissie geeft de redenen voor haar besluit en maakt deze openbaar.

Hoofdstuk 2: Voorschriften voor AI-systemen met een hoog risico

Artikel 8: Naleving van de voorschriften

1. AI-systemen met een hoog risico moeten voldoen aan de voorschriften van dit hoofdstuk.

1 bis. Bij de naleving van de in dit hoofdstuk vastgestelde voorschriften wordt naar behoren rekening gehouden met de ontwikkelde richtsnoeren als bedoeld in artikel 82 ter, en de algemeen erkende stand van de techniek, onder meer zoals die tot uiting komt in de relevante geharmoniseerde normen en gemeenschappelijke specificaties zoals bedoeld in de artikelen 40 en 41 of zoals reeds vastgesteld in de harmonisatiewetgeving van de Unie.

2. Bij het waarborgen van de naleving van deze voorschriften wordt rekening gehouden met het beoogde doel van het AI-systeem met een hoog risico, het redelijkerwijs te voorziene misbruik en het systeem voor risicobeheer als bedoeld in artikel 9.

2 bis. Mits de voorschriften van titel III, hoofdstukken 2 en 3, of titel VIII, hoofdstukken 1, 2 en 3, voor AI-systemen met een hoog risico aan bod komen in de in bijlage II, afdeling A, vermelde harmonisatiewetgeving van de Unie, wordt geacht te zijn voldaan aan de voorschriften of verplichtingen van die hoofdstukken van deze verordening, voor zover zij de AI-component omvatten. De voorschriften van titel III, hoofdstukken 2 en 3, of titel VIII, hoofdstukken 1, 2 en 3, voor AI-systemen met een hoog risico die niet aan bod komen in de in bijlage II, afdeling A, vermelde harmonisatiewetgeving van de Unie, worden in voorkomend geval in die harmonisatiewetgeving van de Unie opgenomen. De desbetreffende conformiteitsbeoordeling wordt uitgevoerd in het kader van de procedures van de in bijlage II, afdeling A, vermelde harmonisatiewetgeving van de Unie

Artikel 9: Systeem voor risicobeheer

1. In verband met AI-systemen met een hoog risico wordt een systeem voor risicobeheer vastgesteld, uitgevoerd, gedocumenteerd en in stand gehouden gedurende de gehele levensduur van het AI-systeem. Het systeem voor risicobeheer kan geïntegreerd worden in, of een onderdeel vormen van, reeds bestaande procedures voor risicobeheer die verband houden met de desbetreffende sectorale wetgeving van de Unie, voor zover het voldoet aan de voorschriften van dit artikel.

2. Het systeem voor risicobeheer bestaat in een doorlopend iteratief proces tijdens de gehele levensduur van een AI-systeem met een hoog risico, dat periodieke evaluatie en actualisering van het risicobeheersingsproces vereist om de blijvende doeltreffendheid ervan te waarborgen, alsook de documentatie van eventuele significante besluiten en maatregelen die op grond van dit artikel zijn genomen. Het omvat de volgende stappen:

(a) het vaststellen, inschatten en evalueren van de bekende en de redelijkerwijs te voorziene risico’s die het AI-systeem met een hoog risico kan inhouden voor de gezondheid of veiligheid van natuurlijke personen, hun grondrechten, met inbegrip van gelijke toegang en kansen, de democratie en de rechtsstaat of het milieu wanneer het AI-systeem met een hoog risico wordt gebruikt in overeenstemming met het beoogde doel ervan en in een situatie van redelijkerwijs te voorzien misbruik;

(b) verwijderd

(c) een evaluatie van opkomende significante risico’s zoals omschreven in punt a) die zijn vastgesteld op basis van de analyse van de data die zijn verzameld door het systeem voor monitoring na het in de handel brengen als bedoeld in artikel 61;

(d) het vaststellen van passende en gerichte risicobeheersingsmaatregelen die zijn afgestemd op het aanpakken van de overeenkomstig de punten a) en b) van dit lid vastgestelde risico’s, in overeenstemming met de bepalingen van de volgende leden.

3. Ten aanzien van de in lid 2, punt d), bedoelde risicobeheersingsmaatregelen wordt naar behoren rekening gehouden met de effecten en mogelijke wisselwerkingen die voortvloeien uit de gecombineerde toepassing van de in dit hoofdstuk 2 uiteengezette voorschriften, teneinde risico’s doeltreffend te beperken en tegelijkertijd een passende en evenredige uitvoering van de voorschriften te waarborgen.

4. De in lid 2, punt d), bedoelde risicobeheersingsmaatregelen zijn zodanig dat relevante restrisico’s in verband met elk gevaar en het totale restrisico van de AI-systemen met een hoog risico op basis van een met redenen omklede beoordeling worden geacht aanvaardbaar te zijn, mits het AI-systeem met een hoog risico wordt gebruikt in overeenstemming met het beoogde doel ervan of in een situatie van redelijkerwijs te voorzien misbruik. De exploitant wordt op de hoogte gesteld van deze restrisico’s en de met redenen omklede beoordeling daarvan.

Bij het vaststellen van de meest passende risicobeheersingsmaatregelen wordt het volgende gewaarborgd:

(a) de vastgestelde risico’s worden voor zover technisch haalbaar uitgesloten of beperkt door middel van een adequaat ontwerp en adequate ontwikkeling van het AI-systeem met een hoog risico, indien relevant met betrokkenheid van deskundigen en externe belanghebbenden;

(b) waar passend worden adequate maatregelen voor beperking en controle genomen voor het aanpakken van significante risico’s die niet kunnen worden uitgesloten;

(c) de vereiste informatie wordt verstrekt overeenkomstig artikel 13 en er wordt waar passend voorzien in opleidingen voor exploitanten.

Bij het uitsluiten of beperken van de risico’s die verband houden met het gebruik van het AI-systeem met een hoog risico besteden aanbieders naar behoren aandacht aan de technische kennis, ervaring, scholing en opleiding die de exploitant mogelijk nodig heeft, onder meer met betrekking tot de vermoedelijke gebruikscontext.

5. AI-systemen met een hoog risico worden getest met het oog op het vaststellen van de passendste en meest gerichte risicobeheersingsmaatregelen en het afwegen van dergelijke maatregelen tegen de potentiële voordelen en de beoogde doelen van het systeem. De tests zorgen ervoor dat AI-systemen met een hoog risico consistent presteren ten aanzien van het beoogde doel ervan en in overeenstemming zijn met de voorschriften van dit hoofdstuk.

6. De testprocedures zijn geschikt om het beoogde doel van het AI-systeem te verwezenlijken.

7. Het testen van AI-systemen met een hoog risico vindt plaats voordat het systeem in de handel wordt gebracht of in gebruik wordt gesteld. De tests worden uitgevoerd aan de hand van vooraf vastgestelde standaarden en probabilistische drempels die passend zijn voor het beoogde doel of het redelijkerwijs te voorziene misbruik van het AI-systeem met een hoog risico.

8. Bij de uitvoering van het systeem voor risicobeheer als beschreven in de leden 1 tot en met 7 besteden aanbieders bijzondere aandacht aan de vraag of het waarschijnlijk is dat het AI-systeem met een hoog risico nadelige gevolgen voor kwetsbare groepen van mensen of kinderen zal hebben.

9. Voor aanbieders en AI-systemen die reeds onder het Unierecht vallen waardoor zij verplicht zijn een specifiek risicobeheer in te voeren, met inbegrip van kredietinstellingen die vallen onder Richtlijn 2013/36/EU, zijn de in de leden 1 tot en met 8 beschreven aspecten onderdeel van de risicobeheersingsprocedures die bij dat Unierecht zijn vastgesteld of worden zij daarmee gecombineerd.

Artikel 10: Data en databeheer

1. AI-systemen met een hoog risico die technieken gebruiken die het trainen van modellen met data omvatten, worden ontwikkeld op basis van datareeksen voor training, validatie en tests die voldoen aan de kwaliteitscriteria als bedoeld in de leden 2 tot en met 5, voor zover dit technisch haalbaar is overeenkomstig het specifieke marktsegment of toepassingsgebied.

Technieken die geen geëtiketteerde inputdata vereisen, zoals ongecontroleerd leren en versterkend leren, worden ontwikkeld op basis van datareeksen zoals voor tests en verificatie die voldoen aan de in de leden 2 tot en met 5 bedoelde kwaliteitscriteria.

2. Datareeksen voor training, validatie en tests worden onderworpen aan databeheer dat passend is voor de gebruikscontext en voor het beoogde doel van het AI-systeem. Deze maatregelen hebben in het bijzonder betrekking op:

(a) de relevante ontwerpkeuzes;

(a bis) transparantie met betrekking tot het oorspronkelijke doel van de dataverzameling;

(b) processen voor dataverzameling;

(c) verwerkingsactiviteiten voor datavoorbereiding, zoals annotatie, etikettering, opschoning, actualisering, verrijking en aggregatie;

(d) het opstellen van aannames, met name met betrekking tot de informatie die de data moeten meten en vertegenwoordigen;

(e) een beoordeling van de beschikbaarheid, kwantiteit en geschiktheid van de datareeksen die nodig zijn;

(f) een beoordeling met het oog op mogelijke vertekeningen die waarschijnlijk gevolgen hebben voor de gezondheid en de veiligheid van personen, nadelige effecten hebben op de grondrechten, of leiden tot discriminatie die op grond van het Unierecht verboden is, vooral wanneer data-outputs invloed hebben op inputs voor toekomstige operaties (zogenaamde “terugkoppelingen”), en passende maatregelen om mogelijke vertekeningen op te sporen, te voorkomen en te beperken;

(f bis) passende maatregelen om mogelijke vertekeningen op te sporen, te voorkomen en te beperken;

(g) het identificeren van relevante leemten of tekortkomingen in de data die naleving van deze verordening in de weg staan, en de manier waarop deze leemten en tekortkomingen kunnen worden aangepakt.

3. Datareeksen voor training en, indien deze worden gebruikt, datareeksen voor validatie en tests, met inbegrip van de etikettering ervan, zijn relevant, voldoende representatief en zo volledig mogelijk en worden naar behoren doorgelicht op fouten met het oog op het beoogde doel. De datareeksen hebben bovendien de passende statistische kenmerken, onder meer, waar van toepassing, met betrekking tot de personen of groepen personen ten aanzien van wie de AI-systemen met een hoog risico moeten worden gebruikt. Deze kenmerken van de datareeksen worden op het niveau van de afzonderlijke datareeksen of combinatie daarvan verwezenlijkt.

4. Ten aanzien van datareeksen wordt, voor zover vereist gezien het beoogde doel of het redelijkerwijs te voorziene misbruik van het AI-systeem, rekening gehouden met de eigenschappen of elementen die specifiek zijn voor een bepaalde geografische, contextuele, functionele of gedragsomgeving waarin het AI-systeem moet worden gebruikt.

5. Voor zover dit strikt noodzakelijk is om de opsporing en correctie van negatieve vertekeningen te waarborgen in verband met de AI-systemen met een hoog risico, mogen de aanbieders van dergelijke systemen bij wijze van uitzondering bijzondere categorieën persoonsgegevens, zoals bedoeld in artikel 9, lid 1, van Verordening (EU) 2016/679, artikel 10 van Richtlijn (EU) 2016/680 en artikel 10, lid 1, van Verordening (EU) 2018/1725, verwerken, mits passende waarborgen worden geboden voor de grondrechten en fundamentele vrijheden van natuurlijke personen, met inbegrip van technische beperkingen voor het hergebruik en het gebruik van ultramoderne beveiligings- en privacybeschermende maatregelen. Voor deze verwerking gelden met name alle volgende voorwaarden:

a) de opsporing en correctie van vertekeningen kunnen niet doeltreffend worden vervuld door het verwerken van synthetische of geanonimiseerde gegevens;

b) de gegevens zijn gepseudonimiseerd;

c) de aanbieder neemt passende technische en organisatorische maatregelen om ervoor te zorgen dat de voor de toepassing van dit lid verwerkte gegevens met passende waarborgen worden beveiligd en beschermd, en dat alleen gemachtigde personen met passende geheimhoudingsverplichtingen toegang tot die gegevens hebben;

d) de voor de toepassing van dit lid verwerkte gegevens worden niet verzonden, doorgegeven of anderszins geraadpleegd door andere partijen;

e) de voor de toepassing van dit lid verwerkte gegevens worden beschermd met passende technische en organisatorische maatregelen en worden gewist zodra de vertekening is gecorrigeerd of de periode van bewaring van de persoonsgegevens ten einde is gekomen;

f) er worden doeltreffende en passende maatregelen getroffen om de beschikbaarheid en beveiliging van verwerkingssystemen en -diensten te waarborgen en ervoor te zorgen dat deze bestand zijn tegen technische of fysieke incidenten;

g) er worden doeltreffende en passende maatregelen getroffen om te zorgen voor de fysieke beveiliging van de locaties waar de gegevens worden opgeslagen en verwerkt, governance en beheer van interne IT en IT-beveiliging, certificering van processen en producten.

Aanbieders die een beroep doen op deze bepaling stellen documentatie op waarin wordt uitgelegd waarom de verwerking van bijzondere categorieën persoonsgegevens noodzakelijk was om vertekeningen op te sporen en te corrigeren. 

6. Voor de ontwikkeling van andere AI-systemen met een hoog risico dan systemen die gebruikmaken van technieken voor de training van modellen zijn passende praktijken voor databeheer van toepassing om ervoor te zorgen dat deze AI-systemen met een hoog risico in overeenstemming zijn met lid 2.

6 bis. Indien de aanbieder niet aan de in dit artikel vastgestelde verplichtingen kan voldoen omdat deze aanbieder geen toegang heeft tot de gegevens en de gegevens uitsluitend in het bezit zijn van de exploitant, kan de exploitant, op basis van een contract, verantwoordelijk worden gesteld voor eventuele inbreuken op dit artikel.

Artikel 11: Technische documentatie

1. De technische documentatie van een AI-systeem met een hoog risico wordt opgesteld voordat dit systeem in de handel wordt gebracht of in gebruikt wordt gesteld, en wordt geactualiseerd.

De technische documentatie wordt op zodanige wijze opgesteld dat wordt aangetoond dat het AI-systeem met een hoog risico in overeenstemming is met de voorschriften van dit hoofdstuk en dat nationale toezichthoudende autoriteiten en aangemelde instanties over de noodzakelijke informatie beschikken om de overeenstemming van het AI-systeem met deze voorschriften te kunnen beoordelen. De documentatie omvat ten minste de in bijlage IV uiteengezette elementen of, in het geval van kmo’s en start-ups, gelijkwaardige documentatie die aan dezelfde doelstellingen beantwoordt, mits de bevoegde nationale autoriteit daarmee instemt.

2. Wanneer een AI-systeem met een hoog risico dat verband houdt met een product dat valt onder de in bijlage II, afdeling A, opgenomen rechtshandelingen in de handel wordt gebracht of in gebruik wordt gesteld, wordt een enkel technisch document opgesteld dat alle informatie bevat zoals uiteengezet in lid 1, alsook de informatie die vereist is op grond van die rechtshandelingen.

3. De Commissie is bevoegd om overeenkomstig artikel 73 gedelegeerde handelingen vast te stellen tot wijziging van bijlage IV wanneer dit noodzakelijk is om, in het licht van de technische vooruitgang, te waarborgen dat in de technische documentatie alle noodzakelijke informatie wordt verstrekt om de overeenstemming van het systeem met de voorschriften van dit hoofdstuk te kunnen beoordelen.

3 bis. Aanbieders die onder Richtlijn 2013/36/EU vallende kredietinstellingen zijn, bewaren de technische documentatie als onderdeel van de documentatie met betrekking tot de interne governance, regelingen, processen en mechanismen overeenkomstig artikel 74 van die richtlijn.

Artikel 12: Registratie

1. AI-systemen met een hoog risico worden ontworpen en ontwikkeld met capaciteiten die de automatische registratie van gebeurtenissen (hierna “logs” genoemd) tijdens de werking van het AI-systeem mogelijk maken. Deze loggingcapaciteiten moeten in overeenstemming zijn met de stand van de techniek en met erkende normen of gemeenschappelijke specificaties.

2. Om te zorgen voor een mate van traceerbaarheid van de werking van het AI-systeem tijdens de gehele levensduur ervan die passend is voor het beoogde doel van het systeem, moeten de loggingcapaciteiten de monitoring van de werking zoals bedoeld in artikel 29, lid 4, en de monitoring na het in de handel brengen zoals bedoeld in artikel 61 mogelijk maken. Met name maken zij de registratie mogelijk van gebeurtenissen die relevant zijn voor de vaststelling van situaties die:

a) ertoe kunnen leiden dat het AI-systeem een risico inhoudt in de zin van artikel 65, lid 1; of

b) een ingrijpende wijziging van het AI-systeem tot gevolg hebben.

2 bis) AI-systemen met een hoog risico worden ontworpen en ontwikkeld met loggingcapaciteiten die het mogelijk maken het energieverbruik te registreren en het gebruik van hulpbronnen en de milieueffecten van het AI-systeem met een hoog risico tijdens alle fasen van de levensduur van het systeem te meten of te berekenen.

3. verwijderd

4. Voor AI-systemen met een hoog risico als bedoeld in punt 1, a), van bijlage III voorzien de loggingcapaciteiten ten minste in:

(a) de registratie van de duur van elk gebruik van het systeem (begindatum en -tijd en einddatum en -tijd van elk gebruik);

(b) de referentiedatabank aan de hand waarvan de inputdata zijn gecontroleerd door het systeem;

(c) de inputdata ten aanzien waarvan de zoekopdracht een match heeft opgeleverd;

(d) de identificatie van de natuurlijke personen die betrokken zijn bij de verificatie van de resultaten, zoals bedoeld in artikel 14, lid 5.

Artikel 13: Transparantie en informatieverstrekking

1. AI-systemen met een hoog risico worden op zodanige wijze ontworpen en ontwikkeld dat de werking ervan voldoende transparant is om aanbieders en gebruikers in staat te stellen de werking van het systeem redelijkerwijs te begrijpen. Er wordt gezorgd voor passende transparantie in overeenstemming met het beoogde doel van het AI-systeem, met het oog op de naleving van de relevante verplichtingen van de aanbieder en de gebruiker zoals uiteengezet in hoofdstuk 3 van deze titel.

Transparantie houdt daarbij in dat, op het moment dat het AI-systeem met een hoog risico in de handel wordt gebracht, alle beschikbare technische middelen in overeenstemming met de algemeen erkende stand van de techniek worden gebruikt om ervoor te zorgen dat de output van het AI-systeem door de aanbieder en de gebruiker kan worden geïnterpreteerd. De gebruiker wordt in staat gesteld het AI-systeem op passende wijze te begrijpen en te gebruiken door middel van algemene kennis over hoe het AI-systeem werkt en welke gegevens het verwerkt, zodat de gebruiker de door het AI-systeem genomen beslissingen kan uitleggen aan de betrokken persoon overeenkomstig artikel 68, punt c).

2. AI-systemen met een hoog risico gaan vergezeld van begrijpelijke gebruiksinstructies in een passend digitaal formaat dat of op een andere manier beschikbaar gesteld op een duurzame drager die beknopte, juiste, duidelijke en voor zover mogelijk volledige informatie bevat die helpt bij de exploitatie en het onderhoud van het AI-systeem, die geïnformeerde besluitvorming door gebruikers ondersteunt en die redelijkerwijs relevant, toegankelijk en begrijpelijk is voor gebruikers.

3. Om de in lid 1 bedoelde resultaten te bereiken, omvat de in lid 2 bedoelde informatie:

(a) de identiteit en de contactgegevens van de aanbieder en, in voorkomend geval, van zijn gemachtigden;

(a bis) indien die niet dezelfde is als de aanbieder, de identiteit en de contactgegevens van de entiteit die de conformiteitsbeoordeling heeft uitgevoerd en, in voorkomend geval, van haar gemachtigde;

(b) de kenmerken, capaciteiten en beperkingen van de prestaties van het AI-systeem met een hoog risico, waaronder, waar passend:

i) het beoogde doel;

ii) de mate van nauwkeurigheid, robuustheid en cyberbeveiliging als bedoeld in artikel 15 waarop het AI-systeem met een hoog risico is getest en gevalideerd en die kan worden verwacht, en eventuele duidelijk bekende en te voorziene omstandigheden die een effect kunnen hebben op die verwachte mate van nauwkeurigheid, robuustheid en cyberbeveiliging;

iii) eventuele duidelijk bekende of te voorziene omstandigheden in verband met het gebruik van het AI-systeem met een hoog risico in overeenstemming met het beoogde doel ervan of in een situatie van redelijkerwijs te voorzien misbruik, die kunnen leiden tot risico’s voor de gezondheid en veiligheid, de grondrechten of het milieu, waar passend met inbegrip van voorbeelden ter illustratie van dergelijke beperkingen en van scenario’s waarvoor het systeem niet mag worden gebruikt;

iii bis) de mate waarin het AI-systeem uitleg kan verstrekken bij beslissingen die het neemt;

iv) de prestaties ervan met betrekking tot de personen of groepen personen voor wie het systeem moet worden gebruikt;

v) relevante informatie over handelingen van de gebruiker die van invloed kunnen zijn op de prestaties van het systeem, waaronder de soort of de kwaliteit van de inputdata of eventuele andere relevante informatie met betrekking tot de gebruikte datareeksen voor training, validatie en tests, rekening houdend met het beoogde doel van het AI-systeem;

(c) de wijzigingen van het AI-systeem met een hoog risico en de prestaties ervan die vooraf door de aanbieder zijn bepaald op het moment van de eerste conformiteitsbeoordeling, indien van toepassing;

(d) de maatregelen voor menselijk toezicht als bedoeld in artikel 14, met inbegrip van de technische maatregelen die zijn getroffen om de interpretatie van de output van AI-systemen door gebruikers te vergemakkelijken;

(e) eventuele noodzakelijke maatregelen voor onderhoud en verzorging om de goede werking van dat AI-systeem gedurende de verwachte levensduur ervan te waarborgen, ook in verband met software-updates;

(e bis) een beschrijving van de mechanismen in het AI-systeem die gebruikers in staat stellen de logs naar behoren te verzamelen, op te slaan en te interpreteren overeenkomstig artikel 12, lid 1;

(e ter) De informatie wordt ten minste verstrekt in de taal van het land waar het AI-systeem wordt gebruikt.

3 bis. Om aan de verplichtingen van dit artikel te voldoen, waarborgen aanbieders en gebruikers een toereikend niveau van AI-geletterdheid overeenkomstig artikel 4 ter.

Artikel 14: Menselijk toezicht

1. AI-systemen met een hoog risico worden zodanig ontworpen en ontwikkeld, met inbegrip van passende mens-machine-interface-instrumenten, dat hierop op doeltreffende wijze toezicht wordt uitgeoefend door natuurlijke personen, in verhouding tot de risico’s die met die systemen gepaard gaan. Tijdens de periode dat het AI-systeem wordt gebruikt, beschikken natuurlijke personen die voor het menselijk toezicht moeten zorgen, over een toereikend niveau van AI-geletterdheid overeenkomstig artikel 4 ter en over de nodige ondersteuning en autoriteit om die functie te kunnen uitoefenen en om grondig onderzoek na een incident mogelijk te maken.

2. Het menselijk toezicht is gericht op het voorkomen of beperken van de risico’s voor de gezondheid, veiligheid, de grondrechten of het milieu die zich kunnen voordoen wanneer een AI-systeem met een hoog risico wordt gebruikt in overeenstemming met het beoogde doel ervan of in een situatie van redelijkerwijs te voorzien misbruik, met name wanneer dergelijke risico’s blijven bestaan ondanks de toepassing van andere voorschriften van dit hoofdstuk en wanneer uitsluitend op geautomatiseerde verwerking door AI-systemen gebaseerde besluiten rechtsgevolgen of anderszins significante gevolgen hebben voor de personen of groepen personen voor wie het systeem moet worden gebruikt.

3. Het menselijk toezicht is afgestemd op de specifieke risico’s, de mate van automatisering en de context van het AI-systeem en wordt gewaarborgd door middel van een of alle van de volgende soorten maatregelen:

(a) door de aanbieder bepaald en, waar technisch haalbaar, ingebouwd in het AI-systeem met een hoog risico voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld;

(b) door de aanbieder bepaald voordat het AI-systeem met een hoog risico in de handel wordt gebracht of in gebruik wordt gesteld en die passend zijn om door de gebruiker te worden uitgevoerd.

4. Voor de toepassing van de leden 1 tot en met 3 wordt het AI-systeem met een hoog risico zodanig aan de gebruiker verstrekt dat natuurlijke personen die verantwoordelijk zijn voor het menselijk toezicht, in staat worden gesteld om waar passend en in verhouding tot de omstandigheden het volgende te doen:

(a) zich bewust zijn van de relevante capaciteiten en beperkingen van het AI-systeem met een hoog risico en deze voldoende begrijpen en de werking ervan naar behoren kunnen monitoren, zodat tekenen van onregelmatigheden, storingen en onverwachte prestaties zo snel mogelijk kunnen worden gedetecteerd en aangepakt;

(b) zich bewust blijven van de mogelijke neiging om automatisch of te veel te vertrouwen op de output van een AI-systeem met een hoog risico (de zogenaamde “automation bias”), met name voor AI-systemen met een hoog risico die worden gebruikt om informatie of aanbevelingen te verstrekken voor beslissingen die door natuurlijke personen moeten worden genomen;

(c) de output van het AI-systeem met een hoog risico juist interpreteren, in het bijzonder rekening houdend met de kenmerken van het systeem en de beschikbare instrumenten en methoden voor interpretatie;

(d) in alle specifieke situaties kunnen besluiten om het AI-systeem met een hoog risico niet te gebruiken of de output van het AI-systeem met een hoog risico op andere wijze te negeren, terzijde te schuiven of terug te draaien;

(e) ingrijpen in de werking van het AI-systeem met een hoog risico of het systeem onderbreken door middel van een stopknop of een vergelijkbare procedure die het mogelijk maakt het systeem in een veilige toestand tot stilstand te brengen, tenzij het ingrijpen van de mens de risico’s vergroot of de prestaties negatief zou beïnvloeden, rekening houdend met de algemeen erkende stand van de techniek.

5. Voor AI-systemen met een hoog risico als bedoeld in bijlage III, punt 1, a), zijn de maatregelen als bedoeld in lid 3 zodanig dat zij waarborgen dat daarnaast door de gebruiker geen maatregelen worden getroffen of beslissingen worden genomen op basis van de identificatie door het systeem, tenzij deze door ten minste twee natuurlijke personen met de noodzakelijke competenties, opleiding en autoriteit zijn geverifieerd en bevestigd.

Artikel 15: Nauwkeurigheid, robuustheid en cyberbeveiliging

1. AI-systemen met een hoog risico worden ontworpen en ontwikkeld op basis van het beginsel van beveiliging door ontwerp en door standaardinstellingen. Met het oog op hun beoogde doel moeten zij een passend niveau van nauwkeurigheid, robuustheid, veiligheid en cyberbeveiliging bieden, alsook consistente prestaties gedurende de levensduur met betrekking tot deze aspecten. De naleving van deze vereisten moet verbonden zijn met de uitvoering van maatregelen die in overeenstemming zijn met de stand van de techniek in het specifieke marktsegment of toepassingsgebied.

1 bis. Ter verduidelijking van de technische aspecten van de meting van het passende niveau van nauwkeurigheid en robuustheid als voorzien in lid 1 van dit artikel brengt het Europees Comité voor artificiële intelligentie nationale en internationale metrologie- en benchmarkingautoriteiten bij elkaar en verstrekt niet-bindende richtsnoeren hierover, zoals voorzien in artikel 56, lid 2, punt a).

1 ter. Bij het aanpakken van opkomende kwesties in de gehele interne markt met betrekking tot cyberbeveiliging wordt het Agentschap van de Europese Unie voor cyberbeveiliging (Enisa) betrokken, samen met het Europees Comité voor artificiële intelligentie, zoals voorzien in artikel 56, lid 2, punt b).

2. De niveaus van nauwkeurigheid en de relevante maatstaven voor de nauwkeurigheid van AI-systemen met een hoog risico worden vermeld in de bijbehorende gebruiksaanwijzingen. De gebruikte formulering moet duidelijk zijn, geen misleidende opmerkingen bevatten of ruimte bieden voor misverstanden.

3. Er worden technische en organisatorische maatregelen genomen om ervoor te zorgen dat AI-systemen met een hoog risico zo goed mogelijk bestand zijn tegen fouten en onregelmatigheden die zich binnen het systeem of de omgeving waarin het systeem wordt gebruikt, kunnen voordoen, met name als gevolg van de interactie ervan met natuurlijke personen of andere systemen.

De robuustheid van AI-systemen met een hoog risico kan waar nodigdoor de desbetreffende aanbieder met input van de gebruiker worden gerealiseerd door middel van technische oplossingen voor redundantie, die plannen voor de back-up of de veiligheid bij defecten kunnen omvatten.

AI-systemen met een hoog risico die blijven leren nadat ze in de handel worden gebracht of in gebruik worden gesteld, worden op zodanige wijze ontwikkeld dat wordt gewaarborgd dat mogelijk vertekende outputs die van invloed zijn op de input voor toekomstige operaties (zogenaamde “terugkoppelingen”) en de kwaadwillige manipulatie van inputs die gebruikt zijn in het leerproces tijdens de werking van het systeem naar behoren worden aangepakt aan de hand van passende beperkende maatregelen.

4. AI-systemen met een hoog risico zijn bestand tegen pogingen van ongeautoriseerde derden om het gebruik, de werking, de outputs of de prestaties ervan te wijzigen door gebruik te maken van de kwetsbaarheden van het systeem.

De technische oplossingen die gericht zijn op het waarborgen van de cyberbeveiliging van AI-systemen sluiten aan op de relevante omstandigheden en risico’s.

De technische oplossingen voor het aanpakken van AI-specifieke kwetsbaarheden omvatten, waar passend, maatregelen voor het voorkomen, traceren, reageren op, oplossen en beheersen van aanvallen waarmee een poging wordt gedaan tot het manipuleren van de datareeks voor de training (de zogenaamde “datavervuiling”), van vooraf getrainde componenten die in de training zijn gebruikt (de zogenaamde “modelvervuiling”), van input die is gecreëerd om fouten van het model te veroorzaken (zogenaamde “vijandige voorbeelden” of “modelontwijking”), van aanvallen om vertrouwelijke gegevens te bemachtigen of van tekortkomingen van het model, die kunnen leiden tot schadelijke besluitvorming.

Hoofdstuk 3: VERPLICHTINGEN VAN AANBIEDERS EN EXPLOITANTEN VAN AI-SYSTEMEN MET EEN HOOG RISICO EN ANDERE PARTIJEN

Artikel 16: Verplichtingen van aanbieders en exploitanten van AI-systemen met een hoog risico en andere partijen

Aanbieders van AI-systemen met een hoog risico:

(a) zorgen ervoor dat hun AI-systemen met een hoog risico in overeenstemming zijn met de voorschriften van hoofdstuk 2 van deze titel alvorens deze in de handel te brengen of in gebruik te stellen;

(a bis) vermelden hun naam, geregistreerde handelsnaam of geregistreerde merknaam en hun adres en contactgegevens op het AI-systeem met een hoog risico, of wanneer dit niet mogelijk is, op de bij het product gevoegde documentatie, naargelang van het geval;

(a ter) zorgen ervoor dat natuurlijke personen die met het menselijk toezicht op AI-systemen met een hoog risico zijn belast specifiek bewust worden gemaakt van het risico van vooringenomenheid in geautomatiseerde processen (automation bias) en bevestigingsvooroordelen (confirmation bias);

(a quater) verstrekken specificaties voor de inputdata of eventuele andere relevante informatie met betrekking tot de gebruikte datareeksen, waaronder hun beperkingen en veronderstellingen, rekening houdend met het beoogde doel en, het te voorziene en redelijkerwijs te voorziene misbruik van het AI-systeem;

(b) beschikken over een systeem voor kwaliteitsbeheer dat in overeenstemming is met artikel 17;

(c) stellen de in artikel 11 bedoelde technische documentatie van het AI-systeem met een hoog risico op en actualiseren deze documentatie;

(d) bewaren de logs, wanneer zij hierover de controle hebben, die automatisch door hun AI-systemen met een hoog risico zijn gegenereerd en die noodzakelijk zijn voor het waarborgen en aantonen van de naleving van deze verordening, overeenkomstig artikel 20;

(e) zorgen ervoor dat voor het AI-systeem met een hoog risico de relevante conformiteitsbeoordelingsprocedure wordt uitgevoerd voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld, in overeenstemming met artikel 43;

(e bis) stellen een EU-conformiteitsverklaring op, in overeenstemming met artikel 48;

(e ter) brengen de CE-markering aan op het AI-systeem met een hoog risico om aan te geven dat dit in overeenstemming is met deze verordening, conform artikel 49;

(f) leven de registratieverplichtingen als bedoeld in artikel 51 na;

(g) nemen de noodzakelijke corrigerende maatregelen als bedoeld in artikel 21 en verstrekken informatie in verband daarmee;

(h) verwijderd

(i) verwijderd

(j) verwijderd

(j bis) zorgen ervoor dat het AI-systeem met een hoog risico voldoet aan de toegankelijkheidsvoorschriften.

Artikel 17: Systeem voor kwaliteitsbeheer

1. Aanbieders van AI-systemen met een hoog risico beschikken over een systeem voor kwaliteitsbeheer dat de naleving van deze verordening waarborgt. Dit systeem wordt op systematische en ordelijke wijze gedocumenteerd in de vorm van schriftelijk beleidslijnen, procedures of instructies en kan worden opgenomen in een bestaand systeem voor kwaliteitsbeheer krachtens de passende sectorale wetgeving van de Unie. Het systeem omvat ten minste de volgende aspecten:

(a) verwijderd

(b) technieken, procedures en systematische maatregelen die moeten worden toegepast voor het ontwerp, de controle van het ontwerp en de verificatie van het ontwerp van het AI-systeem met een hoog risico;

(c) technieken, procedures en systematische maatregelen die moeten worden toegepast voor de ontwikkeling, de kwaliteitscontrole en de kwaliteitsborging van het AI-systeem met een hoog risico;

(d) procedures voor het inspecteren, testen en valideren die vóór, tijdens en na de ontwikkeling van het AI-systeem met een hoog risico moeten worden uitgevoerd en de regelmaat waarmee zij moeten worden uitgevoerd;

(e) technische specificaties, met inbegrip van normen, die moeten worden toegepast en, wanneer de relevante geharmoniseerde normen niet volledig worden toegepast of geen betrekking hebben op alle relevante voorschriften, de middelen die worden gebruikt om ervoor te zorgen dat het AI-systeem met een hoog risico in overeenstemming is met de voorschriften van hoofdstuk 2 van deze titel;

(f) systemen en procedures voor databeheer, met inbegrip van dataverwerving, -verzameling, -analyse, -etikettering, -opslag, -zuivering, -aggregatie en -behoud en datamining en eventuele andere operaties met betrekking tot de data die worden uitgevoerd voorafgaand aan en met het oog op het in de handel brengen of in gebruik stellen van AI-systemen met een hoog risico;

(g) het systeem voor risicobeheer zoals bedoeld in artikel 9;

(h) het opzetten, toepassen en onderhouden van een systeem voor monitoring na het in de handel brengen, overeenkomstig artikel 61;

(i) procedures in verband met het melden van ernstige incidenten en van gebrekkig functioneren in overeenstemming met artikel 62;

(j) de communicatie met de relevante bevoegde autoriteiten, met inbegrip van sectorale autoriteiten;

(k) systemen en procedures voor de registratie van alle relevante documentatie en informatie;

(l) het beheer van hulpmiddelen, met inbegrip van maatregelen in verband met de voorzieningszekerheid;

(m) een kader voor de verantwoording, waarin de verantwoordelijkheden van het management en ander personeel uiteen worden gezet met betrekking tot alle aspecten van dit lid.

2. De uitvoering van de in lid 1 bedoelde aspecten is evenredig aan de omvang van de organisatie van de aanbieder. Aanbieders eerbiedigen hoe dan ook de striktheid en het beschermingsniveau die nodig zijn om te garanderen dat hun AI-systemen aan deze verordening voldoen.

3. Voor aanbieders die onder Richtlijn 2013/36/EU vallende kredietinstellingen zijn wordt de verplichting om te voorzien in een systeem voor kwaliteitsbeheer geacht te zijn nagekomen wanneer zij de regels inzake regelingen, processen en mechanismen voor interne governance naleven overeenkomstig artikel 74 van die richtlijn. In dit verband wordt rekening gehouden met eventuele geharmoniseerde normen als bedoeld in artikel 40 van deze verordening.

Artikel 18: verwijderd

Artikel 19: verwijderd

Artikel 20: Automatisch gegenereerde logs

1. Aanbieders van AI-systemen met een hoog risico bewaren de logs die automatisch worden gegenereerd door hun AI-systemen met een hoog risico, voor zover dergelijke logs onder hun controle vallen. Onverminderd het toepasselijke Unie- of nationale recht worden de logs gedurende ten minste zes maanden bewaard. De bewaartermijn is in overeenstemming met de normen in de sector en is passend voor het beoogde doel van het AI-systeem met een hoog risico.

2. Aanbieders die onder Richtlijn 2013/36/EU vallende kredietinstellingen zijn, bewaren de logs die automatisch door hun AI-systemen met een hoog risico worden gegenereerd als onderdeel van de documentatie in het kader van artikel 74 van die richtlijn.

Artikel 21: Corrigerende maatregelen

1. Aanbieders van AI-systemen met een hoog risico die van mening zijn of redenen hebben om aan te nemen dat een door hen in de handel gebracht of in gebruik gesteld AI-systeem met een hoog risico niet in overeenstemming is met deze verordening, nemen onmiddellijk de nodige corrigerende maatregelen om dat systeem naargelang het geval in overeenstemming te brengen, uit de handel te nemen, te deactiveren of terug te roepen.

2. In de in het eerste lid bedoelde gevallen brengen aanbieders onmiddellijk de volgende personen en instanties op de hoogte:

a) de distributeurs;

b) de importeurs;

c) de nationale bevoegde autoriteiten van de lidstaten waar zij het AI-systeem beschikbaar hebben gesteld of in gebruik hebben gesteld; alsmede

d) indien mogelijk, de exploitant.

De aanbieders informeren ook de gemachtigde, indien er overeenkomstig artikel 25 een gemachtigde is aangewezen, en de aangemelde instantie indien het AI-systeem met een hoog risico overeenkomstig artikel 43 aan een conformiteitsbeoordeling door een derde instantie moest worden onderworpen. Waar toepasselijk buigen zij zich in samenwerking met de exploitant ook over de oorzaken.

Artikel 22: Mededelingsverplichting

1. Wanneer het AI-systeem met een hoog risico een risico vormt in de zin van artikel 65, lid 1, en de aanbieder van dat systeem zich bewust wordt van dat risico, informeert deze aanbieder onmiddellijk de nationale toezichthoudende autoriteiten van de lidstaten waarin hij het systeem beschikbaar heeft gemaakt en, waar van toepassing, de aangemelde instantie die een certificaat voor het AI-systeem met een hoog risico heeft afgegeven, met name over de aard van de non-conformiteit en over eventuele relevante getroffen corrigerende maatregelen.

1 bis. In de in het eerste lid bedoelde gevallen brengen de aanbieders van het Ai-systeem met een hoog risico onmiddellijk de volgende personen en instanties op de hoogte:

a) de distributeurs;

b) de importeurs;

c) de nationale bevoegde autoriteiten van de lidstaten waar zij het AI-systeem beschikbaar hebben gesteld of in gebruik hebben gesteld; alsmede

d) indien mogelijk, de exploitanten. 

1 ter. De aanbieders stellen ook de gemachtigde in kennis, indien er overeenkomstig artikel 25 een gemachtigde is aangewezen.

Artikel 23: Samenwerking met bevoegde autoriteiten, het AI-bureau en de Commissie

1. Aanbieders en, in voorkomend geval, exploitanten van AI-systemen met een hoog risico voorzien nationale bevoegde autoriteiten die hierom een met redenen omkleed verzoek doen, of, in voorkomend geval, het AI-bureau of de Commissie, van alle informatie en documentatie die noodzakelijk is om de overeenstemming van het AI-systemen met een hoog risico met de voorschriften van hoofdstuk 2 van deze titel aan te tonen, in een officiële taal van de Unie die door de betrokken lidstaat wordt bepaald.

1 bis. Op met redenen omkleed verzoek van een nationale bevoegde autoriteit of, in voorkomend geval, van de Commissie, verlenen aanbieders en, in voorkomend geval, exploitanten de verzoekende nationale bevoegde autoriteit of de Commissie, zoals van toepassing, ook toegang tot de logs die automatisch zijn gegenereerd door hun AI-systeem met een hoog risico voor zover dergelijke logs onder hun controle vallen.

1 ter. De door een nationale bevoegde instantie of door de Commissie volgens de bepalingen van dit artikel verkregen informatie en documentatie worden beschouwd als een bedrijfsgeheim en worden verwerkt overeenkomstig de in artikel 70 vastgestelde geheimhoudingsverplichtingen.

Artikel 24: Verplichtingen van fabrikanten van producten

Wanneer een AI-systeem met een hoog risico dat verband houdt met producten waarop de in bijlage II, afdeling A, opgenomen rechtshandelingen van toepassing zijn, samen met het overeenkomstig deze rechtshandelingen vervaardigde product en onder de naam van de fabrikant van het product in de handel wordt gebracht of in gebruik wordt gesteld, neemt de fabrikant van het product de verantwoordelijkheid voor de overeenstemming van het AI-systeem met deze verordening en heeft hij, wat het AI-systeem betreft, dezelfde verplichtingen als deze welke bij de onderhavige verordening aan de aanbieder zijn opgelegd.

Artikel 25: Gemachtigden

1. Aanbieders die buiten de Unie zijn gevestigd, wijzen voordat zij hun systemen beschikbaar maken in de Unie, per schriftelijke machtiging een gemachtigde aan die is gevestigd in de Unie.

1 bis. De gemachtigde is woonachtig of gevestigd in een van de lidstaten waar de activiteiten krachtens artikel 2, lid 1 c ter, plaatsvinden.

1 ter. De aanbieder verschaft zijn gemachtigde de noodzakelijke bevoegdheden en middelen om zich van zijn taken in het kader van deze verordening te kwijten.

2. De gemachtigde voert de taken uit die gespecificeerd zijn in het mandaat dat hij van de aanbieder heeft ontvangen. Hij legt op verzoek een kopie van het mandaat over aan de markttoezichtautoriteiten, in een door de nationale bevoegde autoriteit gekozen officiële taal van de instellingen van de Unie. Voor de toepassing van deze verordening geeft het mandaat de gemachtigde de bevoegdheid om de volgende taken te verrichten:

(a) waarborgen dat de EU-conformiteitsverklaring en de technische documentatie zijn opgesteld en door de aanbieder een passende conformiteitsbeoordelingsprocedure is gevolgd;

(a bis) een kopie van de EU-conformiteitsverklaring, de technische documentatie en, indien van toepassing, het door de aangemelde instantie afgegeven certificaat, ter beschikking houden van de nationale bevoegde autoriteiten en nationale autoriteiten als bedoeld in artikel 63, lid 7;

(b) een nationale bevoegde autoriteit op met redenen omkleed verzoek alle informatie en documentatie verstrekken die noodzakelijk is om de overeenstemming van een AI-systeem met een hoog risico met de voorschriften van hoofdstuk 2 van deze titel aan te tonen, met inbegrip van de logs die automatisch zijn gegenereerd door het AI-systeem met een hoog risico voor zover dergelijke logs onder de controle van de aanbieder vallen;

(c) op met redenen omkleed verzoek samenwerken met nationale toezichthoudende autoriteiten met betrekking tot een maatregel die door deze autoriteiten wordt getroffen om de risico’s van het AI-systeem met een hoog risico te verminderen en te beperken;

(c bis) waar toepasselijk, voldoen aan de in artikel 51 bedoelde registratieverplichtingen of, indien de registratie door de aanbieder zelf wordt uitgevoerd, waarborgen dat de in bijlage VIII, punt 3, bedoelde informatie juist is.

2 bis. De gemachtigde wordt aangesteld als aanspreekpunt, naast of in plaats van de aanbieder, voor met name de nationale toezichthoudende autoriteit of de nationale bevoegde autoriteiten, met betrekking tot alle vraagstukken die verband houden met het waarborgen van de naleving van deze verordening.

2 ter. De gemachtigde beëindigt het mandaat indien hij van mening is of redenen heeft om aan te nemen dat de aanbieder in strijd met zijn verplichtingen uit hoofde van deze verordening handelt. In dat geval stelt hij ook de nationale toezichthoudende instantie van de lidstaat waar hij is gevestigd en, in voorkomend geval, de betrokken aangemelde instantie, onmiddellijk in kennis van de beëindiging van het mandaat en de redenen daarvoor.

Artikel 26: Verplichtingen van importeurs

1. Voordat een AI-systeem met een hoog risico in de handel wordt gebracht, zorgen de importeurs van een dergelijk systeem dat een dergelijk systeem in overeenstemming is met deze verordening door te waarborgen dat:

(a) de relevante conformiteitsbeoordelingsprocedure als bedoeld in artikel 43 is uitgevoerd door de aanbieder van dat AI-systeem;

(b) de aanbieder de technische documentatie heeft opgesteld in overeenstemming met artikel 11 en bijlage IV;

(c) de vereiste conformiteitsmarkering op het systeem is aangebracht en het systeem vergezeld gaat van de vereiste documentatie en gebruiksaanwijzingen.

(c bis) de aanbieder, waar gepast, een gemachtigde heeft aangewezen, in overeenstemming met artikel 25, lid 1.

2. Wanneer een importeur van mening is of redenen heeft om aan te nemen dat een AI-systeem met een hoog risico niet in overeenstemming is met deze verordening, is vervalst of wordt vergezeld van vervalste documenten, brengt hij dat systeem niet in de handel voordat het in overeenstemming is gebracht. Wanneer het AI-systeem met een hoog risico een risico vormt in de zin van artikel 65, lid 1, stelt de importeur de aanbieder van het AI-systeem en de markttoezichtautoriteiten hiervan in kennis.

3. Importeurs vermelden hun naam, geregistreerde handelsnaam of geregistreerde merknaam en hun contactadres op het AI-systeem met een hoog risico en op de verpakking of in de bij het product gevoegde documentatie, wanneer van toepassing.

4. Importeurs zorgen gedurende de periode dat zij voor een AI-systeem met een hoog risico verantwoordelijk zijn, indien van toepassing, voor opslag- en vervoersomstandigheden die de overeenstemming van het systeem met de voorschriften van hoofdstuk 2 van deze titel niet in het gedrang brengen.

5. Importeurs voorzien nationale bevoegde autoriteiten op met redenen omkleed verzoek van alle informatie en documentatie die noodzakelijk is om de overeenstemming van een AI-systeem met een hoog risico met de voorschriften van hoofdstuk 2 van deze titel aan te tonen, in een taal die deze autoriteiten eenvoudig kunnen begrijpen, met inbegrip van de logs die automatisch zijn gegenereerd door het AI-systeem met een hoog risico, voor zover dergelijke logs onder de controle van de aanbieder vallen, overeenkomstig artikel 20.

5 bis. Importeurs werken samen met de nationale bevoegde autoriteiten bij alle maatregelen die deze autoriteiten treffen om de risico’s van het AI-systeem met een hoog risico te verminderen en te beperken.

Artikel 27: Verplichtingen van distributeurs

1. Voordat zij een AI-systeem met een hoog risico in de handel brengen, controleren distributeurs of op het AI-systeem met een hoog risico de vereiste CE-conformiteitsmarkering is aangebracht, of het systeem vergezeld gaat van de vereiste documentatie en gebruiksinstructies en of de aanbieder en importeur van het systeem, als van toepassing, hun verplichtingen uit hoofde van artikel 16 respectievelijk artikel 26 van deze verordening hebben nageleefd.

2. Wanneer een distributeur van mening is of redenen heeft om, op grond van de informatie waarover hij beschikt, aan te nemen dat een AI-systeem met een hoog risico niet in overeenstemming is met de voorschriften van hoofdstuk 2 van deze titel, brengt hij het AI-systeem met een hoog risico niet in de handel voordat het in overeenstemming is gebracht met deze voorschriften. Daarnaast stelt de distributeur, wanneer het systeem een risico vormt in de zin van artikel 65, lid 1, de aanbieder of de importeur van het AI-systeem en de relevante nationale bevoegde autoriteit, als van toepassing, hiervan in kennis.

3. Distributeurs zorgen gedurende de periode waarin zij voor een AI-systeem met een hoog risico verantwoordelijk zijn, indien van toepassing, voor opslag- en vervoersomstandigheden die de overeenstemming van het systeem met de voorschriften van hoofdstuk 2 van deze titel niet in het gedrang brengen.

4. Een distributeur die van mening is of redenen heeft om, op grond van de informatie waarover hij beschikt, aan te nemen dat een AI-systeem met een hoog risico dat hij in de handel heeft gebracht, niet in overeenstemming is met de voorschriften van hoofdstuk 2 van deze titel, neemt de noodzakelijke corrigerende maatregelen om dat systeem in overeenstemming te brengen met deze voorschriften, uit de handel te nemen of terug te roepen of zorgt ervoor dat de aanbieder, de importeur of een eventuele betrokken operator, waar passend, dergelijke corrigerende maatregelen treft. Indien het AI-systeem met een hoog risico een risico vormt in de zin van artikel 65, lid 1, stelt de distributeur de aanbieder of importeur van het systeem en de nationale bevoegde autoriteiten van de lidstaten waarin hij het product beschikbaar heeft gemaakt hiervan onmiddellijk in kennis, waarbij hij in het bijzonder de non-conformiteit en de eventueel getroffen corrigerende maatregelen uitvoerig beschrijft.

5. Distributeurs van het AI-systeem met een hoog risico voorzien nationale bevoegde autoriteiten op met redenen omkleed verzoek van alle informatie en documentatie die zij in hun bezit hebben of waarover zij kunnen beschikken, overeenkomstig de verplichtingen van distributeurs als beschreven in lid 1, en die noodzakelijk is om de overeenstemming van een systeem met een hoog risico met de voorschriften van hoofdstuk 2 van deze titel aan te tonen.

5 bis. Distributeurs werken samen met de nationale bevoegde autoriteiten bij alle maatregelen die deze autoriteiten treffen om de risico’s van het AI-systeem met een hoog risico te verminderen en te beperken.

Artikel 28: Verantwoordelijkheden in de AI-waardeketen van aanbieders, distributeurs, importeurs, exploitanten en eventuele derden

1. In de volgende omstandigheden wordt een distributeur, importeur, exploitant of derde voor de toepassing van deze verordening beschouwd als een aanbieder van een AI-systeem met een hoog risico en is hij onderworpen aan de verplichtingen van de aanbieder uit hoofde van artikel 16:

(a) hij brengt zijn naam of merknaam aan op een reeds in de handel gebracht of in gebruik gesteld AI-systeem met een hoog risico; 

(b) hij brengt een ingrijpende wijziging aan in een AI-systeem met een hoog risico dat reeds in de handel is gebracht of reeds in gebruik is genomen op zodanige wijze dat het systeem een AI-systeem met een hoog risico blijft overeenkomstig artikel 6; of

(b bis) hij brengt een ingrijpende wijziging aan in een AI-systeem, met inbegrip van een AI-systeem voor algemene doeleinden, dat niet als een systeem met een hoog risico is geclassificeerd en reeds in de handel is gebracht of in gebruik is genomen, op zodanige wijze dat het AI-systeem een AI-systeem met een hoog risico overeenkomstig artikel 6 wordt;

(c) hij brengt een ingrijpende wijziging aan in het AI-systeem met een hoog risico.

2. Wanneer sprake is van de in lid 1, punt a) tot b bis), bedoelde omstandigheden, wordt de aanbieder die het AI-systeem voor het eerst in de handel heeft gebracht of in gebruik heeft gesteld, niet langer beschouwd als aanbieder van dat specifieke AI-systeem voor de toepassing van deze verordening. Deze voormalige aanbieder verstrekt de nieuwe aanbieder alle technische documentatie en alle andere relevante en redelijkerwijs te verwachten informatie over de capaciteiten van het AI-systeem, technische toegang of andere bijstand op basis van de algemeen erkende stand van de techniek, die nodig zijn voor de nakoming van de in deze verordening vastgestelde verplichtingen.

Dit lid is ook van toepassing op aanbieders van basismodellen zoals gedefinieerd in artikel 3 wanneer dit model rechtstreeks is opgenomen in een AI-systeem met een hoog risico.

2 bis. De aanbieder van een AI-systeem met een hoog risico en de derde partij die instrumenten, diensten, onderdelen of processen levert die worden gebruikt of geïntegreerd in het AI-systeem met een hoog risico, preciseren in een schriftelijke overeenkomst de informatie, capaciteiten, technische toegang en andere bijstand, op basis van de algemeen erkende stand van de techniek, die de derde partij moet verstrekken om de aanbieder van het AI-systeem met een hoog risico in staat te stellen volledig te voldoen aan de verplichtingen uit hoofde van deze verordening.

De Commissie ontwikkelt en doet aanbevelingen voor niet-bindende modelcontractvoorwaarden tussen aanbieders van AI-systemen met een hoog risico en derden die instrumenten, diensten, onderdelen of processen leveren die worden gebruikt of geïntegreerd in AI-systemen met een hoog risico, teneinde beide partijen te helpen bij het opstellen van en onderhandelen over contracten met evenwichtige contractuele rechten en verplichtingen, in overeenstemming met het controleniveau van elke partij. Bij de ontwikkeling van niet-bindende modelcontractvoorwaarden houdt de Commissie rekening met de contractuele vereisten die kunnen gelden in specifieke sectoren of businesscases. De niet-bindende contractvoorwaarden worden gepubliceerd en kosteloos beschikbaar gesteld in een gemakkelijk bruikbaar elektronisch formaat op de website van het AI-bureau.

2 ter. Voor de toepassing van dit artikel worden bedrijfsgeheimen bewaard en alleen bekendgemaakt op voorwaarde dat vooraf alle specifieke noodzakelijke maatregelen overeenkomstig Richtlijn (EU) 2016/943 worden genomen om de vertrouwelijkheid ervan te waarborgen, met name ten aanzien van derden. Indien nodig kunnen aangepaste technische en organisatorische regelingen voor de bescherming van intellectuele-eigendomsrechten of bedrijfsgeheimen worden vastgelegd.

Artikel 28 bis: Oneerlijke contractvoorwaarden die eenzijdig worden opgelegd aan een kmo of start-up

1. Een contractvoorwaarde betreffende de levering van instrumenten, diensten, onderdelen of processen die worden gebruikt of geïntegreerd in een AI-systeem met een hoog risico, of betreffende de rechtsmiddelen voor inbreuken op of beëindiging van gerelateerde verplichtingen, die eenzijdig door een onderneming aan een kmo of start-up is opgelegd en oneerlijk is, is niet bindend voor deze kmo of start-up.

2. Een contractvoorwaarde wordt niet als oneerlijk beschouwd wanneer zij voortvloeit uit het toepasselijke Unierecht.

3. Een contractvoorwaarde is oneerlijk wanneer zij van zodanige aard is dat ze objectief afbreuk doet aan het vermogen van de partij aan wie de voorwaarde eenzijdig is opgelegd, om haar rechtmatige commerciële belang bij de informatie in kwestie te beschermen, of indien het gebruik ervan sterk afwijkt van de goede handelspraktijken bij de levering van instrumenten, diensten, onderdelen of processen die worden gebruikt of geïntegreerd in een AI-systeem met een hoog risico, in strijd is met de beginselen van goede trouw en eerlijke behandeling, of tot een aanzienlijke verstoring leidt van het evenwicht tussen de rechten en verplichtingen van de contractpartijen. Een contractvoorwaarde is ook oneerlijk indien zij tot gevolg heeft dat de in artikel 71 bedoelde boetes of de daarmee gepaard gaande proceskosten worden verschoven tussen de contractpartijen, als bedoeld in artikel 71, lid 8.

4. Een contractvoorwaarde is oneerlijk in de zin van dit artikel indien zij het volgende tot doel of gevolg heeft:

a) de partij die de voorwaarde eenzijdig heeft opgelegd, draagt geen of beperkte aansprakelijkheid voor opzettelijke handelingen of grove nalatigheid;

b) de partij aan wie de voorwaarde eenzijdig is opgelegd, wordt uitgesloten van de rechtsmiddelen waarover deze beschikt in geval van niet-nakoming van contractuele verplichtingen, of de partij die de voorwaarde eenzijdig heeft opgelegd, draagt geen aansprakelijkheid in geval van niet-nakoming van die verplichtingen;

c) de partij die de voorwaarde eenzijdig heeft opgelegd beschikt over het exclusieve recht om te bepalen of de verstrekte technische documentatie en andere informatie in overeenstemming zijn met de overeenkomst of om een bepaling van de overeenkomst uit te leggen.

5. Een contractvoorwaarde wordt geacht eenzijdig te zijn opgelegd in de zin van dit artikel indien zij door een van de contractpartijen is gesteld en de andere partij ondanks een poging tot onderhandeling geen invloed op de inhoud ervan heeft kunnen uitoefenen. De contractpartij die een contractvoorwaarde heeft gesteld, moet bewijzen dat deze voorwaarde niet eenzijdig is opgelegd.

6. Wanneer de oneerlijke contractvoorwaarde kan worden gescheiden van de overige bepalingen van het contract, blijven die resterende bepalingen bindend. De partij die de betwiste voorwaarde in het contract heeft laten opnemen, kan zich er niet op beroepen dat de voorwaarde oneerlijk is.

7. Dit artikel is van toepassing op alle nieuwe contracten die van kracht worden na ... [datum van inwerkingtreding van deze verordening]. Ondernemingen onderwerpen de bestaande contractvoorwaarden die onder het toepassingsgebied van deze verordening vallen uiterlijk op ... [drie jaar na de datum van inwerkingtreding van deze verordening] aan een herziening.

8. Gezien de snelheid waarmee innovaties op de markt komen, herziet de Commissie de lijst van oneerlijke contractvoorwaarden van artikel 28 bis regelmatig en past zij deze waar nodig aan nieuwe handelspraktijken aan.

Artikel 28 ter: Verplichtingen van de aanbieder van een basismodel

1. Alvorens een basismodel op de markt aan te bieden of in gebruik te nemen, zorgt de aanbieder van zulk een model ervoor dat het in overeenstemming is met de vereisten van dit artikel, ongeacht of het als een op zichzelf staand model wordt geleverd, is ingebed in een AI-systeem of -product, of wordt aangeboden als dienst in het kader van vrije en open bronlicenties of via andere distributiekanalen.

2. Voor de toepassing van lid 1 van dit artikel doet de aanbieder van een basismodel het volgende:

a) hij toont aan, door middel van passend ontwerp en passende tests en analyses, dat redelijkerwijs voorzienbare risico’s voor het milieu, de gezondheid, veiligheid, grondrechten, democratie en rechtsstaat vóór en tijdens de ontwikkeling van het model aan de hand van passende methoden, onder meer met medewerking van onafhankelijke deskundigen, worden geïdentificeerd, verminderd en beperkt, en dat de resterende, niet-limiteerbare risico’s na de ontwikkeling ervan worden gedocumenteerd;

b) hij verwerkt en integreert alleen datareeksen die onderworpen zijn aan aangepaste maatregelen inzake databeheer voor basismodellen, met name maatregelen betreffende het onderzoeken van de geschiktheid van de gegevensbronnen, eventuele vertekeningen en gepaste risicobeperking;

c) hij ontwerpt en ontwikkelt het basismodel zodanig dat het gedurende zijn hele levenscyclus een gepast prestatieniveau en een gepast niveau van voorspelbaarheid, interpreteerbaarheid, corrigeerbaarheid, veiligheid en cyberveiligheid behoudt, en beoordeelt dit aan de hand van passende methoden zoals evaluaties met betrokkenheid van onafhankelijke deskundigen, gedocumenteerde analysen en uitgebreide tests tijdens de conceptualisering, het ontwerp en de ontwikkeling van het model;

d) hij maakt bij het ontwerpen en ontwikkelen van het basismodel gebruik van de geldende normen ter vermindering van energieverbruik, gebruik van hulpbronnen en afval en ter vergroting van de energie-efficiëntie en de algehele efficiëntie van het model, zonder hierbij afbreuk te doen aan het relevante bestaande Unie- en nationale recht. Deze verplichting geldt niet voordat de in artikel 40 bedoelde normen zijn bekendgemaakt. Basismodellen worden ontworpen met mogelijkheden om het verbruik van energie en hulpbronnen en, voor zover dat technisch haalbaar is, andere mogelijke milieueffecten van de uitrol en het gebruik van de modellen gedurende hun hele levensduur te meten en te registreren;

e) hij stelt uitgebreide technische documentatie en begrijpelijke gebruiksinstructies op om aanbieders downstream in staat te stellen hun verplichtingen uit hoofde van de artikelen 16 en 28, lid 1, na te komen;

f) hij zet een kwaliteitsbeheersysteem op om de naleving van dit artikel te waarborgen en te documenteren, waarbij het mogelijk is te experimenteren om aan deze vereiste te voldoen;

g) hij registreert het basismodel in de in artikel 60 bedoelde EU-databank, overeenkomstig de instructies in bijlage VIII, punt C.

Bij het voldoen aan deze vereisten houdt de aanbieder rekening met de algemeen erkende stand van de techniek, met de weerspiegeling hiervan in relevante geharmoniseerde normen of gemeenschappelijke specificaties en met de recentste evaluatie- en meetmethoden, met name de in artikel 58 bis bedoelde richtsnoeren en capaciteiten voor benchmarking.

3. Aanbieder van basismodellen houden gedurende een periode van tien jaar nadat hun model in de handel is gebracht of in bedrijf is gesteld, de in lid 2, punt e), bedoelde technische documentatie ter beschikking van de nationale bevoegde autoriteiten.

4. Aanbieders van basismodellen die worden gebruikt in AI-systemen waarvan het doel er specifiek in bestaat om met uiteenlopende mate van autonomie inhoud te genereren, zoals complexe tekst, afbeeldingen, audio- of videomateriaal (“generatieve AI”), en aanbieders die een basismodel aanpassen om het op te nemen in een generatief AI-systeem, moeten bovendien:

a) voldoen aan de transparantieverplichtingen van artikel 52, lid 1;

b) het basismodel op zodanige wijze trainen en eventueel ontwerpen en ontwikkelen dat er passende waarborgen worden geboden tegen het genereren van inhoud die in strijd is met het Unierecht, in overeenstemming met de algemeen erkende stand van de techniek en onverminderd de grondrechten en de vrijheid van meningsuiting;

c) een voldoende gedetailleerde samenvatting opstellen en publiek toegankelijk maken van het gebruik van trainingsdata die beschermd zijn uit hoofde van het auteursrecht, onverminderd de wetgeving van de Unie en de lidstaten inzake auteursrechten. 

Artikel 29: Verplichtingen van gebruikers van AI-systemen met een hoog risico

1. Exploitanten van AI-systemen met een hoog risico nemen passende technische en organisatorische maatregelen om te waarborgen dat zij dergelijke systemen gebruiken in overeenstemming met de gebruiksaanwijzingen die bij de systemen zijn gevoegd, in overeenstemming met de leden 2 en 5 van dit artikel.

1 bis. Voor zover exploitanten controle uitoefenen over het AI-systeem met een hoog risico:

i) oefenen zij menselijk toezicht uit overeenkomstig de vereisten van deze verordening

ii) zorgen zij ervoor dat de natuurlijke personen die belast zijn met het menselijk toezicht op de AI met een hoog risico bekwaam, naar behoren gekwalificeerd en opgeleid zijn en over de nodige middelen beschikken om een effectief toezicht op het AI-systeem overeenkomstig artikel 14 te waarborgen

iii) zorgen zij ervoor dat de relevante en passende maatregelen inzake robuustheid en cyberbeveiliging regelmatig op doeltreffendheid worden gecontroleerd en regelmatig worden aangepast of geactualiseerd.

2. De verplichtingen van de leden 1 en 1 bis, doen geen afbreuk aan de andere verplichtingen van de exploitant op grond van het Unie- of intern recht en aan de beoordelingsvrijheid van de exploitant bij het organiseren van hun eigen middelen en activiteiten voor de uitvoering van de maatregelen inzake menselijk toezicht zoals aangegeven door de aanbieder.

3. Onverminderd lid 1 en lid 1 bis, zorgt de exploitant, voor zover hij controle heeft over de inputdata, ervoor dat de inputdata relevant en voldoende representatief zijn voor het beoogde doel van het AI-systeem met een hoog risico.

4. Exploitanten monitoren de werking van het AI-systeem met een hoog risico op basis van de gebruiksaanwijzingen en stellen in voorkomend geval de aanbieders in kennis overeenkomstig artikel 61. Wanneer zij redenen hebben om aan te nemen dat het gebruik overeenkomstig de gebruiksaanwijzingen ertoe kan leiden dat het AI-systeem een risico vormt in de zin van artikel 65, lid 1, stellen zij de aanbieder of distributeur en de desbetreffende nationale toezichthoudende autoriteiten hiervan onverwijld in kennis en onderbreken zij het gebruik van het systeem. Zij stellen ook eerst de aanbieder en vervolgens de importeur en de distributeur, alsmede de desbetreffende nationale toezichthoudende autoriteiten, er onmiddellijk van in kennis en onderbreken het gebruik van het AI-systeem wanneer zij een ernstig incident of eventuele gebrekkige werking hebben vastgesteld in de zin van artikel 62. Wanneer de exploitant de aanbieder niet kan bereiken, is artikel 62 mutatis mutandis van toepassing.

Voor exploitanten die onder Richtlijn 2013/36/EU vallende kredietinstellingen zijn wordt de monitoringsverplichting van lid 1 geacht te zijn nagekomen wanneer zij de regels inzake regelingen, processen en mechanismen voor interne governance naleven overeenkomstig artikel 74 van die richtlijn.

5. Exploitanten van AI-systemen met een hoog risico bewaren de logs die automatisch worden gegenereerd door die AI-systemen met een hoog risico voor zover dergelijke logs onder hun controle vallen en nodig zijn voor het waarborgen en aantonen van de naleving van deze verordening, voor audits achteraf van redelijkerwijs te voorziene storingen, incidenten of misbruiken van het systeem, of voor het waarborgen van en het toezicht op de goede werking van het systeem gedurende de gehele levenscyclus ervan. Onverminderd het toepasselijke Unie- of nationale recht worden de logs gedurende ten minste zes maanden bewaard. De bewaartermijn is in overeenstemming met de normen in de sector en is passend voor het beoogde doel van het AI-systeem met een hoog risico.

Exploitanten die onder Richtlijn 2013/36/EU vallende kredietinstellingen zijn, bewaren de logs als onderdeel van de documentatie met betrekking tot de interne governance, regelingen, processen en mechanismen overeenkomstig artikel 74 van die richtlijn.

5 bis. Voordat exploitanten een AI-systeem met een hoog risico op de werkplek in bedrijf stellen of in gebruik nemen, raadplegen zij de werknemersvertegenwoordigers met het oog op het bereiken van een akkoord overeenkomstig Richtlijn 2002/14/EG, en stellen zij de werknemers die aan het systeem onderworpen worden in kennis.

5 ter. Exploitanten van AI-systemen met een hoog risico die overheidsinstanties of instellingen, organen of instanties van de Unie zijn, of ondernemingen zijn als bedoeld in artikel 51, lid 1 bis, punt b), leven de in artikel 51 bedoelde registratieverplichtingen na.

6. In voorkomend geval gebruiken exploitanten van AI-systemen met een hoog risico de informatie die op grond van artikel 13 wordt verstrekt om hun verplichting na te komen om een gegevensbeschermingseffectbeoordeling uit te voeren op grond van artikel 35 van Verordening (EU) 2016/679 of artikel 27 van Richtlijn (EU) 2016/680, waarvan een samenvatting wordt gepubliceerd met betrekking tot het specifieke gebruik en de specifieke context waarin het AI-systeem geacht wordt te functioneren. Exploitanten kunnen voor een deel terugvallen op die gegevensbeschermingseffectbeoordelingen om aan sommige van de in dit artikel vastgestelde verplichtingen te voldoen, voor zover de gegevensbeschermingseffectbeoordeling aan die verplichtingen voldoet.

6 bis. Onverminderd artikel 52 stellen exploitanten van in bijlage III bedoelde AI-systemen met een hoog risico die beslissingen nemen of helpen bij het nemen van beslissingen met betrekking tot natuurlijke personen, de natuurlijke personen ervan in kennis dat het AI-systeem met een hoog risico op hen wordt toegepast. Deze informatie omvat tevens het beoogde doel en het soort besluitvorming waarvoor het wordt gebruikt. De exploitant stelt de natuurlijke persoon ook in kennis van zijn recht op een uitleg als bedoeld in artikel 68 quater.

6 ter. Exploitanten werken samen met de desbetreffende nationale bevoegde autoriteiten bij alle door hen genomen maatregelen met betrekking tot een AI-systeem met een hoog risico met het oog op de tenuitvoerlegging van deze verordening.

Artikel 29 bis: Beoordeling van de gevolgen voor de grondrechten van AI-systemen met een hoog risico

1. Voordat exploitanten een AI-systeem met een hoog risico als gedefinieerd in artikel 6, lid 2, in gebruik stellen, met uitzondering van AI-systemen die bedoeld zijn om te worden gebruikt op gebied 2 van bijlage III, voeren zij een beoordeling uit van de gevolgen van het systeem in de specifieke gebruikscontext. Bij deze beoordeling wordt ten minste gekeken naar de volgende elementen:

a) een duidelijke omschrijving van het beoogde doel waarvoor het systeem gebruikt wordt;

b) een duidelijke omschrijving van het beoogde geografische toepassingsgebied van het gebruik van het systeem en het bijbehorende tijdsbestek;

c) categorieën van natuurlijke personen en groepen die naar verwachting gevolgen zullen ondervinden van het gebruik van het systeem;

d) een verificatie om te bevestigen dat het gebruik van het systeem in overeenstemming is met het Unie- en nationale recht inzake grondrechten;

e) de redelijkerwijs te verwachten gevolgen voor de grondrechten van de ingebruikstelling van het AI-systeem met een hoog risico;

f) specifieke risico’s op schadelijke effecten die het systeem waarschijnlijk met zich meebrengt voor gemarginaliseerde personen of kwetsbare groepen;

g) het in redelijkheid voorzienbare negatieve effect van het gebruik van het systeem op het milieu;

h) een gedetailleerd plan met een uiteenzetting van de wijze waarop de negatieve gevolgen voor de grondrechten zullen worden beperkt.

j) het governancesysteem dat de exploitant zal invoeren, met inbegrip van menselijk toezicht, klachtenafhandeling en verhaal.

2. Als er geen gedetailleerd plan kan worden vastgesteld om de in het kader van de beoordeling overeenkomstig lid 1 omschreven risico’s te beperken, stelt de exploitant het AI-systeem met een hoog risico niet in gebruik en stelt hij de aanbieder en de nationale toezichthoudende autoriteit onverwijld in kennis. De nationale toezichthoudende autoriteiten nemen deze informatie, op grond van de artikelen 65 en 67, in aanmerking bij het onderzoek naar systemen die een risico op nationaal niveau kunnen vormen.

3. De verplichting als neergelegd in lid 1 is van toepassing op het eerste gebruik van een AI-systeem met een hoog risico. De exploitant kan in soortgelijke gevallen gebruikmaken van eerder uitgevoerde effectbeoordelingen op het gebied van de grondrechten of bestaande beoordelingen die door aanbieders zijn uitgevoerd. Indien de exploitant tijdens het gebruik van het AI-systeem met een hoog risico van oordeel is dat niet langer aan de in lid 1 genoemde criteria wordt voldaan, voert hij een nieuwe effectbeoordeling op het gebied van de grondrechten uit.

4. De exploitant, behalve als het gaat om een kmo, stelt de nationale toezichthoudende autoriteiten en de betrokken belanghebbenden in de loop van de effectbeoordeling op de hoogte en betrekt bij een en ander zo veel als mogelijk is de personen of groepen die waarschijnlijk de gevolgen zullen ondervinden van het AI-systeem met een hoog risico, als omschreven in lid 1, onder wie, maar niet beperkt tot: organen voor gelijke behandeling, agentschappen voor consumentenbescherming, sociale partners en gegevensbeschermingsagentschappen, met het oog op het verkrijgen van input voor de effectbeoordeling. De exploitant geeft de agentschappen zes weken de tijd om te reageren. Kmo’s kunnen de bepalingen van dit lid vrijwillig toepassen.

In het in artikel 47, lid 1, bedoelde geval kunnen overheidsinstanties van deze verplichtingen worden vrijgesteld.

5. Indien de exploitant een overheidsinstantie of een onderneming als bedoeld in artikel 51, lid 1bis, punt b), is maakt deze een samenvatting van de resultaten van de effectbeoordeling openbaar als onderdeel van de gebruiksregistratie op grond van de verplichting neergelegd in artikel 51, lid 2.

6. Wanneer de exploitant reeds verplicht is een gegevensbeschermingseffectbeoordeling uit te voeren op grond van artikel 35 van Verordening (EU) 2016/679 of artikel 27 van Richtlijn (EU) 2016/680, wordt de in lid 1 bedoelde effectbeoordeling op het gebied van de grondrechten uitgevoerd in samenhang met de gegevensbeschermingseffectbeoordeling. De gegevensbeschermingseffectbeoordeling wordt als bijlage gepubliceerd. 

Hoofdstuk 4: AANMELDENDE AUTORITEITEN EN AANGEMELDE INSTANTIES

Artikel 30: Aanmeldende autoriteiten

1. Elke lidstaat wijst een aanmeldende autoriteit aan of richt een aanmeldende autoriteit op die verantwoordelijk is voor het opzetten en uitvoeren van de nodige procedures voor de beoordeling, aanwijzing en aanmelding van conformiteitsbeoordelingsinstanties en voor het toezicht erop. Deze procedures worden ontwikkeld in samenwerking tussen de aanmeldende autoriteiten van alle lidstaten.

2. De lidstaten kunnen een nationale accreditatie-instantie als bedoeld in Verordening (EG) nr. 765/2008 als aanmeldende autoriteit aanwijzen.

3. Aanmeldende autoriteiten worden zodanig opgericht en georganiseerd en functioneren zodanig dat zich geen belangenconflicten met conformiteitsbeoordelingsinstanties voordoen en de objectiviteit en onpartijdigheid van hun activiteiten gewaarborgd zijn.

4. Aanmeldende autoriteiten worden zodanig georganiseerd dat besluiten in verband met de aanmelding van conformiteitsbeoordelingsinstanties worden genomen door bekwame personen die niet de beoordeling van die instanties hebben verricht.

5. Aanmeldende autoriteiten bieden of verrichten geen activiteiten die worden uitgevoerd door conformiteitsbeoordelingsinstanties en verlenen geen adviezen op commerciële of concurrentiële basis.

6. Aanmeldende autoriteiten waarborgen dat de verkregen informatie vertrouwelijk wordt behandeld.

7. Aanmeldende autoriteiten beschikken over een voldoende aantal bekwame personeelsleden om hun taken naar behoren uit te voeren. Waar van toepassing beschikt het bevoegde personeel over de nodige deskundigheid, zoals een diploma op een passend juridisch gebied, op het gebied van het toezicht op de in het Handvest van de grondrechten van de Europese Unie verankerde grondrechten.

8. Aanmeldende autoriteiten zorgen ervoor dat conformiteitsbeoordelingen op evenredige wijze en tijdig worden uitgevoerd, waarbij onnodige lasten voor aanbieders worden vermeden, en dat aangemelde instanties bij het verrichten van hun activiteiten naar behoren rekening houden met de omvang van de onderneming, de sector waarin deze actief is, de structuur ervan en de mate van complexiteit van het AI-systeem in kwestie. Er wordt bijzondere aandacht besteed aan het zoveel mogelijk beperken van de administratieve lasten en de nalevingskosten voor micro- en kleine ondernemingen als omschreven in de bijlage bij Aanbeveling 2003/361/EG van de Commissie.

Artikel 31: Verzoek om aanmelding van een conformiteitsbeoordelingsinstantie

1. Conformiteitsbeoordelingsinstanties dienen een verzoek om aanmelding in bij de aanmeldende autoriteit van de lidstaat waar zij zijn gevestigd.

2. Het verzoek om aanmelding gaat vergezeld van een beschrijving van de conformiteitsbeoordelingsactiviteiten, de conformiteitsbeoordelingsmodule(s) en de artificiële-intelligentietechnologieën waarvoor de conformiteitsbeoordelingsinstantie verklaart bekwaam te zijn en, indien dit bestaat, van een accreditatiecertificaat dat is afgegeven door een nationale accreditatie-instantie, waarin wordt verklaard dat de conformiteitsbeoordelingsinstantie voldoet aan de eisen in artikel 33. Geldige documenten met betrekking tot bestaande aanwijzingen van de verzoekende aangemelde instantie uit hoofde van andere harmonisatiewetgeving van de Unie worden bijgevoegd.

3. Wanneer de betrokken conformiteitsbeoordelingsinstantie geen accreditatiecertificaat kan overleggen, verschaft zij de aanmeldende autoriteit de bewijsstukken die nodig zijn om haar overeenstemming met de eisen in artikel 33 te verifiëren en te erkennen en om daar geregeld toezicht op te houden. Voor aangemelde instanties die uit hoofde van andere harmonisatiewetgeving van de Unie zijn aangewezen, kunnen waar passend alle documenten en certificaten met betrekking tot die aanwijzingen worden gebruikt om hun aanwijzingsprocedure krachtens deze verordening te ondersteunen.

Artikel 32: Aanmeldingsprocedure

1. Aanmeldende autoriteiten melden uitsluitend conformiteitsbeoordelingsinstanties aan die aan de eisen in artikel 33 voldoen.

2. Aanmeldende autoriteiten melden elke conformiteitsbeoordelingsinstantie als bedoeld in lid 1 aan bij de Commissie en de andere lidstaten door middel van het door de Commissie ontwikkelde en beheerde elektronische aanmeldingssysteem.

3. Bij de aanmelding als bedoeld in lid 2 worden de conformiteitsbeoordelingsactiviteiten, de conformiteitsbeoordelingsmodule(s), de betrokken artificiële-intelligentietechnologieën en de relevante bekwaamheidsattestatie uitvoerig beschreven.

4. De betrokken conformiteitsbeoordelingsinstantie mag de activiteiten van een aangemelde instantie alleen verrichten als de Commissie en de andere lidstaten binnen twee weken na goedkeuring van de aanmelding indien een accreditatiecertificaat in de zin van artikel 31, lid 2, wordt gebruikt, of binnen twee maanden na de aanmelding indien de in artikel 31, lid 3, bedoelde bewijsstukken worden gebruikt, geen bezwaren hebben ingediend.

4 bis. Indien er bezwaar wordt ingediend, treedt de Commissie onverwijld in overleg met de betrokken lidstaten en de conformiteitsbeoordelingsinstantie. Met het oog daarop besluit de Commissie of de toelating al dan niet gerechtvaardigd is. De Commissie richt haar besluit aan de betrokken lidstaat en de relevante conformiteitsbeoordelingsinstantie.

4 ter. De lidstaten melden conformiteitsbeoordelingsinstanties aan bij de Commissie en de andere lidstaten.

5. Aanmeldende autoriteiten stellen de Commissie en de andere lidstaten in kennis van alle latere wijzigingen die van belang zijn voor de aanmelding.

Artikel 33: Aangemelde instanties

1. Aangemelde instanties controleren de conformiteit van AI-systemen met een hoog risico overeenkomstig de conformiteitsbeoordelingsprocedures als bedoeld in artikel 43.

2. Aangemelde instanties voldoen aan de eisen inzake organisatie, kwaliteitsbeheer, personeel en processen die nodig zijn voor het vervullen van hun taken, alsook aan de minimumeisen inzake cyberbeveiliging die zijn vastgesteld voor overheidsinstanties die overeenkomstig Richtlijn (EU) 2022/2555 als operators van essentiële diensten zijn aangemerkt.

3. De organisatiestructuur, de toewijzing van verantwoordelijkheden, de rapportagelijnen en het functioneren van aangemelde instanties moeten van dien aard zijn dat ze ervoor zorgen dat er vertrouwen is in de uitvoering en de resultaten van de conformiteitsbeoordelingsactiviteiten die de aangemelde instanties verrichten.

4. Aangemelde instanties zijn onafhankelijk van de aanbieder van een AI-systeem met een hoog risico met betrekking waartoe de aanbieder conformiteitsbeoordelingsactiviteiten verricht. Aangemelde instanties zijn ook onafhankelijk van andere operators die een economisch belang hebben in het beoordeelde AI-systeem met een hoog risico, alsook van concurrenten van de aanbieder. Dit belet echter niet dat de beoordeelde AI-systemen voor activiteiten van de conformiteitsbeoordelingsinstantie of voor persoonlijke doeleinden worden gebruikt.

4 bis. Een conformiteitsbeoordeling overeenkomstig lid 1 wordt uitgevoerd door werknemers van aangemelde instanties die in de periode van 12 maanden vóór de beoordeling geen andere met de beoordeling verband houdende dienst hebben verleend aan de aanbieder van een AI-systeem met een hoog risico of aan een met die aanbieder verbonden rechtspersoon en zich ertoe hebben verbonden deze diensten niet te verlenen in de periode van 12 maanden na de voltooiing van de beoordeling.

5. Aangemelde instanties worden zodanig georganiseerd en functioneren zodanig dat de onafhankelijkheid, objectiviteit en onpartijdigheid van hun activiteiten gewaarborgd zijn. Aangemelde instanties documenteren en implementeren een structuur en procedures voor het waarborgen van de onpartijdigheid en voor het bevorderen en toepassen van de onpartijdigheidsbeginselen in hun gehele organisatie, onder het personeel en in de beoordelingsactiviteiten.

6. Aangemelde instanties beschikken over gedocumenteerde procedures die waarborgen dat hun personeel, comités, dochterondernemingen, onderaannemers, geassocieerde instanties of personeel van externe instanties de vertrouwelijkheid in acht nemen van de informatie die zij tijdens conformiteitsbeoordelingsactiviteiten in hun bezit krijgen, behalve wanneer openbaarmaking wettelijk vereist is. Het personeel van aangemelde instanties is gebonden aan het beroepsgeheim ten aanzien van alle informatie waarvan het kennis neemt bij de uitoefening van de taken uit hoofde van deze verordening, behalve ten opzichte van de aanmeldende autoriteiten van de lidstaat waar de activiteiten plaatsvinden. De door de aangemelde instanties volgens de bepalingen van dit artikel verkregen informatie en documentatie worden verwerkt met inachtneming van de in artikel 70 vastgestelde geheimhoudingsverplichtingen.

7. Aangemelde instanties beschikken over de nodige procedures voor de uitoefening van hun activiteiten, waarin voldoende rekening wordt gehouden met de omvang van een onderneming, de sector waarin zij actief is, haar structuur en de relatieve complexiteit van het AI-systeem in kwestie.

8. Aangemelde instanties sluiten voor hun conformiteitsbeoordelingsactiviteiten een passende aansprakelijkheidsverzekering af, tenzij de wettelijke aansprakelijkheid krachtens het interne recht door de lidstaat in kwestie wordt gedekt of die lidstaat rechtstreeks verantwoordelijk is voor de conformiteitsbeoordeling.

9. Aangemelde instanties zijn in staat alle hun bij deze verordening toegewezen taken te verrichten met de grootste mate van beroepsintegriteit en met de vereiste bekwaamheid op het specifieke gebied, ongeacht of deze taken door de aangemelde instanties zelf dan wel namens hen en onder hun verantwoordelijkheid worden verricht.

10. Aangemelde instanties beschikken over voldoende interne deskundigheid om de door namens hen externe partijen verrichte taken doeltreffend te kunnen evalueren. Hiertoe beschikken aangemelde instanties te allen tijde en voor elke conformiteitsbeoordelingsprocedure en elk type AI-systeem met een hoog risico met betrekking waartoe zij zijn aangewezen, over voldoende administratief, technisch en wetenschappelijk personeel met ervaring en kennis ten aanzien van de relevante artificiële-intelligentietechnologieën, data en dataverwerking en de voorschriften van hoofdstuk 2 van deze titel.

11. Aangemelde instanties nemen deel aan coördinatieactiviteiten als bedoeld in artikel 38. Zij nemen ook rechtstreeks deel aan of worden vertegenwoordigd in Europese normalisatie-instellingen of zorgen ervoor op de hoogte te zijn van actuele relevante normen.

12. Aangemelde instanties stellen alle relevante documentatie, waaronder de documentatie van de aanbieder, ter beschikking van de aanmeldende autoriteit als bedoeld in artikel 30, en verstrekken die aan haar op verzoek, teneinde haar in staat te stellen haar beoordelings-, aanwijzings-, kennisgevings-, monitoring- en toezichtactiviteiten te verrichten, en de in dit hoofdstuk beschreven beoordeling te vergemakkelijken.

Artikel 34: Dochterondernemingen van en uitbesteding door aangemelde instanties

1. Wanneer de aangemelde instantie specifieke taken in verband met de conformiteitsbeoordeling uitbesteedt of door een dochteronderneming laat uitvoeren, waarborgt zij dat de onderaannemer of dochteronderneming aan de eisen van artikel 33 voldoet, en brengt zij de aanmeldende autoriteit hiervan op de hoogte.

2. Aangemelde instanties nemen de volledige verantwoordelijkheid op zich voor de taken die worden verricht door onderaannemers of dochterondernemingen, ongeacht waar deze gevestigd zijn.

3. Activiteiten mogen uitsluitend met instemming van de aanbieder worden uitbesteed of door een dochteronderneming worden uitgevoerd. Aangemelde instanties maken een lijst van hun dochterondernemingen openbaar.

4. Aangemelde instanties houden de relevante documenten over de verificatie van de kwalificaties van de onderaannemer of de dochteronderneming en over de door de onderaannemer of dochteronderneming krachtens deze verordening uitgevoerde werkzaamheden ter beschikking van de aanmeldende autoriteit.

Artikel 35: Identificatienummers en lijsten van aangemelde instanties

1. De Commissie kent aangemelde instanties een identificatienummer toe. Zij kent per instantie slechts één nummer toe, ook als een instantie uit hoofde van diverse handelingen van de Unie is aangemeld.

2. De Commissie maakt de lijst van krachtens deze verordening aangemelde instanties openbaar, onder vermelding van de aan hen toegekende identificatienummers en de activiteiten waarvoor zij zijn aangemeld. De Commissie zorgt ervoor dat de lijst actueel blijft.

Artikel 36: Wijzigingen in de aanmelding

1. Wanneer een aanmeldende autoriteit het vermoeden heeft of heeft vernomen dat een aangemelde instantie niet meer aan de eisen van artikel 33 voldoet of haar verplichtingen niet nakomt, moet de autoriteit de kwestie onverwijld zo zorgvuldig mogelijk onderzoeken. In die context stelt zij de betrokken aangemelde instantie in kennis van de geopperde bezwaren en biedt zij haar de mogelijkheid haar standpunten kenbaar te maken. Als de aanmeldende autoriteit tot de conclusie komt dat de aangemelde instantie niet meer aan de eisen van artikel 33 voldoet of haar verplichtingen niet nakomt, wordt de aanmelding door haar beperkt, geschorst of ingetrokken, als passend, afhankelijk van de ernst van de tekortkoming. Zij brengt daar ook de Commissie en de andere lidstaten onmiddellijk van op de hoogte.

2. Wanneer de aanmelding wordt beperkt, geschorst of ingetrokken, of de aangemelde instantie haar activiteiten heeft gestaakt, doet de aanmeldende autoriteit het nodige om ervoor te zorgen dat de dossiers van die aangemelde instantie hetzij door een andere aangemelde instantie worden overgenomen, hetzij aan de verantwoordelijke aanmeldende autoriteiten en de markttoezichtautoriteit op hun verzoek ter beschikking kunnen worden gesteld.

Artikel 37: Betwisting van de bekwaamheid van aangemelde instanties

1. De Commissie onderzoekt indien nodig alle gevallen waarin er redenen zijn om te twijfelen aan de bekwaamheid van een aangemelde instantie of te twijfelen of een aangemelde instantie nog aan de toepasselijke eisen voldoet en haar verantwoordelijkheden nakomt.

2. De aanmeldende autoriteit verstrekt de Commissie op verzoek alle relevante informatie over de aanmelding of het op peil houden van de bekwaamheid van de betrokken aangemelde instantie.

3. De Commissie ziet erop toe dat alle gevoelige informatie die zij in de loop van haar onderzoeken overeenkomstig dit artikel ontvangt, vertrouwelijk wordt behandeld.

4. Wanneer de Commissie vaststelt dat een aangemelde instantie niet of niet meer aan de aanmeldingseisen voldoet, brengt zij de aanmeldende lidstaat daarvan op de hoogte en verzoekt zij deze lidstaat de nodige corrigerende maatregelen te nemen, en zo nodig de aanmelding te schorsen of in te trekken. Indien de lidstaat niet de nodige corrigerende actie onderneemt, kan de Commissie door middel van een uitvoeringshandeling de aanwijzing schorsen, beperken of intrekken. De uitvoeringshandeling wordt vastgesteld volgens de in artikel 74, lid 2, bedoelde onderzoeksprocedure.

Artikel 38: Coördinatie van aangemelde instanties

1. Ten aanzien van de onder deze verordening vallende gebieden zorgt de Commissie voor het instellen en naar behoren uitvoeren van passende coördinatie en samenwerking tussen aangemelde instanties die zich bezighouden met de conformiteitsbeoordelingsprocedures van AI-systemen krachtens deze verordening in de vorm van een sectorale groep van aangemelde instanties.

2. De lidstaten zorgen ervoor dat de door hen aangemelde instanties rechtstreeks of via aangestelde vertegenwoordigers aan de werkzaamheden van die groep deelnemen.

2 bis. De Commissie voorziet in de uitwisseling van kennis en beste praktijken tussen de nationale instanties van de lidstaten die verantwoordelijk zijn voor het aanmeldingsbeleid.

Artikel 39: Conformiteitsbeoordelingsinstanties van derde landen

Conformiteitsbeoordelingsinstanties die zijn opgericht naar het recht van een derde land waarmee de Unie een overeenkomst heeft gesloten, kunnen worden gemachtigd de activiteiten van aangemelde instanties krachtens deze verordening te verrichten.

Hoofdstuk 5: NORMEN, CONFORMITEITSBEOORDELING, CERTIFICATEN, REGISTRATIE

Artikel 40: Geharmoniseerde normen

1. AI-systemen met een hoog risico en basismodellen die in overeenstemming zijn met geharmoniseerde normen of delen daarvan, waarvan de referenties in het Publicatieblad van de Europese Unie zijn bekendgemaakt overeenkomstig Verordening (EU) 1025/2012, worden geacht in overeenstemming te zijn met de in hoofdstuk 2 of artikel 28 ter, van deze titel beschreven voorschriften, voor zover die voorschriften door die normen worden bestreken.

1 bis. Uiterlijk ... [twee maanden na de datum van inwerkingtreding van deze verordening] doet de Commissie overeenkomstig artikel 10 van Verordening (EU) Nr. 1025/2012 normalisatieverzoeken voor alle eisen van deze verordening. Bij het opstellen van normalisatieverzoeken raadpleegt de Commissie het AI-bureau en het adviesforum;

1 ter. Bij het richten van een normalisatieverzoek aan Europese normalisatie-instellingen specificeert de Commissie dat normen consistent moeten zijn, met inbegrip van de in bijlage II vermelde sectorale wetgeving, en tot doel hebben ervoor te zorgen dat AI-systemen of basismodellen die in de Unie in de handel worden gebracht of in gebruik worden genomen, voldoen aan de relevante vereisten van deze verordening;

1 quater. De bij het normalisatieproces betrokken actoren houden rekening met de in artikel 4, punt a), vastgestelde algemene beginselen voor betrouwbare AI, streven naar het bevorderen van investeringen en innovatie in AI en het concurrentievermogen en de groei van de markt van de Unie, en dragen bij tot de versterking van de wereldwijde samenwerking op het gebied van normalisatie, rekening houdend met bestaande internationale normen op het gebied van AI die in overeenstemming zijn met de waarden, grondrechten en belangen van de Unie, en zorgen voor een evenwichtige vertegenwoordiging van de belangen en effectieve deelname van alle relevante belanghebbenden overeenkomstig de artikelen 5, 6 en 7 van Verordening (EU) nr. 1025/2012.

Artikel 41: Gemeenschappelijke specificaties

1. verwijderd

1 bis. De Commissie kan, door middel van een uitvoeringshandeling die wordt vastgesteld overeenkomstig de in artikel 74, lid 2, bedoelde onderzoeksprocedure en na raadpleging van het AI-bureau en het AI-adviesforum, gemeenschappelijke specificaties vaststellen met betrekking tot de voorschriften van hoofdstuk 2 van deze titel of artikel 28 ter, indien aan elk van de volgende voorwaarden is voldaan:

a) er wordt niet verwezen naar reeds in het Publicatieblad van de Europese Unie gepubliceerde geharmoniseerde normen die verband houden met de essentiële eis(en), tenzij de geharmoniseerde norm in kwestie een bestaande norm is die moet worden herzien;

b) de Commissie heeft een of meer Europese normalisatie-instellingen verzocht een geharmoniseerde norm op te stellen ten aanzien van de essentiële eisen als bedoeld in hoofdstuk 2;

c) het verzoek als bedoeld in punt b) is door geen van de Europese normalisatieorganisaties aanvaard; of er is sprake is van onnodige vertragingen bij de vaststelling van een passende geharmoniseerde norm; of de verstrekte norm voldoet niet aan de vereisten van het toepasselijke Unierecht of voldoet niet aan het verzoek van de Commissie.

1 ter. Wanneer de Commissie van oordeel is dat specifieke problemen op het gebied van de grondrechten moeten worden aangepakt, wordt in de door de Commissie overeenkomstig lid 1 bis vastgestelde gemeenschappelijke specificaties ook aandacht besteed aan die specifieke problemen op het gebied van de grondrechten.

1 quater. De Commissie ontwikkelt gemeenschappelijke specificaties voor de methodologie om te voldoen aan de rapportage- en documentatievereisten inzake het verbruik van energie en hulpbronnen tijdens de ontwikkeling, opleiding en invoering van het AI-systeem met hoog risico.

2. De Commissie raadpleegt gedurende het gehele proces van de opstelling van de in de leden 1 bis en 1 ter bedoelde gemeenschappelijke specificaties regelmatig het AI-bureau en het adviesforum, de Europese normalisatieorganisaties en -organen of deskundigengroepen die zijn opgericht uit hoofde van de desbetreffende sectorale wetgeving van de Unie, alsmede andere relevante belanghebbenden. De Commissie voldoet aan de in artikel 40, lid 1 quater, genoemde doelstellingen en motiveert naar behoren waarom zij heeft besloten gebruik te maken van gemeenschappelijke specificaties.

Wanneer de Commissie voornemens is gemeenschappelijke specificaties vast te stellen overeenkomstig lid 1 bis van dit artikel, geeft zij ook duidelijk aan welke specifiek probleem in verband met de grondrechten moet worden aangepakt.

Bij de vaststelling van gemeenschappelijke specificaties overeenkomstig de leden 1 bis en 1 ter van dit artikel houdt de Commissie rekening met het in artikel 56 sexies, punt b), van deze verordening bedoelde advies van het AI-bureau. Indien de Commissie besluit het advies van het AI-bureau niet op te volgen, verstrekt zij het AI-bureau een met redenen omklede toelichting. 

3. AI-systemen met een hoog risico die in overeenstemming zijn met de in lid 1 bis en 1 ter, bedoelde gemeenschappelijke specificaties, worden geacht in overeenstemming te zijn met de in hoofdstuk 2 van deze titel beschreven voorschriften, voor zover die voorschriften door die gemeenschappelijke specificaties worden bestreken.

3 bis. Wanneer een Europese normalisatieorganisatie een geharmoniseerde norm vaststelt en deze aan de Commissie voorstelt met het oog op de bekendmaking van de referentie ervan in het Publicatieblad van de Europese Unie, beoordeelt de Commissie de geharmoniseerde norm overeenkomstig Verordening (EU) nr. 1025/2012. Wanneer de referentie van een geharmoniseerde norm in het Publicatieblad van de Europese Unie wordt bekendgemaakt, trekt de Commissie de in lid 1 en 1 bis, bedoelde uitvoeringshandelingen of delen daarvan die betrekking hebben op dezelfde voorschriften als bedoeld in hoofdstuk 2 van deze titel, in.

4. Wanneer aanbieders van AI-systemen met een hoog risico niet voldoen aan de in lid 1 bedoelde gemeenschappelijke specificaties, moeten zij naar behoren rechtvaardigen dat zij technische oplossingen hebben gekozen die voldoen aan de in hoofdstuk 2 beschreven voorschriften in een mate die minstens gelijkwaardig daarmee is.

Artikel 42: Vermoeden van conformiteit met bepaalde eisen

1. Rekening houdend met het beoogde doel worden AI-systemen met een hoog risico die zijn getraind en getest op data betreffende de specifieke geografische, functionele, contextuele en gedragsomgeving waarin zij zullen worden gebruikt, geacht in overeenstemming te zijn met de in artikel 10, lid 4, beschreven respectievelijke vereisten.

2. AI-systemen met een hoog risico die zijn gecertificeerd of waarvoor een conformiteitsverklaring is verstrekt volgens een cyberbeveiligingsregeling krachtens Verordening (EU) 2019/881 van het Europees Parlement en de Raad 63 en waarvan de referenties in het Publicatieblad van de Europese Unie zijn bekendgemaakt, worden geacht in overeenstemming te zijn met de in artikel 15 van deze verordening beschreven cyberbeveiligingseisen, voor zover die eisen door het cyberbeveiligingscertificaat of de conformiteitsverklaring of delen daarvan worden bestreken.

Artikel 43: Conformiteitsbeoordeling

1. Voor in punt 1 van bijlage III opgesomde AI-systemen met een hoog risico kiest de aanbieder, wanneer bij het aantonen van de overeenstemming met de in hoofdstuk 2 van deze titel beschreven voorschriften van een AI-systeem met een hoog risico de aanbieder geharmoniseerde normen als bedoeld in artikel 40 of in voorkomend geval gemeenschappelijke specificaties als bedoeld in artikel 41 heeft toegepast, een van de volgende procedures:

(a) de conformiteitsbeoordelingsprocedure op basis van interne controle als bedoeld in bijlage VI; of

(b) de conformiteitsbeoordelingsprocedure op basis van beoordeling van het kwaliteitsbeheersysteem en van de technische documentatie, met betrokkenheid van een aangemelde instantie, als bedoeld in bijlage VII.

Bij het aantonen van de overeenstemming met de in hoofdstuk 2 van deze titel beschreven voorschriften van een AI-systeem met een hoog risico volgt de aanbieder in de volgende gevallen de conformiteitsbeoordelingsprocedure van bijlage VII:

a) indien geharmoniseerde normen, als bedoeld in artikel 40 waarvan het referentienummer is gepubliceerd in het Publicatieblad van de Europese Unie en die alle voor het AI-systeem relevante veiligheidseisen dekken, niet bestaan en gemeenschappelijke specificaties als bedoeld in artikel 41 niet voorhanden zijn;

b) indien de onder a) bedoelde technische specificaties bestaan, maar de aanbieder deze niet of slechts gedeeltelijk heeft toegepast;

c) indien de onder a) bedoelde technische specificaties of een deel ervan met beperkingen zijn bekendgemaakt, en alleen met betrekking tot het deel van de norm waarvoor de beperkingen gelden;

d) indien de aanbieder van oordeel is dat de aard, het ontwerp, de constructie of het doel van het AI-systeem verificatie door derden noodzakelijk maakt, ongeacht het desbetreffende risiconiveau.

Met het oog op de uitvoering van de conformiteitsbeoordelingsprocedure als bedoeld in bijlage VII kan de aanbieder eender welke aangemelde instantie kiezen. Wanneer het systeem echter is bedoeld om door rechtshandhavings-, immigratie- of asielautoriteiten alsook EU-instellingen, -organen of -instanties in bedrijf te worden gesteld, treedt de markttoezichtautoriteit als bedoeld in artikel 63, lid 5 of 6, naar gelang van toepassing, als aangemelde instantie op.

2. Voor AI-systemen met een hoog risico als bedoeld in de punten 2 tot en met 8 van bijlage III volgen aanbieders de conformiteitsbeoordelingsprocedure op basis van interne controle als bedoeld in bijlage VI, waarvoor de betrokkenheid van een aangemelde instantie niet nodig is. Voor AI-systemen met een hoog risico als bedoeld in punt 5, b), van bijlage III, die in de handel worden gebracht of in bedrijf worden gesteld door onder Richtlijn 2013/36/EU vallende kredietinstellingen, wordt de conformiteitsbeoordeling uitgevoerd als onderdeel van de procedure als bedoeld in de artikelen 97 tot en met 101 van die richtlijn.

3. Voor AI-systemen met een hoog risico waarop in bijlage II, deel A, vermelde rechtshandelingen van toepassing zijn, volgt de aanbieder de relevante conformiteitsbeoordelingsprocedure zoals vereist volgens die rechtshandelingen. De in hoofdstuk 2 van deze titel beschreven voorschriften zijn van toepassing op die AI-systemen met een hoog risico en maken deel uit van die beoordeling. De punten 4.3, 4.4, 4.5 en de vijfde alinea van punt 4.6 van bijlage VII zijn eveneens van toepassing.

Voor die beoordeling hebben aangemelde instanties die volgens die rechtshandelingen zijn aangemeld het recht de conformiteit van de AI-systemen met een hoog risico met de in hoofdstuk 2 van deze titel beschreven voorschriften te controleren, mits de overeenstemming van die aangemelde instanties met voorschriften in artikel 33, leden 4, 9 en 10, in de context van de aanmeldingsprocedure volgens die rechtshandelingen is beoordeeld.

Wanneer de in bijlage II, deel A, vermelde rechtshandelingen de fabrikant van het producent in staat stellen zich te onttrekken aan een conformiteitsbeoordeling door een derde, mits die fabrikant alle geharmoniseerde normen voor alle relevante voorschriften heeft toegepast, kan de fabrikant alleen van die mogelijkheid gebruikmaken als hij ook geharmoniseerde normen of in voorkomend geval gemeenschappelijke specificaties als bedoeld in artikel 41 heeft toegepast, voor de in hoofdstuk 2 van deze titel beschreven voorschriften.

4. AI-systemen met een hoog risico die reeds aan een conformiteitsbeoordelingsprocedure zijn onderworpen, ondergaan een nieuwe conformiteitsbeoordelingsprocedure telkens wanneer zij wezenlijk zijn gewijzigd, ongeacht of het gewijzigde systeem bedoeld is om verder te worden gedistribueerd of door de huidige exploitant gebruikt blijft worden.

Voor AI-systemen met een hoog risico die doorgaan met leren na in de handel te zijn gebracht of in bedrijf te zijn gesteld, vormen veranderingen van het AI-systeem met een hoog risico en de prestaties ervan die op het moment van de eerste conformiteitsbeoordeling vooraf door de aanbieder zijn bepaald en deel uitmaken van de informatie in de technische documentatie als bedoeld in punt 2, f), van bijlage IV, geen wezenlijke wijziging.

4 bis. De specifieke belangen en behoeften van kmo’s worden in aanmerking genomen bij het bepalen van de vergoedingen voor conformiteitsbeoordelingen overeenkomstig dit artikel, waarbij die vergoedingen naar evenredigheid van hun omvang en marktaandeel worden verlaagd.

5. De Commissie is bevoegd om gedelegeerde handelingen vast te stellen overeenkomstig artikel 73 ten behoeve van het bijwerken van de bijlagen VI en VII, teneinde elementen van de conformiteitsbeoordelingsprocedures in te voeren die noodzakelijk worden in het licht van de technische vooruitgang. Bij het opstellen van dergelijke gedelegeerde handelingen raadpleegt de Commissie het AI-bureau en de betrokken belanghebbenden;

6. De Commissie is bevoegd om gedelegeerde handelingen vast te stellen om de leden 1 en 2 te wijzigen, teneinde AI-systemen met een hoog risico als bedoeld in de punten 2 tot en met 8 van bijlage III te onderwerpen aan de conformiteitsbeoordelingsprocedure als bedoeld in bijlage VII of delen daarvan. De Commissie stelt zulke gedelegeerde handelingen vast rekening houdend met de doeltreffendheid van de conformiteitsbeoordelingsprocedure op basis van interne controle als bedoeld in bijlage VI bij het voorkomen of minimaliseren van de risico’s voor de gezondheid en veiligheid en de bescherming van grondrechten die zulke systemen inhouden alsook met de beschikbaarheid van voldoende capaciteit en personeel onder aangemelde instanties. Bij het opstellen van dergelijke gedelegeerde handelingen raadpleegt de Commissie het AI-bureau en de betrokken belanghebbenden;

Artikel 44: Certificaten

1. Door aangemelde instanties overeenkomstig bijlage VII afgegeven certificaten worden opgesteld in een of meer officiële talen van de Unie, vastgesteld door de lidstaat waar de aangemelde instantie is gevestigd, of in een of meer officiële talen van de Unie die voor de aangemelde instantie anderszins aanvaardbaar zijn.

2. Certificaten zijn geldig gedurende de daarin aangegeven periode, die niet meer dan vier jaar mag bedragen. Op verzoek van de aanbieder kan de geldigheidsduur van een certificaat op grond van een herbeoordeling volgens de toepasselijke conformiteitsbeoordelingsprocedures worden verlengd met bijkomende perioden, die elk niet meer dan vier jaar mogen bedragen.

3. Indien een aangemelde instantie vaststelt dat een AI-systeem niet meer aan de in hoofdstuk 2 van deze titel beschreven voorschriften voldoet, gaat zij over tot schorsing of intrekking van het afgegeven certificaat of legt zij beperkingen op, tenzij de aanbieder van het systeem, met het oog op de naleving van deze voorschriften, binnen een door de aangemelde instantie vastgestelde passende termijn adequate corrigerende actie onderneemt. De aangemelde instantie geeft de redenen voor haar besluit op.

Artikel 45: Beroep tegen besluiten van aangemelde instanties

De lidstaten voorzien in een beroepsprocedure tegen besluiten van aangemelde instanties, ook over afgegeven conformiteitscertificaten, voor partijen die een rechtmatig belang bij dat besluit hebben.

Artikel 46: Informatieverplichtingen voor aangemelde instanties

1. Aangemelde instanties brengen de aanmeldende instantie op de hoogte van:

(a) EU-beoordelingscertificaten van technische documentatie, aanvullingen op die certificaten en goedkeuringen voor kwaliteitsbeheersystemen afgegeven overeenkomstig de eisen van bijlage VII;

(b) weigering, beperking, schorsing of intrekking van een EU-beoordelingscertificaat van technische documentatie of een goedkeuring voor kwaliteitsbeheersystemen afgegeven overeenkomstig de eisen van bijlage VII;

(c) omstandigheden die van invloed zijn op het toepassingsgebied van of de voorwaarden voor de aanmelding;

(d) verzoeken om informatie over conformiteitsbeoordelingsactiviteiten die zij van markttoezichtautoriteiten ontvangen;

(e) op verzoek, de binnen het toepassingsgebied van hun aanmelding verrichte conformiteitsbeoordelingsactiviteiten en andere activiteiten, waaronder grensoverschrijdende activiteiten en uitbestede activiteiten.

2. Elke aangemelde instantie brengt de andere aangemelde instanties op de hoogte van:

(a) door haar geweigerde, opgeschorte of ingetrokken goedkeuringen voor kwaliteitsbeheersystemen alsmede, op verzoek, van de door haar verleende goedkeuringen voor kwaliteitsbeheersystemen;

(b) EU-beoordelingscertificaten van technische documentatie of aanvullingen daarop die zij heeft geweigerd, ingetrokken, opgeschort of anderszins beperkt alsmede, op verzoek, de certificaten en/of aanvullingen daarop die zij heeft uitgegeven.

3. Elke aangemelde instantie verstrekt de andere aangemelde instanties die soortgelijke conformiteitsbeoordelingsactiviteiten verrichten, relevante informatie over negatieve conformiteitsbeoordelingsresultaten, en op verzoek ook over positieve conformiteitsbeoordelingsresultaten.

Artikel 47: Afwijking van de conformiteitsbeoordelingsprocedure

1. In afwijking van artikel 43 kan een nationale toezichthoudende autoriteit een rechterlijke instantie verzoeken om het in de handel brengen of in bedrijf stellen van specifieke AI-systemen met een hoog risico binnen het grondgebied van de betrokken lidstaat goed te keuren, om uitzonderlijke redenen van de bescherming van het leven en de gezondheid van personen, milieubescherming en de bescherming van kritieke infrastructuur. De toelating geldt gedurende een beperkte periode, terwijl de nodige conformiteitsbeoordelingsprocedures worden uitgevoerd, en wordt beëindigd zodra die procedures zijn afgerond. Die procedures worden zo snel mogelijk afgerond.

2. De in lid 1 bedoelde toelating wordt alleen verstrekt als de nationale toezichthoudende autoriteit en de rechterlijke instantie concluderen dat het AI-systeem met een hoog risico aan de voorschriften van hoofdstuk 2 van deze titel voldoet. De nationale toezichthoudende autoriteit stelt de Commissie, het AI-bureau en de andere lidstaten in kennis van alle gedane verzoeken en alle daarop volgende overeenkomstig lid 1 verstrekte toelatingen.

3. Indien binnen 15 kalenderdagen na de ontvangst van de in lid 2 bedoelde informatie geen bezwaar is geopperd door een lidstaat of de Commissie tegen het verzoek van de nationale toezichthoudende autoriteit van de lidstaat in verband met een door een nationale toezichthoudende autoriteit van een lidstaat overeenkomstig lid 1 verstrekte toelating, wordt die toelating geacht gerechtvaardigd te zijn.

4. Indien binnen 15 kalenderdagen na de ontvangst van in lid 2 bedoelde kennisgeving door een lidstaat bezwaren worden geopperd tegen een door een nationale toezichthoudende autoriteit van een andere lidstaat gedaan verzoek, of wanneer de Commissie de toelating in strijd met het Unierecht acht of de conclusie van de lidstaten ten aanzien van de conformiteit van het systeem als bedoeld in lid 2 ongegrond acht, treedt de Commissie onverwijld in overleg met de relevante lidstaat en het AI-bureau; de betrokken operator(s) worden geraadpleegd en hebben de mogelijkheid hun standpunten uiteen te zetten. Met het oog daarop besluit de Commissie of de toelating al dan niet gerechtvaardigd is. De Commissie richt haar besluit aan de betrokken lidstaat en de relevante operator(s).

5. Als de toelating ongerechtvaardigd wordt geacht, wordt deze ingetrokken door de nationale toezichthoudende autoriteit van de betrokken lidstaat.

6. In afwijking van de leden 1 tot en met 5 zijn voor AI-systemen met een hoog risico bedoeld voor gebruik als veiligheidscomponenten van apparaten zijn, of die zelf apparaten zijn, als bedoeld in Verordening (EU) 2017/745 en Verordening (EU) 2017/746, artikel 59 van Verordening (EU) 2017/745 en artikel 54 van Verordening (EU) 2017/746 ook van toepassing met betrekking tot de afwijking van de conformiteitsbeoordeling van de naleving van de in hoofdstuk 2 van deze titel beschreven voorschriften.

Artikel 48: EU-conformiteitsverklaring

1. De aanbieder stelt voor elk AI-systeem met een hoog risico een machineleesbare EU-conformiteitsverklaring in fysieke of elektronische vorm op en houdt deze verklaring tot tien jaar na het in de handel brengen of het in bedrijf stellen van het AI-systeem met een hoog risico ter beschikking van de nationale toezichthoudende autoriteit en de nationale bevoegde autoriteiten. Op verzoek wordt een kopie van de EU-conformiteitsverklaring aan de nationale toezichthoudende autoriteit en de relevante nationale bevoegde autoriteiten verstrekt.

2. In de EU-conformiteitsverklaring wordt vermeld dat het betreffende AI-systeem met een hoog risico aan de hoofdstuk 2 van deze titel beschreven voorschriften voldoet. De EU-conformiteitsverklaring bevat de informatie die is vervat in bijlage V en wordt vertaald in een of meer officiële talen van de Unie, zoals vereist door de lidstaat (lidstaten) waarin het AI-systeem met een hoog risico in de handel wordt gebracht of wordt aangeboden.

3. Wanneer AI-systemen met een hoog risico onder andere harmonisatiewetgeving van de Unie vallen, waarvoor ook een EU-conformiteitsverklaring is vereist, wordt één EU-conformiteitsverklaring ten aanzien van alle op het AI-systeem met een hoog risico toepasselijke Uniewetgeving opgesteld. De verklaring bevat alle informatie die vereist is voor de identificatie van de harmonisatiewetgeving van de Unie waarop de verklaring betrekking heeft.

4. Met het opstellen van de EU-conformiteitsverklaring neemt de aanbieder de verantwoordelijkheid op zich om de in hoofdstuk 2 van deze titel beschreven voorschriften na te leven. De aanbieder houdt de EU-conformiteitsverklaring voor zover dienstig up-to-date.

5. De Commissie is bevoegd om, na raadpleging van het AI-bureau, gedelegeerde handelingen vast te stellen overeenkomstig artikel 73 ten behoeve van het bijwerken van de in bijlage V beschreven inhoud van de EU-conformiteitsverklaring, teneinde elementen in te voeren die noodzakelijk worden in het licht van de technische vooruitgang.

Artikel 49: CE-conformiteitsmarkering

1. De fysieke CE-markering wordt zichtbaar, leesbaar en onuitwisbaar op AI-systemen met een hoog risico aangebracht voordat het AI-systeem met een hoog risico in de handel wordt gebracht. Wanneer dit gezien de aard van het AI-systeem met een hoog risico niet mogelijk of niet gerechtvaardigd is, wordt de markering naargelang het geval op de verpakking of in de begeleidende documenten aangebracht. Vervolgens kan een pictogram dat of een andere markering worden aangebracht die een bijzonder risico of gebruik aanduidt;

1 bis. Voor uitsluitend digitale AI-systemen met een hoog risico wordt alleen een digitale CE-markering gebruikt als deze gemakkelijk toegankelijk is via de interface waarmee toegang wordt verkregen tot het AI-systeem of via een gemakkelijk toegankelijke machineleesbare code of andere elektronische middelen.

2. De in lid 1 van dit artikel bedoelde CE-markering is onderworpen aan de algemene beginselen die staan vermeld in artikel 30 van Verordening (EG) nr. 765/2008.

3. Indien van toepassing, wordt de CE-markering gevolgd door het identificatienummer van de aangemelde instantie die verantwoordelijk is voor de in artikel 43 beschreven conformiteitsbeoordelingsprocedures. Het identificatienummer van de aangemelde instantie wordt aangebracht door die instantie zelf dan wel overeenkomstig haar instructies door de gemachtigde van de aanbieder. Het identificatienummer wordt ook vermeld in reclamemateriaal waarin staat dat een AI-systeem met een hoog risico aan de vereisten voor de CE-markering voldoet;

3 bis. Indien AI-systemen met een hoog risico onder andere Uniewetgeving vallen die ook betrekking heeft op het aanbrengen van de CE-markering, vermeldt de CE-markering dat de AI-systemen met een hoog risico tevens aan de voorschriften van die andere wetgeving voldoen.

Artikel 50: Bewaren van documenten

De aanbieder houdt gedurende een periode van tien jaar nadat het AI-systeem in de handel is gebracht of in bedrijf is gesteld de volgende elementen ter beschikking van de nationale toezichthoudende autoriteit en de nationale bevoegde autoriteiten:

(a) de technische documentatie als bedoeld in artikel 11;

(b) de documentatie betreffende het kwaliteitsbeheersysteem als bedoeld in artikel 17;

(c) in voorkomend geval de documentatie betreffende de door aangemelde instanties goedgekeurde wijzigingen;

(d) in voorkomend geval de besluiten en andere documenten die door de aangemelde instanties zijn afgegeven;

(e) de EU-conformiteitsverklaring als bedoeld in artikel 48.

Artikel 51: Registratie

1. Alvorens een AI-systeem met een hoog risico in de handel te brengen of in bedrijf te stellen als bedoeld in artikel 6, lid 2, registreert de aanbieder of in voorkomend geval de gemachtigde dat systeem overeenkomstig artikel 60, lid 2, in de in artikel 60 bedoelde EU-databank.

1 bis. Alvorens een AI-systeem met een hoog risico in bedrijf te stellen of te gebruiken overeenkomstig artikel 6, lid 2, laten de volgende categorieën exploitanten het gebruik van dat AI-systeem in de in artikel 60 bedoelde EU-databank registreren.

a) exploitanten die overheidsinstanties of instellingen, organen of instanties van de Unie zijn, of exploitanten die namens hen optreden;

b) exploitanten die ondernemingen zijn die krachtens Verordening (EU) 2022/1925 als poortwachter zijn aangewezen.

1 ter. Exploitanten die niet onder lid 1 bis vallen, hebben het recht het gebruik van een AI-systeem met een hoog risico als bedoeld in artikel 6, lid 2, vrijwillig te registreren in de in artikel 60 bedoelde EU-databank.

1 quater. Onmiddellijk na elke substantiële wijziging moet de registratie worden bijgewerkt.

TITEL IV: TRANSPARANTIEVERPLICHTINGEN

Artikel 52: Transparantieverplichtingen

1. Aanbieders zorgen ervoor dat AI-systemen die voor interactie met natuurlijke personen zijn bedoeld, zodanig worden ontworpen en ontwikkeld dat het AI-systeem, de aanbieder zelf of de gebruiker de aan een AI-systeem blootgestelde natuurlijke personen tijdig, duidelijk en op begrijpelijke wijze informeert dat zij interageren met een AI-systeem, tenzij de omstandigheden en de gebruikscontext dit duidelijk maken.

Indien passend en relevant staat in deze informatie ook welke functies op AI gebaseerd zijn, of er sprake is van menselijk toezicht en wie verantwoordelijk is voor het besluitvormingsproces, alsook wat de bestaande rechten en processen zijn die natuurlijke personen of hun vertegenwoordigers overeenkomstig het Unierecht en het nationale recht in staat stellen bij hen bezwaar aan te tekenen tegen de toepassing van dergelijke systemen en beroep in te stellen tegen beslissingen die door AI-systemen zijn genomen of tegen door AI-systemen veroorzaakte schade, met inbegrip van hun recht om uitleg te krijgen. Deze verplichting is niet van toepassing op bij wet toegestane AI-systemen voor het opsporen, voorkomen, onderzoeken en vervolgen van strafbare feiten, tenzij die systemen voor het publiek beschikbaar zijn om een strafbaar feit te melden.

2. Gebruikers van een emotieherkenningssysteem of een biometrisch indelingssysteem dat niet verboden is op grond van artikel 5 informeren de daaraan blootgestelde natuurlijke personen tijdig, duidelijk en op begrijpelijke wijze over de werking van het systeem en verkrijgen hun toestemming voorafgaand aan de verwerking van hun biometrische en andere persoonsgegevens overeenkomstig Verordening (EU) 2016/679, Verordening (EU) 2016/1725 en Richtlijn (EU) 2016/280, naargelang het geval. Deze verplichting is niet van toepassing op voor biometrische indeling gebruikte AI-systemen, die bij wet zijn toegestaan om strafbare feiten op te sporen, te voorkomen en te onderzoeken.

3. Gebruikers van een AI-systeem dat tekst-, audio- of beeldmateriaal genereert of bewerkt dat onterecht als authentiek of waarheidsgetrouw zou overkomen en waarop afbeeldingen van personen voorkomen die zonder hun toestemming dingen lijken te zeggen of te doen die ze niet hebben gezegd of gedaan (“deepfake”), maken tijdig en op passende, duidelijke en zichtbare wijze bekend dat het materiaal kunstmatig is gegenereerd of bewerkt, alsook, voor zover mogelijk, wat de naam van de natuurlijke of rechtspersoon is die het heeft gegeneerd of gemanipuleerd. Bekendmaking betekent het materiaal zodanig aanmerken dat voor de ontvanger van dat materiaal duidelijk zichtbaar is dat het niet authentiek is. Bij het aanmerken van het materiaal houden de gebruikers rekening met de algemeen erkende stand van de techniek en relevante geharmoniseerde normen en specificaties.

3 bis. Het derde lid is niet van toepassing wanneer het gebruik van een AI-systeem dat tekst-, audio- of beeldmateriaal genereert of bewerkt bij wet is toegestaan of indien dit nodig is voor het doen gelden van het recht op vrijheid van meningsuiting en het recht op vrijheid van kunsten en wetenschappen die in het EU-Handvest van de grondrechten worden gewaarborgd, en behoudens passende waarborgen voor de rechten en vrijheden van derden. Wanneer de inhoud deel uitmaakt van duidelijk creatieve, satirische, artistieke of fictieve cinematografische beelden, beelden van videospellen of een soortgelijk werk of programma, zijn de in lid 3 bedoelde transparantieverplichtingen beperkt tot het openbaar maken van het bestaan van dergelijke gegenereerde of gemanipuleerde inhoud op een passende, duidelijke en zichtbare manier die de weergave van het werk niet belemmert, en in voorkomend geval het openbaar maken van de toepasselijke auteursrechten Het belet rechtshandhavingsinstanties evenmin om AI-systemen te gebruiken die bedoeld zijn om deepfakes op te sporen en strafbare feiten in verband met het gebruik ervan te voorkomen, te onderzoeken en te vervolgen.

3 ter. De verstrekking van de in de leden 1 tot en met 3 bedoelde informatie aan natuurlijke personen heeft uiterlijk plaats op het moment van de eerste interactie of blootstelling. De informatie moet, voor zover relevant en passend, toegankelijk zijn voor kwetsbare personen, zoals personen met een handicap of kinderen, en aangevuld zijn met interventie- of waarschuwingsprocedures voor de blootgestelde natuurlijke persoon, rekening houdend met de algemeen erkende stand van de techniek en relevante geharmoniseerde normen en gemeenschappelijke specificaties.

4. De leden 1, 2 en 3 doen geen afbreuk aan de in titel III van deze verordening beschreven eisen en verplichtingen.

TITEL V: MAATREGELEN TER ONDERSTEUNING VAN INNOVATIE

Artikel 53: AI-testomgevingen voor regelgeving

1. De lidstaten ontwikkelen op nationaal niveau ten minste één AI-testomgeving voor regelgeving, die uiterlijk op de dag van inwerkingtreding van deze verordening operationeel is. Deze testomgeving kan ook worden ontwikkeld samen met een of meer andere lidstaten;

1 bis. Er kunnen ook aanvullende AI-testomgevingen voor regelgeving worden ontwikkeld op regionaal of lokaal niveau of samen met andere lidstaten;

1 ter. De Commissie en de Europese Toezichthouder voor gegevensbescherming kunnen op eigen initiatief, gezamenlijk of in samenwerking met een of meer lidstaten ook AI-testomgevingen voor regelgeving op het niveau van de Unie ontwikkelen;

1 quater. De autoriteiten die een testomgeving ontwikkelen, wijzen voldoende middelen toe om effectief en tijdig aan dit artikel te voldoen;

1 quinquies. AI-testomgevingen voor regelgeving voorzien overeenkomstig de criteria in artikel 53 bis in een gecontroleerde omgeving ter bevordering van innovatie en ter vergemakkelijking van het ontwikkelen, testen en valideren van innovatieve AI-systemen, volgens een specifiek, tussen de toekomstige aanbieders en de autoriteit die de testomgeving heeft ontwikkeld overeengekomen plan, voor een beperkte duur voordat zij in de handel worden gebracht of in bedrijf worden gesteld.

1 sexies. Het ontwikkelen van AI-testomgevingen voor regelgeving heeft tot doel een bijdrage te leveren aan de volgende doelstellingen:

a) het verstrekken van richtsnoeren door de bevoegde autoriteiten aan potentiële aanbieders van AI-systemen om te komen tot naleving van de met deze verordening vastgestelde regelgeving of, in voorkomend geval, andere toepasselijke regelgeving van de Unie en de lidstaten;

b) mogelijk maken en faciliteren dat toekomstige aanbieders innovatieve oplossingen in verband met AI-systemen testen en ontwikkelen;

c) in een gecontroleerde omgeving leren over de regelgeving.

1 septies. De autoriteiten die de testomgeving hebben ontwikkeld, verstrekken richtsnoeren en houden binnen de testomgeving toezicht met het oog op het identificeren van risico’s, met name voor de grondrechten, de democratie en de rechtsstaat, gezondheid en veiligheid en het milieu, zij testen en demonstreren risicobeperkende maatregelen voor geïdentificeerde risico’s en de doeltreffendheid hiervan, en zij waarborgen de naleving van de voorschriften van deze verordening en, in voorkomend geval, andere wetgeving van de Unie en de lidstaten;

1 octies. De autoriteiten die de testomgeving hebben ontwikkeld, verstrekken de bij de testomgeving betrokken toekomstige aanbieders die AI-systemen met een hoog risico ontwikkelen, richtsnoeren en houden toezicht op hen met betrekking tot de wijze waarop aan de vereisten van deze verordening kan worden voldaan, zodat de AI-systemen de testomgeving kunnen verlaten met de veronderstelling dat zij in overeenstemming zijn met de specifieke voorschriften van deze verordening die binnen de testomgeving zijn beoordeeld. Voor zover het AI-systeem bij het verlaten van de testomgeving voldoet aan de voorschriften, wordt het geacht in overeenstemming te zijn met deze verordening. In dit verband wordt met de exitverslagen die worden opgesteld door de autoriteit die de testomgeving heeft ontwikkeld, rekening gehouden door de markttoezichtautoriteiten of aangemelde instanties, naargelang het geval, in het kader van conformiteitsbeoordelingsprocedures of markttoezichtcontroles;

2. De autoriteiten die de testomgeving hebben ontwikkeld, zorgen ervoor dat voor zover de innovatieve AI-systemen betrekking hebben op de verwerking van persoonsgegevens of anderszins onder het toezicht van andere nationale autoriteiten of bevoegde autoriteiten vallen die toegang tot persoonsgegevens verstrekken of ondersteunen, de nationale gegevensbeschermingsautoriteiten, dan wel, in de in lid 1 ter bedoelde gevallen, de Europese Toezichthouder voor gegevensbescherming, of die andere nationale autoriteiten zijn betrokken bij de werking van de AI-testomgeving voor regelgeving en bij het toezicht op de aspecten die onder hun respectieve taken en bevoegdheden vallen.

3. De AI-testomgevingen voor regelgeving laten de toezichthoudende en corrigerende bevoegdheden van de bevoegde autoriteiten onverlet, ook op regionaal of lokaal niveau. Significante risico’s voor de grondrechten, de democratie en de rechtsstaat, de gezondheid en veiligheid of het milieu die tijdens het ontwikkelen en testen van dergelijke AI-systemen worden vastgesteld, worden onmiddellijk op adequate wijze beperkt. De bevoegde autoriteiten hebben de bevoegdheid om het testproces of de deelname aan de testomgeving tijdelijk of permanent op te schorten indien geen doeltreffende beperkende maatregelen mogelijk zijn, en zij stellen het AI-bureau van een dergelijk besluit in kennis;

4. Bij de AI-testomgeving voor regelgeving betrokken toekomstige aanbieders blijven aansprakelijk overeenkomstig toepasselijke aansprakelijkheidswetgeving van de Unie en de lidstaten voor aan derden toegebrachte schade als gevolg van de experimenten in de testomgeving. Voor zover de toekomstige aanbieders(s) echter het in lid 1 quater bedoelde specifieke plan alsmede de voorwaarden voor hun deelname eerbiedigen en zich te goeder trouw houden aan de richtsnoeren van de autoriteiten die de testomgeving hebben ontwikkeld, leggen de autoriteiten geen administratieve boetes op voor de schending van deze verordening;

5. De autoriteiten die de testomgeving hebben ontwikkeld, coördineren hun activiteiten en werken samen binnen het kader van het AI-bureau.

5 bis. De autoriteiten die de testomgeving hebben ontwikkeld, stellen het AI-bureau in kennis van de oprichting van een testomgeving en kunnen verzoeken om ondersteuning en begeleiding. Een lijst van geplande en bestaande testomgevingen wordt door het AI-bureau openbaar gemaakt en up-to-date gehouden om meer interactie in de testomgevingen voor regelgeving en transnationale samenwerking aan te moedigen;

5 ter. De autoriteiten die de testomgeving hebben ontwikkeld, dienen bij het AI-bureau en, tenzij de Commissie de testomgeving heeft ontwikkeld in haar eentje, bij de Commissie jaarverslagen in, te beginnen één jaar na de oprichting van de testomgeving en vervolgens elk jaar tot de beëindiging ervan, alsmede een eindverslag. In deze verslagen wordt informatie verstrekt over de vooruitgang en de resultaten met betrekking tot de uitvoering van die testomgevingen, met inbegrip van goede praktijken, incidenten, geleerde lessen en aanbevelingen over de opzet ervan en, waar relevant, over de toepassing en mogelijke herziening van deze verordening en andere wetgeving van de Unie onder toezicht binnen de testomgeving. Deze jaarverslagen of samenvattingen daarvan worden online ter beschikking gesteld van het publiek;

6. De Commissie ontwikkelt één specifieke interface met alle relevante informatie over testomgevingen, samen met één contactpunt op het niveau van de Unie om te communiceren met de testomgevingen voor regelgeving en belanghebbenden in staat te stellen vragen in te dienen bij de bevoegde autoriteiten, en om niet-bindende richtsnoeren te vragen over de conformiteit van innovatieve producten, diensten en bedrijfsmodellen waarin AI-technologieën zijn geïntegreerd;

de Commissie zorgt voor een proactieve coördinatie met de nationale, de regionale en in voorkomend geval ook de lokale autoriteiten;

6 bis. Voor de toepassing van de leden 1 en 1 bis speelt de Commissie een complementaire rol, waarbij zij enerzijds de lidstaten die aantoonbare ervaring hebben met het gebruik van testomgevingen in staat stelt voort te bouwen op hun expertise, en anderzijds de lidstaten die begeleiding wensen bij het ontwikkelen en beheren van testomgevingen voor regelgeving bijstaat en voorziet van technisch advies en hulpmiddelen;

Artikel 53 bis: Modaliteiten en werking van AI-testomgevingen voor regelgeving

1. Om versnippering in de Unie te voorkomen, stelt de Commissie, in overleg met het AI-bureau, een gedelegeerde handeling vast waarin de modaliteiten worden gespecificeerd voor de instelling, de ontwikkeling, de uitvoering en de werking van AI-testomgevingen voor regelgeving en voor het toezicht erop, met inbegrip van de toelatingscriteria en de procedure voor de aanvraag, de selectie, de deelname en het vertrek uit de testomgeving, alsmede de rechten en plichten van de deelnemers op basis van de bepalingen van dit artikel;

2. De Commissie is bevoegd om gedelegeerde handelingen vast te stellen volgens de procedure in artikel 73, uiterlijk twaalf maanden na de inwerkingtreding van deze verordening, en zij zorgt ervoor dat:

a) testomgevingen voor regelgeving openstaan voor elke toekomstige aanbieder van een AI-systeem die een aanvraag indient en die voldoet aan de toelatingscriteria en de selectiecriteria. De criteria voor toegang tot de testomgeving voor regelgeving zijn transparant en eerlijk en de autoriteiten die de testomgeving hebben ontwikkeld, stellen indieners van een aanvraag binnen drie maanden na de indiening van hun aanvraag in kennis van hun besluit;

b) testomgevingen voor regelgeving brede en gelijke toegang bieden en gelijke tred houden met de vraag om toestemming voor deelname;

c) de toegang tot de AI-testomgevingen voor regelgeving voor kmo’s en start-ups kosteloos is, onverminderd uitzonderlijke kosten die de autoriteiten die de testomgeving hebben ontwikkeld, op billijke en evenredige wijze mogen verhalen;

d) testomgevingen voor regelgeving de betrokkenheid vergemakkelijken van andere relevante actoren binnen het AI-ecosysteem, zoals aangemelde instanties en normalisatieorganisaties (kmo’s, start-ups, ondernemingen, innovatoren, test- en experimenteervoorzieningen, onderzoeks- en testlaboratoria en digitale-innovatiehubs, kenniscentra, individuele onderzoekers), teneinde samenwerking met de publieke en particuliere sector mogelijk te maken en te vergemakkelijken;

e) zij toekomstige aanbieders de mogelijkheid bieden om in een gecontroleerde omgeving te voldoen aan de verplichtingen inzake conformiteitsbeoordeling van deze verordening of de vrijwillige toepassing van de in artikel 69 vermelde gedragscodes;

f) de procedures, processen en administratieve vereisten voor de aanvraag, de selectie, de deelname en het vertrek uit de testomgeving voor regelgeving eenvoudig en gemakkelijk te begrijpen zijn en duidelijk worden gecommuniceerd, om de deelname van kmo’s en start-ups met beperkte juridische en administratieve capaciteiten te vergemakkelijken, en in de hele Unie worden gestroomlijnd, om versnippering te voorkomen, en dat de deelname aan een door een lidstaat, de Commissie of de EDPS opgerichte testomgeving voor regelgeving wederzijds en uniform wordt erkend en in de hele Unie dezelfde rechtsgevolgen heeft;

g) de deelname aan de AI-testomgeving voor regelgeving beperkt wordt tot een termijn die passend is gezien de complexiteit en de omvang van het project;

h) de testomgevingen de ontwikkeling bevorderen van instrumenten en infrastructuur voor het testen, benchmarken, beoordelen en verklaren van de voor testomgevingen relevante aspecten van AI-systemen, zoals nauwkeurigheid, robuustheid en cyberbeveiliging, alsook minimalisering van de risico’s voor de grondrechten, het milieu en de maatschappij in het algemeen.

3. Potentiële aanbieders in de testomgevingen, met name kmo’s en start-ups, krijgen gemakkelijker toegang tot diensten die aan de uitrol voorafgaan, zoals richtsnoeren voor de uitvoering van deze verordening, tot andere diensten die waarde toevoegen, zoals hulp bij normalisatiedocumenten en certificering en raadpleging, en tot andere initiatieven op het gebied van de digitale eengemaakte markt, zoals test- en experimenteervoorzieningen, digitale hubs, kenniscentra en EU-benchmarkcapaciteiten;

Artikel 54: Verdere verwerking van gegevens voor het ontwikkelen van bepaalde AI-systemen in het algemene belang in de AI-testomgeving voor regelgeving

1. In de AI-testomgeving voor regelgeving kunnen rechtmatig voor andere doeleinden verzamelde persoonsgegevens uitsluitend worden verwerkt ten behoeve van het ontwikkelen en testen van bepaalde AI-systemen in de testomgeving indien aan alle volgende voorwaarden is voldaan:

(a) de AI-systemen worden ontwikkeld voor het beschermen van zwaarwegend algemeen belang op een of meer van de volgende gebieden:

i) verwijderd

ii) de openbare veiligheid en volksgezondheid, waaronder de opsporing, diagnose, preventie, beheersing en behandeling van ziekten;

iii) een hoog niveau van bescherming en verbetering van de kwaliteit van het milieu, bescherming van de biodiversiteit, beperking van vervuiling en van de klimaatverandering en aanpassing hieraan;

iii bis) de veiligheid en de veerkracht van vervoersystemen, kritieke vervoersinfrastructuur en vervoersnetwerken;

(b) de verwerkte data zijn nodig om te voldoen aan een of meer van de in titel III, hoofdstuk 2, beschreven voorschriften wanneer die voorschriften niet doeltreffend kunnen worden vervuld door het verwerken van geanonimiseerde, synthetische of andere niet persoonsgebonden data;

(c) er zijn doeltreffende monitoringmechanismen om vast te stellen of zich tijdens de experimenten in de testomgeving hoge risico’s voor de rechten en vrijheden van de betrokkenen, als bedoeld in artikel 35 van Verordening (EU) 2016/679 en in artikel 35 van Verordening (EU) 2018/1725, kunnen voordoen evenals responsmechanismen om die risico’s onmiddellijk te beperken en indien nodig de verwerking stop te zetten;

(d) in het kader van de testomgeving te verwerken persoonsgegevens bevinden zich in een functioneel gescheiden, geïsoleerde en beschermde omgeving voor dataverwerking onder de controle van de toekomstige aanbieder, waarbij alleen bevoegde personen toegang hebben tot die data;

(e) verwerkte persoonsgegevens mogen niet door andere partijen worden verzonden, doorgegeven of anderszins worden geraadpleegd;

(f) de verwerking van persoonsgegevens in het kader van de testomgeving mag niet leiden tot maatregelen of besluiten die gevolgen hebben voor de betrokkenen, noch gevolgen hebben voor de toepassing van hun rechten die zijn vastgelegd in het Unierecht inzake de bescherming van persoonsgegevens;

(g) in het kader van de testomgeving verwerkte persoonsgegevens worden beschermd met behulp van passende technische en organisatorische maatregelen en gewist nadat de deelname aan de testomgeving is beëindigd of de periode van bewaring van de persoonsgegevens ten einde is gekomen;

(h) de logbestanden van de verwerking van persoonsgegevens in het kader van de testomgeving worden tijdens de duur van de deelname aan de testomgeving bewaard;

(i) een volledige en gedetailleerde beschrijving van het proces en de onderbouwing van het trainen, testen en valideren van het AI-systeem wordt samen de testresultaten bewaard als onderdeel van de technische documentatie in bijlage IV;

(j) een korte samenvatting van het in de testomgeving ontwikkelde AI-systeem en de doelstellingen, hypothesen en verwachte resultaten ervan worden op de website van de bevoegde autoriteiten gepubliceerd;

2. Lid 1 laat wetgeving van de Unie of de lidstaten onverlet, uitgezonderd verwerking voor andere doeleinden dan die uitdrukkelijk vermeld in die wetgeving.

Artikel 54 bis: Bevordering van AI-onderzoek en -ontwikkeling ter ondersteuning van voor de maatschappij en het milieu gunstige resultaten

1. De lidstaten bevorderen het onderzoek naar en de ontwikkeling van AI-oplossingen die voor de maatschappij en het milieu gunstige resultaten ondersteunen, waaronder, maar niet beperkt tot, de ontwikkeling van op AI gebaseerde oplossingen voor het vergroten van de toegankelijkheid voor personen met een handicap, het aanpakken van sociaal-economische ongelijkheden en het voldoen aan de duurzaamheids- en milieudoelstellingen, door:

a) relevante projecten prioritaire toegang te verlenen tot de AI-testomgevingen voor regelgeving, voor zover zij aan de toelatingscriteria voldoen;

b) overheidsmiddelen, onder meer uit relevante EU-fondsen, te reserveren voor AI-onderzoek en -ontwikkeling ter ondersteuning van voor de maatschappij en het milieu gunstige resultaten;

c) specifieke bewustmakingsactiviteiten te organiseren over de toepassing van deze verordening en over de beschikbaarheid van en de aanvraagprocedures voor specifieke financiering, afgestemd op de behoeften van deze projecten;

d) indien passend, toegankelijke specifieke kanalen op te zetten, onder andere in de testomgeving, voor communicatie met projecten, om begeleiding te bieden en vragen over de uitvoering van deze verordening te beantwoorden.

De lidstaten ondersteunen het maatschappelijk middenveld en sociale belanghebbenden bij het leiden van of deelnemen aan dergelijke projecten;

Artikel 55: Maatregelen voor kmo’s, start-ups en gebruikers

1. De lidstaten ondernemen de volgende acties:

(a) kmo’s en start-ups die in de EU zijn gevestigd prioritaire toegang verlenen tot de AI-testomgevingen voor regelgeving voor zover zij aan de toelatingscriteria voldoen;

(b) specifieke bewustmakingsactiviteiten en activiteiten ter ontwikkeling van betere digitale vaardigheden organiseren met betrekking tot de toepassing van deze verordening, afgestemd op de behoeften van kmo’s, start-ups en gebruikers;

(c) gebruikmaken van bestaande specifieke kanalen en indien passend nieuwe specifieke kanalen voor communicatie met kmo’s, start-ups en gebruikers en andere innovatoren opzetten om begeleiding te bieden en vragen over de uitvoering van deze verordening te beantwoorden;

(c bis) de deelname van kmo’s en andere relevante belanghebbenden aan het proces voor de ontwikkeling van normen bevorderen.

2. De specifieke belangen en behoeften van kmo’s, start-ups en gebruikers worden in aanmerking genomen bij het bepalen van de vergoedingen voor conformiteitsbeoordelingen overeenkomstig artikel 43, waarbij die vergoedingen naar evenredigheid van hun ontwikkelingsfase, omvang, marktgrootte en marktvraag worden verlaagd. De Commissie beoordeelt de certificerings- en nalevingskosten voor kmo’s en start-ups regelmatig, onder meer via transparant overleg met kmo’s, start-ups en gebruikers, en werkt met de lidstaten samen om die kosten waar mogelijk te verlagen. De Commissie doet verslag van haar bevindingen aan het Europees Parlement en de Raad als onderdeel van haar verslag over de evaluatie en toetsing van deze verordening voorzien in artikel 84, lid 2.

TITEL VI: GOVERNANCE

Hoofdstuk 1: Europees Comité voor artificiële intelligentie

Afdeling 1: Algemene bepalingen betreffende het Europees Bureau voor artificiële intelligentie

Artikel 56: Oprichting van het Europees Bureau voor artificiële intelligentie

1. Hierbij wordt het Europees Bureau voor artificiële intelligentie (het “AI-bureau”) opgericht. Het AI-bureau is een onafhankelijk orgaan van de Unie. Het heeft rechtspersoonlijkheid. 

2. Het AI-bureau heeft een secretariaat en wordt voldoende gefinancierd en bemand voor de uitvoering van zijn taken uit hoofde van deze verordening.

(a) bij te dragen aan de doeltreffende samenwerking van de nationale toezichthoudende autoriteiten en de Commissie ten aanzien van de onder deze verordening vallende aangelegenheden;

(b) te zorgen voor coördinatie van en bijdrage aan de begeleiding en analyse door de Commissie en de nationale toezichthoudende autoriteiten en andere bevoegde autoriteiten wat betreft opkomende kwesties in de gehele interne markt ten aanzien van de onder deze verordening vallende aangelegenheden;

(c) de nationale toezichthoudende autoriteiten en de Commissie bij te staan bij het waarborgen van de consistente toepassing van deze verordening.

2 bis. De zetel van het AI-bureau is in Brussel.

Artikel 56 bis: Structuur

De administratieve en beheersstructuur van het AI-bureau omvat:

a) een raad van bestuur, met onder andere een voorzitter;

b) een secretariaat, dat wordt beheerd door een uitvoerend directeur;

c) een adviesforum. 

Artikel 56 ter: Taken van het Bureau

Het AI-bureau vervult de volgende functies:

a) ondersteunen van, adviseren van en samenwerken met de lidstaten, de nationale toezichthoudende autoriteiten, de Commissie en andere instellingen, organen en instanties van de Unie met betrekking tot de uitvoering van deze verordening;

b) monitoren en waarborgen van de effectieve, consistente toepassing van deze verordening, waarbij de taken van de nationale toezichthoudende autoriteiten onverlet worden gelaten;

c) bijdragen tot de coördinatie tussen de nationale toezichthoudende autoriteiten die verantwoordelijk zijn voor de toepassing van deze verordening;

d) als bemiddelaar fungeren bij discussies over ernstige meningsverschillen tussen bevoegde autoriteiten over de toepassing van de verordening;

e) coördineren van gezamenlijke onderzoeken overeenkomstig artikel 66 bis;

f) bijdragen aan de doeltreffende samenwerking met de bevoegde autoriteiten van derde landen en met internationale organisaties;

g) expertise en beste praktijken van de lidstaten verzamelen en delen en de nationale toezichthoudende autoriteiten van de lidstaten en de Commissie bijstaan bij de ontwikkeling van de organisatorische en technische deskundigheid die nodig is voor de uitvoering van deze verordening, onder meer door het faciliteren van het opzetten en onderhouden van een pool van deskundigen van de Unie;

h) op eigen initiatief of op verzoek van zijn raad van bestuur of de Commissie vraagstukken in verband met de uitvoering van deze verordening onderzoeken en adviezen, aanbevelingen of schriftelijke bijdragen uitbrengen, onder meer met betrekking tot:

i) technische specificaties of bestaande normen;

ii) de richtsnoeren van de Commissie;

iii) gedragscodes en de toepassing ervan, in nauwe samenwerking met de bedrijfswereld en andere belanghebbenden;

iv) de mogelijke herziening van de verordening, de opstelling van de gedelegeerde handelingen en de mogelijke afstemming van deze verordening op de in bijlage II vermelde rechtshandelingen;

v) trends, bijvoorbeeld met betrekking tot het Europese mondiale concurrentievermogen op het gebied van artificiële intelligentie, de invoering van artificiële intelligentie in de Unie, de ontwikkeling van digitale vaardigheden en opkomende systemische bedreigingen in verband met artificiële intelligentie;

vi) richtsnoeren over de wijze waarop deze verordening van toepassing is op de steeds veranderende typologie van AI-waardeketens, met name wat de daaruit voortvloeiende gevolgen betreft voor de verantwoordingsplicht van alle betrokken entiteiten;

i) het volgende publiceren:

i) een jaarverslag met een evaluatie van de uitvoering van deze verordening, een evaluatie van de in artikel 62 bedoelde meldingen van ernstige incidenten en de werking van de in artikel 60 bedoelde databank, en

ii) aanbevelingen aan de Commissie over de categorisering van verboden praktijken, AI-systemen met een hoog risico als bedoeld in bijlage III, de in artikel 69 bedoelde gedragscodes en de toepassing van de algemene beginselen in artikel 4 bis;

j) de autoriteiten bijstaan bij het opzetten en ontwikkelen van testomgevingen voor regelgeving en de samenwerking tussen testomgevingen voor regelgeving vergemakkelijken;

k) vergaderingen organiseren met agentschappen en bestuursorganen van de Unie waarvan de taken verband houden met artificiële intelligentie en de uitvoering van deze verordening;

l) driemaandelijks overleg organiseren met het adviesforum en, in voorkomend geval, openbare raadplegingen organiseren met andere belanghebbenden, en de resultaten van die raadplegingen openbaar maken op zijn website;

m) het brede publiek beter bekendmaken met en meer inzicht verschaffen in de voordelen, de risico’s, de waarborgen en de rechten en plichten in verband met het gebruik van AI-systemen;

n) de ontwikkeling bevorderen van gemeenschappelijke criteria en een gedeeld begrip tussen marktdeelnemers en bevoegde autoriteiten met betrekking tot de relevante concepten waarin deze verordening voorziet;

o) basismodellen monitoren en een regelmatige dialoog organiseren met ontwikkelaars van basismodellen met betrekking tot hun conformiteit, en de conformiteit van AI-systemen die van dergelijke AI-modellen gebruikmaken;

p) interpretatieve richtsnoeren verstrekken over de wijze waarop de AI-verordening van toepassing is op de steeds veranderende typologie van AI-waardeketens, en wat de daaruit voortvloeiende gevolgen voor de verantwoordingsplicht van alle betrokken entiteiten zullen zijn in de verschillende scenario’s op basis van de algemeen erkende stand van de techniek, onder meer zoals weergegeven in relevante geharmoniseerde normen;

q) voorzien in specifiek toezicht en specifieke monitoring, en een institutioneel karakter geven aan een regelmatige dialoog met de aanbieders van basismodellen over de conformiteit van basismodellen, en AI-systemen die van dergelijke AI-modellen gebruikmaken, met artikel 28 ter van deze verordening, en over beste praktijken van de sector op het gebied van zelfbestuur. Elk van deze bijeenkomsten staat open voor bijwoning door en bijdragen van nationale toezichthoudende autoriteiten, aangemelde instanties en markttoezichtautoriteiten;

r) richtsnoeren opstellen en regelmatig bijwerken over de drempels voor het kwalificeren van de training van een basismodel als een uitgebreide training, bekende gevallen van uitgebreide training registreren en monitoren, en jaarlijks een verslag uitbrengen over de stand van zaken met betrekking tot de ontwikkeling, de proliferatie en het gebruik van basismodellen, naast beleidsopties om de risico’s en kansen die eigen zijn aan basismodellen aan te pakken;

s) AI-geletterdheid bevorderen overeenkomstig artikel 4 ter.

Artikel 56 quater: Verantwoordingsplicht, onafhankelijkheid en transparantie

Het AI-bureau:

a) legt verantwoording af aan het Europees Parlement en de Raad, overeenkomstig deze verordening;

b) handelt onafhankelijk bij de uitvoering van zijn taken en de uitoefening van zijn bevoegdheden; alsmede

c) zorgt voor een hoge mate van transparantie met betrekking tot zijn activiteiten en ontwikkelt in dit verband goede administratieve praktijken.

Verordening (EG) nr. 1049/2001 is van toepassing op de documenten die bij het AI-bureau berusten.

Afdeling 2: Raad van bestuur

Artikel 57 bis: Samenstelling van de raad van bestuur

1. De raad van bestuur is samengesteld uit de volgende leden:

a) één vertegenwoordiger van de nationale toezichthoudende autoriteit van elke lidstaat;

b) één vertegenwoordiger van de Commissie;

c) één vertegenwoordiger van de Europese Toezichthouder voor gegevensbescherming (EDPS);

d) één vertegenwoordiger van het Agentschap van de Europese Unie voor cyberbeveiliging (Enisa);

e) één vertegenwoordiger van het Bureau voor de grondrechten (FRA).

Elke vertegenwoordiger van een nationale toezichthoudende autoriteit heeft één stem. De vertegenwoordigers van de Commissie, de EDPS, Enisa en het FRA hebben geen stemrecht. Elk lid heeft een plaatsvervanger. Bij de benoeming van leden en plaatsvervangende leden van de raad van bestuur wordt rekening gehouden met de noodzaak van genderevenwicht. De namen van de leden van de raad van bestuur en hun plaatsvervangers worden openbaar gemaakt.

2. De leden en plaatsvervangende leden van de raad van bestuur bekleden geen posten en hebben geen commerciële belangen die een conflict opleveren met betrekking tot enig onderwerp dat verband houdt met de toepassing van deze verordening.

3. De regels voor de vergaderingen en stemmingen van de raad van bestuur en de benoeming en het ontslag van de uitvoerend directeur worden vastgelegd in het in artikel -57 ter, punt a), bedoelde reglement. 

Artikel 57 ter: Functies van de raad van bestuur

De raad van bestuur heeft de volgende taken:

a) strategische besluiten nemen over de activiteiten van het AI-bureau en zijn reglement vaststellen met een tweederdemeerderheid van zijn leden;

b) zijn reglement ten uitvoer leggen;

c) het ene programmeringsdocument van het AI-bureau en zijn jaarlijkse openbare verslag vaststellen en zowel aan het Europees Parlement als aan de Raad, de Commissie en de Rekenkamer toezenden;

d) de begroting van het AI-bureau vaststellen;

e) de uitvoerend directeur benoemen en, indien van toepassing, zijn of haar ambtstermijn verlengen of inkorten of hem of haar uit de functie ontheffen;

f) besluiten nemen over de oprichting van de interne structuren van het AI-bureau en, indien nodig, over de wijziging van de interne structuren die nodig zijn voor de uitvoering van de taken van het AI-bureau;

Artikel 57 quater: Voorzitterschap van de raad van bestuur

1. De raad van bestuur kiest met gewone meerderheid een voorzitter en twee vicevoorzitters uit zijn stemgerechtigde leden.

2. De ambtstermijn van de voorzitter en de vicevoorzitters bedraagt vier jaar. De ambtstermijn van de voorzitter en de vicevoorzitters kan eenmaal worden verlengd.

Artikel 57: Secretariaat

1. De activiteiten van het secretariaat worden beheerd door een uitvoerend directeur. De uitvoerend directeur legt verantwoording af aan de raad van bestuur. Onverminderd de respectieve bevoegdheden van de raad van bestuur en de instellingen van de Unie vraagt noch aanvaardt de uitvoerend directeur instructies van een regering of een andere instantie.

2. De uitvoerend directeur woont hoorzittingen bij over alle aangelegenheden die verband houden met de activiteiten van het AI-bureau en brengt op verzoek van het Europees Parlement of de Raad verslag uit over de uitvoering van de taken van de uitvoerend directeur.

3. De uitvoerend directeur vertegenwoordigt het AI-bureau, onder meer in internationale fora voor samenwerking met betrekking tot artificiële intelligentie.

4. Het secretariaat verstrekt de raad van bestuur en het adviesforum de analytische, administratieve en logistieke ondersteuning die nodig is om de taken van het AI-bureau uit te voeren, onder meer door:

a) de besluiten, programma’s en activiteiten uit te voeren die door de raad van bestuur zijn vastgesteld;

b) elk jaar het ontwerp van het ene programmeringsdocument, de ontwerpbegroting, het jaarlijkse activiteitenverslag over het AI-bureau, de ontwerpadviezen en de ontwerpstandpunten van het AI-bureau op te stellen en aan de raad van bestuur voor te leggen;

c) samen te werken met internationale fora voor samenwerking op het gebied van artificiële intelligentie.

Artikel 58: Adviesforum

1. Het adviesforum biedt het AI-bureau input van belanghebbenden in aangelegenheden die verband houden met deze verordening, met name met betrekking tot de in artikel 56 ter, punt l), vermelde taken.

(a) expertise en beste praktijken onder de lidstaten verzamelen en delen;

(b) bijdragen aan uniforme administratieve praktijken in de lidstaten, ook voor de werking van testomgevingen voor regelgeving als bedoeld in artikel 53;

(c) adviezen, aanbevelingen of schriftelijke bijdragen afgeven over aangelegenheden met betrekking tot de uitvoering van deze verordening, met name

i) over technische specificaties of bestaande normen ten aanzien van de in titel III, hoofdstuk 2, beschreven voorschriften,

ii) over het gebruik van geharmoniseerde normen of gemeenschappelijke specificaties als bedoeld in de artikelen 40 en 41,

iii) over de opstelling van begeleidende documenten, waaronder de richtsnoeren betreffende de bepaling van administratieve boeten als bedoeld in artikel 71.

1 bis. De samenstelling van het adviesforum vertegenwoordigt een evenwichtige selectie van belanghebbenden, waaronder het bedrijfsleven, start-ups, kmo’s, het maatschappelijk middenveld, de sociale partners en de academische wereld. Bij de samenstelling van het adviesforum wordt een evenwicht in acht genomen tussen commerciële en niet-commerciële belangen en, binnen de categorie commerciële belangen, tussen kmo’s en andere ondernemingen.

1 ter. De raad van bestuur benoemt de leden van het adviesforum volgens de in het reglement van het AI-bureau vastgestelde selectieprocedure, rekening houdend met de behoefte aan transparantie, en op basis van de criteria in lid 2.

1 quater. De ambtstermijn van de leden van het adviesforum bedraagt twee jaar en kan maximaal met vier jaar worden verlengd.

1 quinquies. Het Europees Comité voor Normalisatie (CEN), het Europees Comité voor elektrotechnische normalisatie (CENELEC) en het Europees Instituut voor telecommunicatienormen (ETSI) zijn permanente leden van het adviesforum. Het Gemeenschappelijk Centrum voor Onderzoek is permanent lid, zonder stemrecht.

1 sexies. Het adviesforum stelt zijn reglement vast. Het kiest uit zijn leden twee covoorzitters, op basis van de criteria in lid 2. De ambtstermijn van de covoorzitters bedraagt twee jaar en kan één keer worden verlengd.

1 septies. Het adviesforum belegt minstens vier keer per jaar een vergadering. Het adviesforum kan deskundigen en andere belanghebbenden uitnodigen om zijn vergaderingen bij te wonen. De uitvoerend directeur kan ambtshalve de vergaderingen van het adviesforum bijwonen.

1 octies. Bij de uitvoering van zijn in lid 1 omschreven rol kan het adviesforum adviezen, aanbevelingen en schriftelijke bijdragen opstellen.

1 nonies. Het adviesforum kan in voorkomend geval permanente of tijdelijke subgroepen oprichten om specifieke vraagstukken met betrekking tot de doelstellingen van deze verordening te onderzoeken.

1 decies. Het adviesforum stelt een jaarverslag van zijn activiteiten op. Dat verslag wordt openbaar gemaakt.

AFDELING 5: EUROPESE AUTORITEITEN OP HET GEBIED VAN BENCHMARKING

Artikel 58 bis: Benchmarking

De in artikel 15, lid 1 bis, bedoelde Europese autoriteiten op het gebied van benchmarking en het AI-bureau ontwikkelen gezamenlijk, in nauwe samenwerking met internationale partners, kosteneffectieve richtsnoeren en capaciteiten voor het meten en benchmarken van aspecten van AI-systemen en AI-componenten, met name van basismodellen die relevant zijn voor de naleving en handhaving van deze verordening op basis van de algemeen erkende stand van de techniek, onder meer zoals weerspiegeld in relevante geharmoniseerde normen. 

HOOFDSTUK 2: NATIONELE BEVOEGDE AUTORITEITEN

Artikel 59: Aanwijzing van nationale toezichthoudende autoriteiten

1. Elke lidstaat wijst één nationale toezichthoudende autoriteit aan, en deze wordt zodanig georganiseerd dat de objectiviteit en onpartijdigheid van haar activiteiten en taken uiterlijk [drie maanden na de datum van inwerkingtreding van deze verordening] gewaarborgd zijn.

2. De nationale toezichthoudende autoriteit zorgt voor de toepassing en uitvoering van deze verordening. Voor AI-systemen met een hoog risico, met betrekking tot producten waarop in bijlage II, deel A, vermelde rechtshandelingen van toepassing zijn, blijven de krachtens die rechtshandelingen aangewezen bevoegde autoriteiten de administratieve procedures leiden. Voor zover een geval betrekking heeft op aspecten die uitsluitend onder deze verordening vallen, zijn die bevoegde autoriteiten echter gebonden aan de aan die aspecten gerelateerde maatregelen die zijn uitgevaardigd door de krachtens deze verordening aangewezen nationale toezichthoudende autoriteit. De nationale toezichthoudende autoriteit treedt op als markttoezichtautoriteit.

3. De nationale toezichthoudende autoriteit en informatie over hoe hiermee contact kan worden opgenomen worden uiterlijk [drie maanden na de datum van inwerkingtreding van deze verordening] door de lidstaten openbaar gemaakt en meegedeeld aan het AI-bureau en de Commissie. De nationale toezichthoudende autoriteit fungeert als enig contactpunt voor deze verordening en moet bereikbaar zijn via elektronische communicatiemiddelen.

4. De lidstaten zorgen ervoor dat de nationale toezichthoudende autoriteit over voldoende technische, financiële en personele middelen en over passende infrastructuur beschikt om haar taken krachtens deze verordening effectief uit te voeren. De nationale toezichthoudende autoriteit beschikt met name over voldoende permanent beschikbaar personeel waarvan de bekwaamheid en expertise bestaat uit een grondig inzicht in artificiële-intelligentietechnologieën, gegevens en gegevensverwerking, bescherming van persoonsgegevens, cyberbeveiliging, mededingingsrecht, grondrechten, gezondheids- en veiligheidsrisico’s en kennis van bestaande normen en wettelijke eisen. De lidstaten beoordelen en, indien dit nodig wordt geacht, actualiseren de in dit lid bedoelde benodigde competenties en middelen jaarlijks.

4 bis. Elke nationale toezichthoudende autoriteit handelt bij het uitoefenen van haar bevoegdheden en het vervullen van haar verplichtingen op onafhankelijke, onpartijdige en onbevooroordeelde wijze. Bij de uitvoering van hun taken en de uitoefening van hun bevoegdheden krachtens deze verordening vragen noch aanvaarden de leden van elke nationale toezichthoudende autoriteit instructies van enig orgaan en verrichten zij geen handelingen die onverenigbaar zijn met hun taken.

4 ter. De nationale toezichthoudende autoriteiten voldoen aan de minimale cyberbeveiligingseisen die zijn vastgesteld voor overheidsdiensten die zijn aangemerkt als aanbieders van essentiële diensten overeenkomstig Richtlijn (EU) 2022/2555.

4 quater. Bij de uitvoering van haar taken eerbiedigt de nationale toezichthoudende autoriteit de in artikel 70 vastgelegde geheimhoudingsverplichtingen.

5. De lidstaten brengen jaarlijks verslag uit aan de Commissie over de status van de financiële en personele middelen van de nationale toezichthoudende autoriteit met een beoordeling van de toereikendheid ervan. De Commissie bezorgt die informatie ter bespreking en voor mogelijke aanbevelingen aan het AI-bureau.

6. verwijderd.

7. Nationale toezichthoudende autoriteiten kunnen begeleiding bij en advies over de uitvoering van deze verordening verstrekken, ook aan kmo’s en start-ups, rekening houdend met de richtsnoeren en het advies van het AI-bureau of de Commissie. Wanneer de nationale toezichthoudende autoriteit van plan is te voorzien in begeleiding en advies ten aanzien van een AI-systeem op gebieden die onder andere Uniewetgeving vallen, wordt de begeleiding in voorkomend geval opgesteld in overleg met de nationale bevoegde autoriteiten onder die Uniewetgeving.

8. Wanneer instellingen, agentschappen en instanties van de Unie binnen het toepassingsgebied van deze verordening vallen, treedt de Europese Toezichthouder voor gegevensbescherming op als de bevoegde autoriteit voor het toezicht daarop en de coördinatie daarvan.

Artikel 59 bis: Samenwerkingsmechanisme tussen de nationale toezichthoudende autoriteiten in gevallen waarbij twee of meer lidstaten betrokken zijn

1. Elke nationale toezichthoudende autoriteit voert de haar overeenkomstig deze verordening toegewezen taken uit en oefent de haar overeenkomstig deze verordening toegekende bevoegdheden uit op het grondgebied van haar lidstaat.

2. Indien er twee of meer nationale toezichthoudende autoriteiten bij een geval betrokken zijn, wordt de nationale toezichthoudende autoriteit van de lidstaat waar de inbreuk heeft plaatsgehad, beschouwd als de leidende toezichthoudende autoriteit.

3. In de in lid 2 bedoelde gevallen werken de betrokken toezichthoudende autoriteiten samen en wisselen zij tijdig alle relevante informatie uit. De nationale toezichthoudende autoriteiten werken samen om tot een consensus te komen.

TITEL VII: EU-DATABANK VOOR AI-SYSTEMEN MET EEN HOOG RISICO

Artikel 60: EU-databank voor AI-systemen met een hoog risico

1. De Commissie zorgt in samenwerking met de lidstaten voor het opzetten en onderhouden van een publieke EU-databank met informatie als bedoeld in de leden 2 en 2 bis betreffende AI-systemen met een hoog risico als bedoeld in artikel 6, lid 2, die overeenkomstig artikel 51 zijn geregistreerd.

2. De in bijlage VIII, deel A, vermelde data worden in de EU-databank ingevoerd door de aanbieders.

2 bis. De in bijlage VIII, deel B, vermelde data worden in de EU-databank ingevoerd door exploitanten die overheidsinstanties of instellingen, organen of instanties van de Unie zijn of namens hen optreden en door exploitanten die ondernemingen zijn als bedoeld in artikel 51, leden 1 bis en 1 ter.

3. De informatie in de EU-databank is vrij beschikbaar voor het publiek, gebruiksvriendelijk en toegankelijk, gemakkelijk navigeerbaar en machineleesbaar, en bevat gestructureerde digitale gegevens op basis van een gestandaardiseerd protocol..

4. De EU-databank bevat alleen persoonsgegevens voor zover die nodig zijn voor het verzamelen en verwerken van informatie overeenkomstig deze verordening. Deze informatie bevat de namen en contactgegevens van natuurlijke personen die verantwoordelijk zijn voor de registratie van het systeem en wettelijk gemachtigd zijn de aanbieder of de exploitant die een overheidsinstantie of een instelling, orgaan of instantie van de Unie is of namens deze optreedt, of een exploitant die een onderneming is als bedoeld in artikel 51, leden 1 bis, punt b), en 1 ter, te vertegenwoordigen.

5. De Commissie is voor de EU-databank de verantwoordelijke voor de verwerking. Zij biedt aanbieders en exploitanten ook adequate technische en administratieve ondersteuning.

De databank voldoet aan de toegankelijkheidsvoorschriften van bijlage I bij Richtlijn (EU) 2019/882.

TITEL VIII: MONITORING NA HET IN DE HANDEL BRENGEN, INFORMATIE-UITWISSELING, MARKTTOEZICHT

Hoofdstuk 1: Monitoring na het in de handel brengen

Artikel 61: Monitoring door aanbieders na het in de handel brengen en plan voor monitoring na het in de handel brengen voor AI-systemen met een hoog risico

1. Aanbieders moeten een systeem voor monitoring na het in de handel brengen vaststellen en documenteren op een manier die evenredig is aan de aard van de artificiële-intelligentietechnologieën en de risico’s van het AI-systeem met een hoog risico.

2. Het systeem voor monitoring na het in de handel brengen verzamelt, documenteert en analyseert actief en systematisch door exploitanten verstrekte of via andere bronnen verzamelde relevante data over de prestaties van AI-systemen met een hoog risico gedurende hun hele levensduur, en stelt de aanbieder in staat na te gaan of AI-systemen blijvend voldoen aan de in titel III, hoofdstuk 2, beschreven voorschriften. In voorkomend geval wordt in het kader van de monitoring na het in de handel brengen een analyse uitgevoerd van de interactie met andere omgevingen waarin AI-systemen worden gebruikt, waaronder andere apparaten en software, rekening houdend met de regels die van toepassing zijn op gebieden zoals gegevensbescherming, intellectuele-eigendomsrechten en mededingingsrecht. 

3. Het systeem voor monitoring na het in de handel brengen is gebaseerd op een plan voor monitoring na het in de handel brengen. Het plan voor monitoring na het in de handel brengen maakt deel uit van de in bijlage IV bedoelde technische documentatie. De Commissie stelt uiterlijk [twaalf maanden na de datum van inwerkingtreding van deze verordening] een uitvoeringshandeling vast met daarin gedetailleerde bepalingen voor de opstelling van een model voor het plan voor monitoring na het in de handel brengen en de lijst van elementen die in het plan moeten worden opgenomen.

4. Voor AI-systemen met een hoog risico die onder de in bijlage II bedoelde rechtshandelingen vallen en wanneer een systeem en plan voor monitoring na het in de handel brengen al krachtens die wetgeving zijn vastgesteld, worden de in de leden 1, 2 en 3 beschreven elementen op passende wijze in dat systeem en plan opgenomen.

De eerste alinea is ook van toepassing op in punt 5, b), van bijlage III vermelde AI-systemen met een hoog risico die in de handel zijn gebracht of in bedrijf zijn gesteld door onder Richtlijn 2013/36/EU vallende kredietinstellingen.

Hoofdstuk 2: Uitwisseling van informatie over incidenten en storingen

Artikel 62: Melding van ernstige incidenten

1. Aanbieders en, indien exploitanten een ernstig incident hebben vastgesteld, exploitanten van in de Unie in de handel gebrachte AI-systemen met een hoog risico melden ernstige incidenten met of storingen van die systemen die een niet-nakoming van verplichtingen krachtens Unierecht ter bescherming van grondrechten inhouden, aan de nationale toezichthoudende autoriteiten van de lidstaten waar dat incident of die niet-nakoming plaatsvond.

Een dergelijke melding vindt plaats zo snel mogelijk nadat de aanbieder of, in voorkomend geval, de exploitant een oorzakelijk verband tussen het AI-systeem en het incident of de redelijke waarschijnlijkheid van een dergelijk verband heeft vastgesteld en in ieder geval uiterlijk 72 uur nadat de aanbieder of, in voorkomend geval, de exploitant zich bewust wordt van het ernstige incident.

1 bis. Wanneer aanbieders een oorzakelijk verband tussen het AI-systeem en het ernstige incident of de redelijke waarschijnlijkheid van een dergelijk verband vaststellen, nemen zij passende corrigerende maatregelen overeenkomstig artikel 21.

2. Na ontvangst van een melding met betrekking tot een niet-nakoming van verplichtingen krachtens Unierecht ter bescherming van grondrechten stelt de nationale toezichthoudende autoriteit de in artikel 64, lid 3, bedoelde nationale overheidsinstanties of -organen in kennis. De Commissie ontwikkelt specifieke richtsnoeren om nakoming van de in lid 1 vermelde verplichtingen te vergemakkelijken. Die richtsnoeren worden uiterlijk op ... [datum inwerkingtreding van deze verordening] uitgevaardigd en worden regelmatig geëvalueerd.

2 bis. De nationale toezichthoudende autoriteit neemt binnen 7 dagen na ontvangst van de in lid 1 bedoelde melding passende maatregelen. Wanneer de inbreuk plaatsvindt of waarschijnlijk plaatsvindt in andere lidstaten, meldt de nationale toezichthoudende autoriteit dit aan het AI-bureau en de relevante nationale bevoegde autoriteiten van deze lidstaten.

3. Voor in bijlage III vermelde AI-systemen met een hoog risico die in de handel zijn gebracht of in bedrijf zijn gesteld door aanbieders die onderworpen zijn aan wetgevingsinstrumenten van de Unie met daarin meldingsverplichtingen die gelijkwaardig zijn aan de in deze verordening vervatte meldingsverplichtingen, wordt de melding van ernstige incidenten die een schending van de grondrechten inhouden als bedoeld in het Unierecht doorgegeven aan de nationale toezichthoudende autoriteit.

3 bis. De nationale toezichthoudende autoriteiten stellen het AI-bureau jaarlijks in kennis van de ernstige incidenten die overeenkomstig dit artikel aan hen zijn gemeld.

Hoofdstuk 3: Handhaving

Artikel 63: Markttoezicht op en controle van AI-systemen op de markt van de Unie

1. Verordening (EU) 2019/1020 is van toepassing op AI-systemen en basismodellen die onder deze verordening vallen. Voor de doeltreffende handhaving van deze verordening geldt echter het volgende:

(a) verwijzingen naar een marktdeelnemer krachtens Verordening (EU) 2019/1020 worden begrepen als verwijzingen naar alle exploitanten als bedoeld in titel III, hoofdstuk 3, van deze verordening;

(b) verwijzingen naar een product krachtens Verordening (EU) 2019/1020 worden begrepen als verwijzingen naar alle AI-systemen die binnen het toepassingsgebied van deze verordening vallen.

(b bis) de nationale toezichthoudende autoriteiten treden op als markttoezichtautoriteiten als bedoeld in deze verordening en hebben dezelfde bevoegdheden en verplichtingen als markttoezichtautoriteiten als bedoeld in Verordening (EU) 2019/1020.

2. De nationale toezichthoudende autoriteit brengt jaarlijks aan de Commissie en het AI-bureau verslag uit over de resultaten van relevante markttoezichtactiviteiten. De nationale toezichthoudende autoriteit stelt de Commissie en relevante nationale mededingingsautoriteiten onverwijld in kennis van eventuele tijdens markttoezichtactiviteiten verkregen informatie die van potentieel belang kan zijn voor de toepassing van het Unierecht op mededingingsregels.

3. Voor AI-systemen met een hoog risico, met betrekking tot producten waarop in bijlage II, deel A, vermelde rechtshandelingen van toepassing zijn, is de markttoezichtautoriteit voor de toepassing van deze verordening de autoriteit die verantwoordelijk is voor markttoezichtactiviteiten volgens die rechtshandelingen.

3 bis. Om een doeltreffende handhaving van deze verordening te waarborgen kunnen de nationale toezichthoudende autoriteiten:

a) onaangekondigde inspecties ter plaatse en op afstand uitvoeren met betrekking tot AI-systemen met een hoog risico;

b) monsters vergaren met betrekking tot AI-systemen met een hoog risico, onder meer door inspecties op afstand uit te voeren, om de AI-systemen te onderwerpen aan reverse-engineering en om bewijs van non-conformiteit te verkrijgen.

4. Voor AI-systemen met een hoog risico die in de handel zijn gebracht, in bedrijf zijn gesteld of worden gebruikt door kredietinstellingen geregeld bij Uniewetgeving inzake financiële diensten, is de markttoezichtautoriteit voor de toepassing van deze verordening de relevante autoriteit die verantwoordelijk is voor het financiële toezicht op die instellingen krachtens die wetgeving.

5. Voor AI-systemen die voor rechtshandhavingsdoeleinden worden gebruikt wijzen de lidstaten als markttoezichtautoriteiten voor de toepassing van deze verordening de bevoegde toezichthoudende autoriteiten inzake gegevensbescherming krachtens Richtlijn (EU) 2016/680 aan.

6. Wanneer instellingen, agentschappen en instanties van de Unie binnen het toepassingsgebied van deze verordening vallen, treedt de Europese Toezichthouder voor gegevensbescherming op als hun markttoezichtautoriteit.

7. De krachtens deze verordening aangewezen nationale toezichthoudende autoriteiten werken samen andere relevante nationale autoriteiten of instanties die toezicht houden op de toepassing van in bijlage II vermelde harmonisatiewetgeving van de Unie of ander Unierecht dat relevant kan zijn voor de AI-systemen met een hoog risico als bedoeld in bijlage III.

Artikel 64: Toegang tot data en documentatie

1. In de context van hun activiteiten en op hun met redenen omkleed verzoek wordt de nationale toezichthoudende autoriteiten volledige toegang verleend tot de door de aanbieder of, in voorkomend geval, de exploitant gebruikte datareeksen voor trainings-, validatie- en testdoeleinden, die relevant en strikt noodzakelijk zijn met het oog op hun verzoek, via passende technische middelen en instrumenten.

2. Indien dit nodig is om de overeenstemming van het AI-systeem met een hoog risico met de in titel III, hoofdstuk 2, beschreven voorschriften te beoordelen, nadat alle andere redelijke manieren om de conformiteit te verifiëren, waaronder toepassing van lid 1, zijn uitgeput of ontoereikend zijn gebleken, wordt de nationale toezichthoudende autoriteiten na een met redenen omkleed verzoek toegang verleend tot de trainings- en getrainde modellen van het AI-systeem, met inbegrip van de relevante modelparameters ervan. Alle overeenkomstig artikel 70 verkregen informatie wordt behandeld als vertrouwelijke informatie, is onderworpen aan het bestaande Unierecht inzake de bescherming van intellectuele eigendom en bedrijfsgeheimen en wordt gewist na voltooiing van het onderzoek in verband waarmee om de informatie is verzocht. 

2 bis. De leden 1 en 2 doen geen afbreuk aan de procedurele rechten van de betrokken operator overeenkomstig artikel 18 van Verordening (EU) 2019/1020.

3. Nationale overheidsinstanties of -organen die de nakoming van verplichtingen krachtens Unierecht ter bescherming van grondrechten met betrekking tot het gebruik van AI-systemen met een hoog risico als bedoeld in bijlage III controleren of handhaven, zijn bevoegd om krachtens deze verordening opgestelde of bijgehouden documentatie aan te vragen en in te zien wanneer toegang tot die documentatie nodig is voor de uitoefening van de bevoegdheden onder hun mandaat binnen de grenzen van hun rechtsgebied. De relevante overheidsinstantie of het relevante overheidsorgaan stelt de nationale toezichthoudende autoriteit van de betrokken lidstaat van een dergelijke aanvraag in kennis.

4. Uiterlijk drie maanden na de inwerkingtreding van deze verordening moet elke lidstaat de in lid 3 bedoelde overheidsinstanties of -organen identificeren en een lijst openbaar maken op de website van de nationale toezichthoudende autoriteit. De nationale toezichthoudende autoriteiten stellen de Commissie, het AI-bureau en alle andere nationale toezichthoudende autoriteiten in kennis van de lijst en houden deze up-to-date. De Commissie maakt op een speciale website de lijst bekend met alle overeenkomstig dit artikel door de lidstaten aangewezen bevoegde autoriteiten.

5. Indien de in lid 3 bedoelde documentatie ontoereikend is om vast te stellen of sprake is geweest van een niet-nakoming van verplichtingen krachtens Unierecht ter bescherming van grondrechten, kunnen de in lid 3 bedoelde overheidsinstanties of -organen een met redenen omkleed verzoek bij de nationale toezichthoudende autoriteit indienen om over te gaan tot het testen van het AI-systeem met een hoog risico met technische middelen. De nationale toezichthoudende autoriteit organiseert de testprocedure binnen een redelijke termijn na het verzoek en met nauwe betrokkenheid van de verzoekende overheidsinstantie of het verzoekende overheidsorgaan.

6. Door de in lid 3 bedoelde overheidsinstanties of -organen volgens de bepalingen van dit artikel verkregen informatie en documentatie worden verwerkt overeenkomstig de in artikel 70 beschreven geheimhoudingsverplichtingen.

Artikel 65: Procedure voor de omgang met AI-systemen die een risico op nationaal niveau inhouden

1. Onder AI-systemen die een risico vormen wordt verstaan een AI-systeem dat een ongunstige invloed kan hebben op de gezondheid en veiligheid en de grondrechten van personen in het algemeen, waaronder op het werk, consumentenbescherming, het milieu, de openbare veiligheid, de democratie of de rechtsstaat en andere openbare belangen die worden beschermd door de toepasselijke harmonisatiewetgeving van de Unie, in een mate die verder gaat dan wat redelijk en aanvaardbaar wordt geacht in verhouding tot het beoogde gebruik ervan of bij normale of redelijkerwijs voorzienbare omstandigheden van gebruik van het betrokken systeem, ook wat gebruiksduur en, indien van toepassing, de inbedrijfstelling, de installatie en de onderhoudseisen betreft.

2. Indien de nationale toezichthoudende autoriteit van een lidstaat voldoende redenen heeft om ervan uit te gaan dat een AI-systeem een risico inhoudt zoals bedoeld in lid 1, verricht zij een evaluatie van het betrokken AI-systeem ten aanzien van de overeenstemming ervan met alle eisen en verplichtingen van deze verordening. Wanneer sprake is van risico’s voor de grondrechten, stelt de nationale toezichthoudende autoriteit ook de in artikel 64, lid 3, bedoelde relevante nationale overheidsinstanties of -organen hiervan onverwijld in kennis en verleent zij deze instanties of organen haar volledige medewerking. Wanneer er voldoende reden is om aan te nemen dat een AI-systeem gebruikmaakt van de kwetsbaarheden van kwetsbare groepen of dat het systeem de rechten van kwetsbare groepen al dan niet opzettelijk schendt, heeft de nationale toezichthoudende autoriteit de plicht om de doelen van het ontwerp, de data-input, modelselectie, toepassing en resultaten van het AI-systeem te onderzoeken. De relevante operators werken indien nodig samen met de nationale toezichthoudende autoriteiten en de andere in artikel 64, lid 3, bedoelde nationale overheidsinstanties of -organen.

Indien de nationale toezichthoudende autoriteit of, in voorkomend geval, de nationale overheidsinstantie als bedoeld in artikel 64, lid 3, bij deze beoordeling vaststelt dat het AI-systeem niet aan de eisen en verplichtingen van deze verordening voldoet, gelast zij de betrokken operator onverwijld passende corrigerende maatregelen te nemen om het AI-systeem binnen een door haar vast te stellen redelijke termijn, die evenredig is met de aard van het risico, doch in elk geval binnen 15 werkdagen of binnen de termijn die is vastgelegd in de van toepassing zijnde relevante harmonisatiewetgeving van de Unie, conform te maken, uit de handel te nemen of terug te roepen.

De nationale toezichthoudende autoriteit stelt de relevante aangemelde instantie daarvan in kennis. Artikel 18 van Verordening (EU) 2019/1020 is van toepassing op de in de tweede alinea genoemde maatregelen.

3. Indien de nationale toezichthoudende autoriteit van mening is dat de non-conformiteit niet beperkt blijft tot haar nationale grondgebied, brengt zij de Commissie, het AI-bureau en de nationale toezichthoudende autoriteiten van de andere lidstaten zo snel mogelijk op de hoogte van de resultaten van de evaluatie en van de maatregelen die zij de operator heeft opgelegd.

4. De exploitant zorgt ervoor dat alle betrokken AI-systemen die hij in de Unie op de markt heeft aangeboden aan alle passende corrigerende maatregelen worden onderworpen.

5. Indien de operator van een AI-systeem niet binnen de in lid 2 bedoelde termijn doeltreffende corrigerende actie onderneemt, neemt de nationale toezichthoudende autoriteit alle passende voorlopige maatregelen om het op haar nationale markt aanbieden of in gebruik stellen van het AI-systeem te verbieden of te beperken, het AI-systeem in de betrokken lidstaat uit de handel te nemen of terug te roepen. Die autoriteit brengt de Commissie, het AI-bureau en de nationale toezichthoudende autoriteiten van de andere lidstaten onmiddellijk van deze maatregelen op de hoogte.

6. De in lid 5 bedoelde informatie omvat alle bekende bijzonderheden, met name de gegevens die nodig zijn om het non-conforme AI-systeem te identificeren en om de oorsprong van het AI-systeem en de toeleveringsketen, de aard van de beweerde non-conformiteit en van het risico, en de aard en de duur van de nationale maatregelen vast te stellen, evenals de argumenten die worden aangevoerd door de desbetreffende operator. De nationale toezichthoudende autoriteiten vermelden met name of de non-conformiteit een of meer van de volgende redenen heeft:

(a) het AI-systeem met een hoog risico voldoet niet aan in deze verordening beschreven voorschriften;

(b) tekortkomingen in de in de artikelen 40 en 41 bedoelde geharmoniseerde normen of gemeenschappelijke specificaties die een vermoeden van conformiteit rechtvaardigen.

(b bis) niet-naleving van het verbod van de in artikel 5 vermelde praktijken op het gebied van artificiële intelligentie;

(b ter) niet-naleving van de bepalingen van artikel 52.

7. De nationale toezichthoudende autoriteiten van de andere lidstaten die welke de procedure in gang heeft gezet, brengen de Commissie, het AI-bureau en de andere lidstaten onverwijld op de hoogte van door hen genomen maatregelen en van aanvullende informatie over de non-conformiteit van het AI-systeem waarover zij beschikken, en van hun bezwaren indien zij het niet eens zijn met de aangemelde nationale maatregel.

8. Indien binnen drie maanden na ontvangst van de in lid 5 bedoelde informatie door een nationale toezichthoudende autoriteit van een lidstaat of de Commissie geen bezwaar tegen een voorlopige maatregel van een nationale toezichthoudende autoriteit van een andere lidstaat is ingediend, wordt die maatregel geacht gerechtvaardigd te zijn. Dit is onverminderd de procedurele rechten van de betrokken operator overeenkomstig artikel 18 van Verordening (EU) 2019/1020. De in de eerste zin van dit lid bedoelde termijn wordt verkort tot dertig dagen in geval van niet-naleving van het verbod op de in artikel 5 bedoelde praktijken op het gebied van artificiële intelligentie.

9. De nationale toezichthoudende autoriteiten van alle lidstaten zorgen ervoor dat ten aanzien van het betrokken AI-systeem onmiddellijk de passende beperkende maatregelen worden genomen, zoals het uit de handel nemen van het AI-systeem op hun markt.

9 bis. De nationale toezichthoudende autoriteiten brengen jaarlijks aan het AI-bureau verslag uit over de toepassing van verboden praktijken in de loop van dat jaar en over de maatregelen die overeenkomstig dit artikel zijn genomen om risico’s uit te sluiten of te beperken

Artikel 66: Vrijwaringsprocedure van de Unie

1. Indien de nationale toezichthoudende autoriteit van een lidstaat binnen drie maanden na ontvangst van de in artikel 65, lid 5, bedoelde kennisgeving of, in geval van niet-naleving van het verbod op de in artikel 5 bedoelde praktijken op het gebied van artificiële intelligentie, binnen een termijn van 30 dagen bezwaar maakt tegen een door een andere nationale toezichthoudende autoriteit genomen maatregel of wanneer de Commissie de maatregel in strijd acht met het Unierecht, treedt de Commissie onverwijld in overleg met de nationale toezichthoudende autoriteit van de relevante lidstaat en operator of operators en evalueert zij de nationale maatregel. Op grond van de resultaten van die evaluatie besluit de Commissie binnen drie maanden of, in geval van niet-naleving van het verbod op de in artikel 5 bedoelde praktijken op het gebied van artificiële intelligentie, binnen een termijn van 60 dagen na ontvangst van de in artikel 65, lid 5, bedoelde kennisgeving of de nationale maatregel al dan niet gerechtvaardigd is en stelt zij de nationale toezichthoudende autoriteit van de betrokken lidstaat in kennis van dat besluit. De Commissie stelt ook alle andere nationale toezichthoudende autoriteiten in kennis van een dergelijk besluit.

2. Indien de nationale maatregel gerechtvaardigd wordt geacht, nemen alle op grond van deze verordening aangewezen nationale toezichthoudende autoriteiten de nodige maatregelen om het non-conforme AI-systeem onverwijld uit de handel te nemen en stellen zij de Commissie en het AI-bureau daarvan in kennis. Indien de nationale maatregel niet gerechtvaardigd wordt geacht, trekt de nationale toezichthoudende autoriteit van de betrokken lidstaat de maatregel in.

3. Indien de nationale maatregel gerechtvaardigd wordt geacht en de non-conformiteit van het AI-systeem wordt toegeschreven aan tekortkomingen in de geharmoniseerde normen of gemeenschappelijke specificaties bedoeld in de artikelen 40 en 41 van deze verordening, past de Commissie de procedure van artikel 11 van Verordening (EU) nr. 1025/2012 toe.

Artikel 66 bis: Gezamenlijke onderzoeken

Wanneer een nationale toezichthoudende autoriteit redenen heeft om te vermoeden dat de inbreuk door een aanbieder of exploitant van een AI-systeem met een hoog risico of basismodel op de bepalingen van deze verordening aangemerkt dient te worden als een wijdverbreide inbreuk met een Uniedimensie of gevolgen heeft of waarschijnlijk gevolgen heeft voor ten minste 45 miljoen personen in meer dan één lidstaat, stelt die nationale toezichthoudende autoriteit het AI-bureau daarvan in kennis en kan zij de nationale toezichthoudende autoriteiten van de lidstaten waar een dergelijke inbreuk heeft plaatsgevonden verzoeken een gezamenlijk onderzoek in te stellen. Het AI-bureau draagt zorg voor de centrale coördinatie van het gezamenlijke onderzoek. De onderzoeksbevoegdheden blijven toebehoren aan de nationale toezichthoudende autoriteiten. 

Artikel 67: Conforme AI-systemen die een risico inhouden

1. Indien de nationale toezichthoudende autoriteit van een lidstaat na uitvoering van een evaluatie overeenkomstig artikel 65 in volledige samenwerking met de relevante nationale overheidsinstantie als bedoeld in artikel 64, lid 3, vaststelt dat een AI-systeem dat voldoet aan deze verordening, toch een ernstig risico inhoudt voor de gezondheid of veiligheid van personen, voor de nakoming van verplichtingen krachtens het Unie- of interne recht ter bescherming van grondrechten of het milieu of de democratie en de rechtsstaat, of voor andere aspecten van de bescherming van algemene belangen, verlangt zij van de relevante operator dat hij alle passende maatregelen neemt om ervoor te zorgen dat het betrokken AI-systeem dat risico niet meer inhoudt wanneer het in de handel wordt gebracht of in bedrijf wordt gesteld, of om het AI-systeem binnen een door haar vast te stellen redelijke termijn, die evenredig is met de aard van het risico, uit de handel te nemen of terug te roepen.

2. De aanbieder of andere relevante operators zorgen ervoor dat binnen de door de nationale toezichthoudende autoriteit van de lidstaat vastgestelde termijn als bedoeld in lid 1 corrigerende maatregelen worden genomen ten aanzien van alle betrokken AI-systemen die zij in de Unie op de markt hebben aangeboden.

2 bis. Indien de aanbieder of andere relevante operators geen corrigerende maatregelen nemen als bedoeld in lid 2 en indien het AI-systeem een risico blijft vormen als bedoeld in lid 1, kan de nationale toezichthoudende autoriteit van de betreffende operator eisen dat deze het AI-systeem binnen een redelijke termijn, die evenredig is met de aard van het risico, uit de handel neemt of terugroept.

3. De nationale toezichthoudende autoriteit brengt de Commissie, het AI-bureau en de andere nationale toezichthoudende autoriteiten daarvan onmiddellijk op de hoogte. Die informatie omvat alle bekende bijzonderheden, met name de gegevens die nodig zijn om het betrokken AI-systeem te identificeren en om de oorsprong en de toeleveringsketen van het AI-systeem, de aard van het betrokken risico en de aard en de duur van de nationale maatregelen vast te stellen.

4. De Commissie treedt, na raadpleging van het AI-bureau, onverwijld in overleg met de betrokken nationale toezichthoudende autoriteiten en de relevante operator en evalueert de genomen nationale maatregelen. Aan de hand van die beoordeling besluit het AI-bureau of de maatregel al dan niet gerechtvaardigd is, en stelt zij zo nodig passende maatregelen voor.

5. De Commissie deelt, na overleg met het AI-bureau, haar besluit onmiddellijk mee aan de nationale toezichthoudende autoriteiten van de betrokken lidstaten en aan de relevante operators. Zij deelt haar besluit ook mee aan alle andere nationale toezichthoudende autoriteiten. 

5 bis. De Commissie stelt richtsnoeren vast om nationale bevoegde autoriteiten te helpen waar nodig soortgelijke problemen die zich in andere AI-systemen voordoen op te sporen en recht te zetten.

Artikel 68: Formele non-conformiteit

1. Indien de nationale toezichthoudende autoriteit van een lidstaat een van de volgende feiten vaststelt, verlangt zij van de betrokken aanbieder dat deze een einde maakt aan de non-conformiteit:

(a) de CE-markering is in strijd met artikel 49 aangebracht;

(b) de CE-markering is niet aangebracht;

(c) de EU-conformiteitsverklaring is niet opgesteld;

(d) de EU-conformiteitsverklaring is niet correct opgesteld;

(e) het identificatienummer van de aangemelde instantie, die betrokken is bij de conformiteitsbeoordelingsprocedure, in voorkomend geval, is niet aangebracht.

(e bis) de technische documentatie is niet beschikbaar;

(e ter) er heeft geen registratie in de EU-databank plaatsgevonden;

(e quater) in voorkomend geval: er is geen gemachtigde aangewezen.

2. Indien de in lid 1 bedoelde non-conformiteit voortduurt, neemt de nationale toezichthoudende autoriteit van de betrokken lidstaat passende en evenredige maatregelen om het op de markt aanbieden van het AI-systeem met een hoog risico te beperken of te verbieden, of het AI-systeem onverwijld terug te roepen of uit de handel te nemen. De nationale toezichthoudende autoriteit van de betrokken lidstaat informeert het AI-bureau onverwijld over de non-conformiteit en de getroffen maatregelen.

HOOFDSTUK 3 BIS: RECHTSMIDDELEN

Artikel 68 bis: Recht om een klacht in te dienen bij een nationale toezichthoudende autoriteit

1. Onverminderd andere mogelijkheden van administratief beroep of een voorziening in rechte, heeft elke natuurlijke persoon of groep van natuurlijke personen het recht een klacht in te dienen bij een nationale toezichthoudende autoriteit, met name in de lidstaat waar deze persoon of groep personen gewoonlijk verblijft, zijn of haar werkplek heeft of waar de beweerde inbreuk is begaan, indien hij of zij van mening is dat het AI-systeem waarmee hij of zij te maken heeft inbreuk maakt op deze verordening.

2. De nationale toezichthoudende autoriteit waarbij de klacht is ingediend, stelt de klager in kennis van de voortgang en het resultaat van de klacht, alsmede van de mogelijke voorziening in rechte overeenkomstig artikel 78.

Artikel 68 ter: Recht op een doeltreffende voorziening in rechte tegen een nationale toezichthoudende autoriteit

1. Onverminderd andere mogelijkheden van administratief of buitengerechtelijk beroep, heeft iedere natuurlijke persoon of rechtspersoon het recht op een doeltreffende voorziening in rechte tegen een hem betreffend juridisch bindend besluit van een nationale toezichthoudende autoriteit.

2. Onverminderd andere mogelijkheden van administratief of buitengerechtelijk beroep heeft iedere natuurlijke of rechtspersoon het recht op een doeltreffende voorziening in rechte indien de overeenkomstig artikel 59 bevoegde nationale toezichthoudende autoriteit een klacht niet behandelt of de betrokkene niet binnen drie maanden van de voortgang of het resultaat van de uit hoofde van artikel 68 bis ingediende klacht in kennis stelt.

3. Een procedure tegen een nationale toezichthoudende autoriteit wordt ingesteld bij de rechterlijke instanties van de lidstaat waar de nationale toezichthoudende autoriteit gevestigd is.

4. Wanneer een procedure wordt ingesteld tegen een besluit van een nationale toezichthoudende autoriteit waaraan een advies of een besluit van de Commissie in het kader van de vrijwaringsprocedure van de Unie is voorafgegaan, doet de toezichthoudende autoriteit dat advies of besluit aan de rechterlijke instantie toekomen.

Artikel 68 quater: Recht op toelichting met betrekking tot individuele besluitvorming

1. Elke getroffen persoon ten aanzien van wie door een exploitant een besluit is genomen op basis van de output van een AI-systeem met een hoog risico en dat rechtsgevolgen heeft voor hem of haar of hem of haar treft op een wijze die volgens deze persoon negatieve gevolgen heeft voor zijn of haar gezondheid, veiligheid, grondrechten, sociaaleconomisch welzijn of andere rechten die voortvloeien uit de in deze verordening vastgestelde verplichtingen, heeft het recht om van de exploitant een duidelijke en zinvolle toelichting te ontvangen, in overeenstemming met artikel 13, lid 1, met betrekking tot de rol van het AI-systeem in het kader van de besluitvormingsprocedure, de belangrijkste parameters van het genomen besluit en de bijbehorende inputdata.

2. Lid 1 is niet van toepassing op het gebruik van AI-systemen waarvoor uitzonderingen op of beperkingen van de in lid 1 bedoelde verplichting voortvloeien uit het Unierecht of het nationale recht, voor zover dergelijke uitzonderingen of beperkingen de wezenlijke inhoud van de grondrechten en fundamentele vrijheden eerbiedigen en in een democratische samenleving een noodzakelijke en evenredige maatregel vormen.

3. Dit artikel is van toepassing onverminderd de artikelen 13, 14, 15, en 22 van Verordening (EU) 2016/679. 

Artikel 68 quinquies: Wijziging van Richtlijn (EU) 2020/1828

In bijlage I bij Richtlijn (EU) 2020/1828 van het Europees Parlement en de Raad1bis wordt het volgende punt toegevoegd:

 “(67 bis) Verordening xxxx/xxxx van het Europees Parlement en de Raad [tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie (wet op de artificiële intelligentie) en tot wijziging van bepaalde wetgevingshandelingen van de Unie (PB L ...)]”.

_________________
1bis Richtlijn (EU) 2020/1828 van het Europees Parlement en de Raad van 25 november 2020 betreffende representatieve vorderingen ter bescherming van de collectieve belangen van consumenten en tot intrekking van Richtlijn 2009/22/EG (PB L 409 van 4.12.2020, blz. 1).

Artikel 68 sexies: Melding van inbreuken en bescherming van melders

Richtlijn (EU) 2019/1937 van het Europees Parlement en de Raad is van toepassing op de melding van inbreuken op deze verordening en de bescherming van personen die dergelijke inbreuken melden.

TITEL IX: GEDRAGSCODES

Artikel 69: Gedragscodes

1. De Commissie, het AI-bureau en de lidstaten stimuleren en vergemakkelijken de opstelling van gedragscodes die bedoeld zijn om de vrijwillige toepassing van de in titel III, hoofdstuk 2, beschreven voorschriften op andere AI-systemen dan AI-systemen met een hoog risico te bevorderen op basis van technische specificaties en oplossingen die passende middelen zijn om naleving van zulke voorschriften in het licht van het beoogde doel van de systemen te waarborgen, onder meer indien deze opgesteld worden om aan te tonen dat AI-systemen in overeenstemming zijn met de in artikel 4 bis vastgelegde beginselen en derhalve als betrouwbaar kunnen worden beschouwd.

2. Met name is het zo dat gedragscodes die bedoeld zijn om de vrijwillige naleving van de beginselen die ten grondslag liggen aan betrouwbare AI-systemen te bevorderen:

a) gericht zijn op een voldoende niveau van AI-geletterdheid onder hun personeel en andere personen die met de werking en het gebruik van AI-systemen te maken hebben, om deze beginselen in acht te nemen;

b) beoordelen in hoeverre de AI-systemen gevolgen kunnen hebben voor kwetsbare personen of groepen personen, met inbegrip van kinderen, ouderen, migranten en personen met een handicap, dan wel of er maatregelen kunnen worden genomen om ze toegankelijker te maken of dergelijke personen of groepen personen anderszins te ondersteunen;

c) aandacht besteden aan de wijze waarop het gebruik van hun AI-systemen van invloed kan zijn op diversiteit, genderevenwicht en gelijkheid of deze kan vergroten;

d) aandacht besteden aan de vraag of de AI-systemen kunnen worden gebruikt op een wijze die direct of indirect bestaande vooroordelen of ongelijkheden deels of aanzienlijk versterkt;

e) nadenken over de noodzaak en relevantie van diverse ontwikkelingsteams met het oog op een inclusief ontwerp van hun systemen;

f) zorgvuldig nagaan of de systemen negatieve maatschappelijke gevolgen kunnen hebben, met name wat betreft politieke instellingen en democratische processen;

g) nagaan hoe AI-systemen kunnen bijdragen tot milieuduurzaamheid en met name tot de toezeggingen van de Unie in het kader van de Europese Green Deal en de Europese verklaring over digitale rechten en beginselen.

3. Gedragscodes kunnen door individuele aanbieders van AI-systemen of door organisaties die hen vertegenwoordigen, of allebei, worden opgesteld, ook met betrokkenheid van gebruikers en geïnteresseerde belanghebbenden, waaronder wetenschappelijk onderzoekers, en hun representatieve organisaties, met name vakbonden en consumentenorganisaties. Gedragscodes kunnen betrekking hebben op een of meer AI-systemen, rekening houdend met de overeenkomst van het beoogde doel van de relevante systemen. Aanbieders die gedragscodes vaststellen, wijzen ten minste één natuurlijke persoon aan die verantwoordelijk is voor de interne monitoring.

4. De Commissie en het AI-bureau houden rekening met de specifieke belangen en behoeften van kmo’s en start-ups bij het stimuleren en vergemakkelijken van de opstelling van gedragscodes.

TITEL X: VERTROUWELIJKHEID EN SANCTIES

Artikel 70: Vertrouwelijkheid

1. De Commissie, de nationale bevoegde autoriteiten en aangemelde instanties die betrokken zijn bij de toepassing van deze verordening, het AI-bureau en alle andere natuurlijke of rechtspersonen eerbiedigen de vertrouwelijke aard van informatie en gegevens die zij hebben verkregen tijdens het uitvoeren van hun taken en activiteiten met het oog op de bescherming van:

(a) intellectuele-eigendomsrechten, en vertrouwelijke bedrijfsinformatie of bedrijfsgeheimen van een natuurlijke of rechtspersoon, overeenkomstig de bepalingen van Richtlijn 2004/48/EG en Richtlijn 2016/943/EG, waaronder de broncode, uitgezonderd de in artikel 5 van Richtlijn (EU) 2016/943 betreffende de bescherming van niet-openbaar gemaakte knowhow en bedrijfsinformatie (bedrijfsgeheimen) tegen het onrechtmatig verkrijgen, gebruiken en openbaar maken daarvan vermelde gevallen;

(b) de doeltreffende uitvoering van deze verordening, met name de uitvoering van inspecties, onderzoeken of audits; c) openbare en nationale veiligheidsbelangen;

(b bis) openbare en nationale veiligheidsbelangen

(c) de integriteit van strafrechtelijke of administratieve procedures.

1 bis. De autoriteiten die betrokken zijn bij de toepassing van deze verordening overeenkomstig lid 1 beperken de hoeveelheid voor openbaarmaking verlangde gegevens tot de gegevens die strikt noodzakelijk zijn voor het vermeende risico en de beoordeling van dat risico. Zij wissen de gegevens zodra deze niet langer nodig zijn voor het doel waarvoor zij werden verlangd. Zij nemen passende en doeltreffende cyberbeveiligings-, technische en organisatorische maatregelen ter bescherming van de veiligheid en de vertrouwelijkheid van de informatie en de gegevens die zij tijdens het uitvoeren van hun taken en werkzaamheden hebben verkregen.

2. Onverminderd de leden 1 en 1 bis mag op vertrouwelijke basis tussen de nationale bevoegde autoriteiten en tussen nationale bevoegde autoriteiten en de Commissie uitgewisselde informatie niet openbaar worden gemaakt zonder de voorafgaande raadpleging van de nationale bevoegde autoriteit waarvan de informatie afkomstig is en de exploitant wanneer in de punten 1, 6 en 7 van bijlage III bedoelde AI-systemen met een hoog risico worden gebruikt door rechtshandhavings-, immigratie- of asielautoriteiten, wanneer dergelijke openbaarmaking de openbare of nationale veiligheid in gevaar zou brengen.

Wanneer de rechtshandhavings-, immigratie- of asielautoriteiten aanbieder van in de punten 1, 6 en 7 van bijlage III bedoelde AI-systemen met een hoog risico zijn, blijft de in bijlage IV vermelde technische documentatie in de gebouwen van die autoriteiten. Die autoriteiten waarborgen dat de markttoezichtautoriteiten bedoeld in artikel 63, leden 5 en 6, indien nodig op verzoek onmiddellijk toegang tot de documentatie kunnen krijgen of een kopie ervan kunnen ontvangen. Alleen personeel van de markttoezichtautoriteit met een passende veiligheidsmachtiging mag die documentatie of kopieën ervan inzien.

3. De leden 1, 1 bis en 2 laten de rechten en verplichtingen van de Commissie, de lidstaten en de aangemelde instanties met betrekking tot de uitwisseling van informatie en de verspreiding van waarschuwingen, alsook de verplichtingen van de betrokken partijen om in het kader van het strafrecht van de lidstaten informatie te verstrekken, onverlet;

4. De Commissie en de lidstaten kunnen indien strikt noodzakelijk en met inachtneming van de relevante bepalingen van internationale overeenkomsten en handelsakkoorden vertrouwelijke informatie uitwisselen met regelgevingsinstanties van derde landen waarmee zij bilaterale of multilaterale geheimhoudingsovereenkomsten hebben gesloten die een passend niveau van geheimhouding waarborgen.

Artikel 71: Sancties

1. Overeenkomstig de voorwaarden van deze verordening stellen de lidstaten de voorschriften voor sancties vast die van toepassing zijn op inbreuken van operators op deze verordening en nemen zij alle nodige maatregelen om ervoor te zorgen dat deze naar behoren en doeltreffend worden uitgevoerd en afgestemd zijn op de overeenkomstig artikel 82 ter vastgestelde richtsnoeren van de Commissie en het AI-bureau. De vastgestelde sancties moeten doeltreffend, evenredig en afschrikkend zijn. Hierbij wordt rekening gehouden met de belangen van kmo’s en start-ups en hun economische levensvatbaarheid.

2. De lidstaten stellen de Commissie en het AI-bureau uiterlijk … [twaalf maanden na de datum van inwerkingtreding van deze verordening] van die voorschriften en maatregelen in kennis en delen hun onverwijld alle latere wijzigingen daarvan mee.

3. Voor de niet-naleving van het verbod op de in artikel 5 vermelde praktijken op het gebied van artificiële intelligentie gelden administratieve geldboeten tot 40 000 000 EUR of, als de overtreder een onderneming is, tot 7 % van haar totale wereldwijde jaaromzet voor het voorafgaande boekjaar, als dat hoger is:

(a) verwijderd

(b) verwijderd

3 bis. Voor non-conformiteit van het AI-systeem met de vereisten van de artikelen 10 en 13 gelden administratieve geldboeten tot 20 000 000 EUR of, als de overtreder een onderneming is, tot 4 % van haar totale wereldwijde jaaromzet voor het voorafgaande boekjaar, als dat hoger is.

4. Voor non-conformiteit van het AI-systeem of basismodel met voorschriften of verplichtingen krachtens deze verordening, uitgezonderd die bepaald in de artikelen 5, 10 en 13, gelden administratieve geldboeten tot 10 000 000 EUR of, als de overtreder een onderneming is, tot 2 % van haar totale wereldwijde jaaromzet voor het voorafgaande boekjaar, als dat hoger is.

5. Voor de verstrekking van onjuiste, onvolledige of misleidende informatie aan aangemelde instanties en nationale bevoegde autoriteiten naar aanleiding van een verzoek, gelden administratieve geldboeten tot 5 000 000 EUR of, als de overtreder een onderneming is, tot 1 % van haar totale wereldwijde jaaromzet voor het voorafgaande boekjaar, als dat hoger is.

6. Geldboeten kunnen worden opgelegd naast of in plaats van niet-financiële maatregelen zoals bevelen of waarschuwingen. Bij het bepalen van het bedrag van de administratieve geldboete in elk individueel geval worden alle relevante omstandigheden van de specifieke situatie in aanmerking genomen en wordt terdege rekening gehouden met het volgende:

(a) de aard, ernst en duur van de inbreuk en de gevolgen ervan, rekening houdend met het doel van het AI-systeem en, waar passend, het aantal getroffen personen en de omvang van de door hen geleden schade;

(b) of administratieve geldboeten reeds door andere nationale toezichthoudende autoriteiten van een of meer lidstaten voor dezelfde inbreuk op dezelfde operator zijn toegepast;

(c) de omvang en de jaaromzet van de operator die de inbreuk pleegt;

(c bis) door de operator genomen maatregelen om de door de getroffen personen geleden schade te beperken;

(c ter) of de inbreuk opzettelijk is gepleegd of door nalatigheid heeft plaatsgevonden;

(c quater) de mate waarin er met de nationale bevoegde autoriteiten is samengewerkt om de inbreuk te verhelpen en de mogelijke negatieve gevolgen daarvan te beperken;

(c quinquies) de mate waarin de operator verantwoordelijk is, rekening houdend met de technische en organisatorische maatregelen die hij heeft genomen;

(c sexies) de wijze waarop de nationale bevoegde autoriteiten kennis hebben gekregen van de inbreuk, met name of, en zo ja in hoeverre, de operator de inbreuk heeft gemeld;

(c septies) de mate waarin goedgekeurde gedragscodes of goedgekeurde certificeringsmechanismen zijn nageleefd;

(c octies) eventuele relevante eerdere inbreuken die gepleegd zijn door de operator;

(c nonies) eventuele andere verzwarende of verzachtende factoren die van toepassing zijn op de omstandigheden van de zaak.

7. Elke lidstaat stelt regels vast betreffende de administratieve geldboeten die moeten worden opgelegd aan in die lidstaat gevestigde overheidsinstanties of -organen.

8. Afhankelijk van het rechtssysteem van de lidstaten kunnen de regels voor administratieve geldboeten zodanig worden toegepast dat de boeten door bevoegde nationale rechters of andere instanties in voorkomend geval in die lidstaten worden opgelegd. De toepassing van zulke regels in die lidstaten heeft een gelijkwaardig effect.

8 bis. De in dit artikel bedoelde sancties, alsmede de daaraan verbonden proceskosten en schadeclaims, mogen niet worden onderworpen aan contractuele bepalingen of andere vormen van lastenverdelingsovereenkomsten tussen aanbieders en distributeurs, importeurs, exploitanten of andere derden.

8 ter. De nationale toezichthoudende autoriteiten brengen jaarlijks verslag uit aan het AI-bureau over de geldboeten die zij in dat jaar overeenkomstig dit artikel hebben opgelegd.

8 quater. Bij de uitoefening van hun bevoegdheden uit hoofde van dit artikel zijn de bevoegde autoriteiten onderworpen aan passende procedurele waarborgen overeenkomstig het Unierecht en het nationale recht, waaronder een voorziening in rechte en een eerlijke rechtsbedeling.

Artikel 72: Administratieve geldboeten voor instellingen, agentschappen en instanties van de Unie

1. De Europese Toezichthouder voor gegevensbescherming kan administratieve geldboeten opleggen aan instellingen, agentschappen en instanties van de Unie die binnen het toepassingsgebied van deze verordening vallen. Bij het besluiten om al dan niet een administratieve geldboete op te leggen en het bepalen van het bedrag van de administratieve geldboete in elk individueel geval worden alle relevante omstandigheden van de specifieke situatie in aanmerking genomen en wordt terdege rekening gehouden met het volgende:

(a) de aard, ernst en duur van de inbreuk en de gevolgen ervan, rekening houdend met het doel van het AI-systeem in kwestie en het aantal getroffen personen, de omvang van de door hen geleden schade en eventuele relevante eerdere inbreuken;

(a bis) maatregelen die de instelling, de instantie of het agentschap van de Unie heeft genomen om de door de getroffen personen geleden schade te beperken;

(a ter) de mate van verantwoordelijkheid van de instelling, de instantie of het agentschap van de Unie, rekening houdend met de technische en organisatorische maatregelen die zij hebben genomen;

(b) de mate van samenwerking met de Europese Toezichthouder voor gegevensbescherming om de inbreuk te verhelpen en de mogelijke nadelige gevolgen van de inbreuk te beperken, waaronder naleving van eventuele maatregelen die eerder door de Europese Toezichthouder voor gegevensbescherming ten aanzien van dezelfde kwestie aan de betrokken instelling of instantie of het betrokken agentschap van de Unie zijn opgelegd;

(c) soortgelijke eerdere inbreuken door de instelling of instantie of het agentschap van de Unie.

(c bis) de wijze waarop de Europese Toezichthouder voor gegevensbescherming kennis heeft gekregen van de inbreuk, met name of, en zo ja in hoeverre, de instelling of het orgaan van de Unie de inbreuk heeft gemeld;

(c ter) de jaarlijkse begroting van het orgaan;

2. Voor niet-naleving van het verbod op de in artikel 5 vermelde praktijken op het gebied van artificiële intelligentie gelden administratieve geldboeten tot 1 500 000 EUR.

(a) verwijderd

(b) non-conformiteit van het AI-systeem met de in artikel 10 neergelegde voorschriften.

2 bis. Voor niet-naleving door het AI-systeem van de in artikel 10 vermelde voorschriften gelden administratieve geldboeten tot 1 000 000 EUR.

3. Voor de non-conformiteit van het AI-systeem met voorschriften of verplichtingen krachtens deze verordening, uitgezonderd die bepaald in de artikelen 5 en 10, gelden administratieve geldboeten tot 750 000 EUR.

4. Alvorens een besluit op grond van dit artikel te nemen, stelt de Europese Toezichthouder voor gegevensbescherming de instelling of instantie of het orgaan van de Unie ten aanzien waarvan hij een procedure volgt, in de gelegenheid om te worden gehoord over de mogelijke inbreuk. De Europese Toezichthouder voor gegevensbescherming baseert zijn besluiten uitsluitend op elementen en omstandigheden waarover de betrokken partijen opmerkingen hebben kunnen maken. Eventuele indieners van klachten worden nauw betrokken bij de procedure.

5. Het recht van verdediging van de partijen wordt in de loop van de procedure ten volle geëerbiedigd. Zij hebben recht op toegang tot het dossier van de Europese Toezichthouder voor gegevensbescherming, onder voorbehoud van het gerechtvaardigde belang van andere personen of ondernemingen bij de bescherming van hun persoonsgegevens of bedrijfsgeheimen.

6. De bedragen die worden geïnd door het opleggen van de geldboeten van dit artikel, dragen bij aan de algemene begroting van de Unie. De geldboeten doen geen afbreuk aan de doeltreffende werking van de instelling, de instantie of het agentschap van de Unie waaraan een geldboete is opgelegd. 

6 bis. De Europese Toezichthouder voor gegevensbescherming stelt het AI-bureau jaarlijks in kennis van de geldboeten die hij uit hoofde van dit artikel heeft opgelegd.

TITEL XI: BEVOEGDHEIDSDELEGATIE EN COMITÉPROCEDURE

Artikel 73: Uitoefening van de bevoegdheidsdelegatie

1. De bevoegdheid om gedelegeerde handelingen vast te stellen, wordt aan de Commissie toegekend onder de in dit artikel neergelegde voorwaarden.

2. De in artikel 4, artikel 7, lid 1, artikel 11, lid 3, artikel 43, leden 5 en 6, en artikel 48, lid 5, bedoelde bevoegdheid om gedelegeerde handelingen vast te stellen, wordt met ingang van … [de datum van inwerkingtreding van de verordening] voor een termijn van vijf jaar aan de Commissie toegekend. De Commissie stelt uiterlijk negen maanden voor het einde van de termijn van vijf jaar een verslag op over de bevoegdheidsdelegatie. De bevoegdheidsdelegatie wordt stilzwijgend met termijnen van dezelfde duur verlengd, tenzij het Europees Parlement of de Raad zich uiterlijk drie maanden voor het einde van elke termijn tegen deze verlenging verzet. 

3. Het Europees Parlement of de Raad kan de in artikel 4, artikel 7, lid 1, artikel 11, lid 3, artikel 43, leden 5 en 6, en artikel 48, lid 5, bedoelde bevoegdheidsdelegatie te allen tijde intrekken. Het besluit tot intrekking beëindigt de delegatie van de in dat besluit genoemde bevoegdheid. Het wordt van kracht op de dag na die van de bekendmaking ervan in het Publicatieblad van de Europese Unie of op een daarin genoemde latere datum. Het laat de geldigheid van de reeds van kracht zijnde gedelegeerde handelingen onverlet.

3 bis. Vóór de vaststelling van een gedelegeerde handeling raadpleegt de Commissie de relevante instellingen, het AI-bureau, het adviesforum en andere belanghebbenden in overeenstemming met de beginselen die zijn neergelegd in het Interinstitutioneel Akkoord van 13 april 2016 over beter wetgeven.

Zodra de Commissie besluit een gedelegeerde handeling op te stellen, brengt zij het Europees Parlement hiervan op de hoogte. Deze kennisgeving verplicht de Commissie er niet toe de genoemde handeling vast te stellen.

4. Zodra de Commissie een gedelegeerde handeling heeft vastgesteld, doet zij daarvan gelijktijdig kennisgeving aan het Europees Parlement en de Raad.

5. Een overeenkomstig artikel 4, artikel 7, lid 1, artikel 11, lid 3, artikel 43, leden 5 en 6, en artikel 48, lid 5, vastgestelde gedelegeerde handeling treedt alleen in werking indien het Europees Parlement noch de Raad daartegen binnen een termijn van drie maanden na de kennisgeving van de handeling aan het Europees Parlement en de Raad bezwaar heeft gemaakt, of indien zowel het Europees Parlement als de Raad voor het verstrijken van die termijn de Commissie hebben meegedeeld dat zij daartegen geen bezwaar zullen maken. Die termijn wordt op initiatief van het Europees Parlement of de Raad met drie maanden verlengd.

Artikel 74: Comitéprocedure

1. De Commissie wordt bijgestaan door een comité. Dit comité is een comité in de zin van Verordening (EU) nr. 182/2011.

2. Wanneer naar dit lid wordt verwezen, is artikel 5 van Verordening (EU) nr. 182/2011 van toepassing.

TITEL XII: SLOTBEPALINGEN

Artikel 75: Wijziging van Verordening (EG) nr. 300/2008

Aan artikel 4, lid 3, van Verordening (EG) nr. 300/2008 wordt de volgende alinea toegevoegd:

“Bij het vaststellen van gedetailleerde maatregelen met betrekking tot technische specificaties en procedures voor de goedkeuring en het gebruik van veiligheidsuitrusting betreffende artificiële-intelligentiesystemen in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

Artikel 76: Wijziging van Verordening (EU) nr. 167/2013

Aan artikel 17, lid 5, van Verordening (EU) nr. 167/2013 wordt de volgende alinea toegevoegd:

“Bij het vaststellen van gedelegeerde handelingen krachtens de eerste alinea betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

Artikel 77: Wijziging van Verordening (EU) nr. 168/2013

Aan artikel 22, lid 5, van Verordening (EU) nr. 168/2013 wordt de volgende alinea toegevoegd:

“Bij het vaststellen van gedelegeerde handelingen krachtens de eerste alinea betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

Artikel 78: Wijziging van Richtlijn 2014/90/EU

Aan artikel 8 van Richtlijn 2014/90/EU wordt het volgende lid toegevoegd:

“4. Voor artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, neemt de Commissie bij het uitvoeren van haar activiteiten krachtens lid 1 en bij het vaststellen van technische specificaties en testnormen overeenkomstig de leden 2 en 3 de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

Artikel 79: Wijziging van Richtlijn (EU) 2016/797

Aan artikel 5 van Richtlijn (EU) 2016/797 wordt het volgende lid toegevoegd:

“12. Bij het vaststellen van gedelegeerde handelingen krachtens lid 1 en uitvoeringshandelingen krachtens lid 11 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

Artikel 80: Wijziging van Verordening (EU) 2018/858

Aan artikel 5 van Verordening (EU) 2018/858 wordt het volgende lid toegevoegd:

“4. Bij het vaststellen van gedelegeerde handelingen krachtens lid 3 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

Artikel 81: Wijziging van Verordening (EU) 2018/1139

Verordening (EU) 2018/1139 wordt als volgt gewijzigd:

1) Aan artikel 17 wordt het volgende lid toegevoegd:

“3. Onverminderd lid 2 worden bij het vaststellen van uitvoeringshandelingen krachtens lid 1 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

2) Aan artikel 19 wordt het volgende lid toegevoegd:

“4. Bij het vaststellen van gedelegeerde handelingen krachtens de leden 1 en 2 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie], worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.”

3) Aan artikel 43 wordt het volgende lid toegevoegd:

“4. Bij het vaststellen van uitvoeringshandelingen krachtens lid 1 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie], worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.”

4) Aan artikel 47 wordt het volgende lid toegevoegd:

“3. Bij het vaststellen van gedelegeerde handelingen krachtens de leden 1 en 2 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie], worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.”

5) Aan artikel 57 wordt het volgende lid toegevoegd:

“Bij het vaststellen van die uitvoeringshandelingen betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie], worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.”

6) Aan artikel 58 wordt het volgende lid toegevoegd:

“3. Bij het vaststellen van gedelegeerde handelingen krachtens de leden 1 en 2 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie], worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.”.

Artikel 81 bis: Wijziging van Verordening (EU) 2019/1020

Verordening (EU) 2019/1020 wordt als volgt gewijzigd:

in artikel 14, lid 4, wordt de volgende alinea ingevoegd:

“l) de bevoegdheid om de in dit artikel vastgestelde bevoegdheden op afstand uit te voeren, waar van toepassing;”

Artikel 82: Wijziging van Verordening (EU) 2019/2144

Aan artikel 11 van Verordening (EU) 2019/2144 wordt het volgende lid toegevoegd:

“3. Bij het vaststellen van de uitvoeringshandelingen krachtens lid 2 betreffende artificiële-intelligentiesystemen die veiligheidscomponenten zijn in de zin van Verordening (EU) YYY/XX [betreffende artificiële intelligentie] van het Europees Parlement en de Raad*, worden de voorschriften in titel III, hoofdstuk 2, van die verordening in aanmerking genomen.

__________

* Verordening (EU) YYY/XX [betreffende artificiële intelligentie] (PB …).”.

Artikel 82 bis: Betere regelgeving

Bij de inachtneming van de voorschriften van deze verordening uit hoofde van de amendementen op de artikelen 75, 76, 77, 78, 79, 80, 81 en 82, voert de Commissie een analyse uit en raadpleegt zij belanghebbenden om eventuele kloven alsmede overlappingen tussen bestaande sectorwetgeving en de bepalingen van deze verordening vast te stellen.

Artikel 82 ter: Richtsnoeren van de Commissie voor de uitvoering van deze verordening

1. De Commissie ontwikkelt in overleg met het AI-bureau richtsnoeren over de praktische uitvoering van deze verordening, en met name over:

a) de toepassing van de in de artikelen 8 tot en met 15 en artikel 28 tot en met 28 ter bedoelde vereisten;

b) de verboden praktijken als bedoeld in artikel 5;

c) de praktische uitvoering van de bepalingen in verband met substantiële wijzigingen;

d) de praktische omstandigheden waarin de output van een AI-systeem als bedoeld in bijlage III een aanzienlijk risico zou inhouden op schade aan de gezondheid, de veiligheid of de grondrechten van natuurlijke personen als bedoeld in artikel 6, lid 2, met inbegrip van voorbeelden in verband met AI-systemen met een hoog risico als bedoeld in bijlage III;

e) de praktische uitvoering van de in artikel 52 vastgelegde transparantieverplichtingen;

f) de ontwikkeling van gedragscodes als bedoeld in artikel 69;

g) de verhouding tussen deze verordening en andere relevante wetgeving van de Unie, onder meer wat betreft de samenhang bij de handhaving ervan;

h) de praktische uitvoering van artikel 12 en artikel 28 ter over de milieueffecten van basismodellen en van bijlage IV, punt 3, b), met name de meet- en registratiemethoden om berekeningen en rapportage van de milieueffecten van systemen mogelijk te maken teneinde te voldoen aan de verplichtingen van deze verordening, met inbegrip van de koolstofvoetafdruk en energie-efficiëntie, daarbij rekening houdend met geavanceerde methoden en schaalvoordelen.

Bij het uitvaardigen van dergelijke richtsnoeren besteedt de Commissie bijzondere aandacht aan de behoeften van kmo’s, met inbegrip van start-ups, lokale overheden en sectoren die het meest waarschijnlijk door deze verordening zullen worden beïnvloed.

2. Op verzoek van de lidstaten of het AI-bureau of op eigen initiatief actualiseert de Commissie reeds vastgestelde richtsnoeren wanneer dit nodig wordt geacht. 

Artikel 83: Reeds in de handel gebrachte of in bedrijf gestelde AI-systemen

1. Operators van AI-systemen die componenten zijn van de volgens de in bijlage IX vermelde rechtshandelingen opgezette grootschalige IT-systemen die in de handel zijn gebracht of in bedrijf zijn gesteld vóór... [de datum van inwerkingtreding van deze verordening] ondernemen uiterlijk... [vier jaar na de datum van inwerkingtreding van deze verordening] de nodige stappen om te voldoen aan de voorschriften van deze verordening.

De in deze verordening vastgelegde voorschriften worden in aanmerking genomen bij de evaluatie van elk volgens de in bijlage IX vermelde rechtshandelingen opgezet grootschalig IT-systeem die moet worden uitgevoerd zoals bepaald in die respectieve handelingen en telkens wanneer die rechtshandelingen worden vervangen of gewijzigd.

2. Deze verordening is alleen van toepassing op operators van AI-systemen met een hoog risico, uitgezonderd die bedoeld in lid 1, die in de handel zijn gebracht of in bedrijf zijn gesteld vóór [de in artikel 85, lid 2, vermelde datum van inwerkingtreding van deze verordening], als die systemen vanaf die datum substantiële veranderingen ondergaan als bedoeld in artikel 3, lid 23. In het geval van AI-systemen met een hoog risico die bedoeld zijn om door overheidsinstanties te worden gebruikt, ondernemen aanbieders en exploitanten van dergelijke systemen de nodige stappen om te voldoen aan de voorschriften van deze verordening [twee jaar na de datum van inwerkingtreding van deze verordening].

Artikel 84: Evaluatie en toetsing

1. Na raadpleging van het AI-bureau beoordeelt de Commissie na de inwerkingtreding van deze verordening en naar aanleiding van een aanbeveling van het AI-bureau eenmaal per jaar of de lijst in bijlage III, waaronder de uitbreiding van bestaande gebiedsrubrieken of de toevoeging van nieuwe rubrieken in die bijlage, de lijst van verboden AI-praktijken in artikel 5 en de lijst van AI-systemen die aanvullende transparantiemaatregelen vereisen in artikel 52 moeten worden gewijzigd.

De Commissie deelt de bevindingen van die beoordeling mee aan het Europees Parlement en de Raad.

2. Uiterlijk [twee jaar na de in artikel 85, lid 2, vermelde datum van inwerkingtreding van deze verordening] en vervolgens om de twee jaar dient de Commissie samen met het AI-bureau een verslag in bij het Europees Parlement en de Raad over de evaluatie en de toetsing van deze verordening. De verslagen worden openbaar gemaakt.

3. In de in lid 2 bedoelde verslagen wordt specifieke aandacht besteed aan het volgende:

(a) de status van de financiële, technische en personele middelen van de nationale bevoegde autoriteiten teneinde de hun krachtens deze verordening toegewezen taken doeltreffend uit te voeren;

(b) de stand van zaken wat betreft sancties, en met name administratieve geldboeten als bedoeld in artikel 71, lid 1, die door lidstaten op inbreuken van de bepalingen van deze verordening zijn toegepast.

(b bis) de stand van ontwikkeling van geharmoniseerde normen en gemeenschappelijke specificaties voor artificiële intelligentie;

(b ter) de hoogte van investeringen in onderzoek, ontwikkeling en toepassing van AI-systemen in de hele Unie;

(b quater) het concurrentievermogen van de hele Europese AI-sector in vergelijking met de AI-sector in derde landen;

(b quinquies) de impact van de verordening op het gebruik van hulpbronnen en energie, alsook op de afvalproductie en andere milieueffecten;

(b sexies) de uitvoering van het gecoördineerde plan inzake AI, rekening houdend met de uiteenlopende mate van vooruitgang tussen de lidstaten en het in kaart brengen van bestaande belemmeringen voor innovatie op het gebied van AI;

(b septies) de actualisering van de specifieke vereisten met betrekking tot de duurzaamheid van AI-systemen en basismodellen, voortbouwend op de verslagleggings- en documentatieverplichting als genoemd in bijlage IV en artikel 28 ter;

(b octies) de wettelijke regeling die van toepassing is op basismodellen;

(b nonies) de lijst van oneerlijke contractvoorwaarden in artikel 28 bis, waar nodig rekening houdend met nieuwe bedrijfspraktijken;

3 bis. Uiterlijk… [twee jaar na de in artikel 85, lid 2, bedoelde datum van toepassing van deze verordening] evalueert de Commissie de werking van het AI-bureau, de vraag of het bureau voldoende bevoegdheden heeft gekregen om zijn taken uit te voeren en of het voor de correcte uitvoering en handhaving van deze verordening relevant en noodzakelijk zou zijn om het bureau en zijn handhavingsbevoegdheden op te schalen en zijn middelen uit te breiden. De Commissie dient dit evaluatieverslag in bij het Europees Parlement en bij de Raad.

4. Binnen [één jaar na de in artikel 85, lid 2, vermelde datum van inwerkingtreding van deze verordening] en vervolgens om de twee jaar evalueert de Commissie de impact en doeltreffendheid van gedragscodes om de toepassing van de in titel III, hoofdstuk 2, beschreven voorschriften en eventuele andere aanvullende voorschriften voor andere AI-systemen dan AI-systemen met een hoog risico te bevorderen.

5. Voor de toepassing van de leden 1 tot en met 4 verstrekken het AI-bureau, de lidstaten en nationale bevoegde autoriteiten onverwijld informatie aan de Commissie op haar verzoek.

6. Bij de uitvoering van de in de leden 1 tot en met 4 vermelde evaluaties en toetsingen neemt de Commissie de standpunten en bevindingen van het AI-bureau, het Europees Parlement, de Raad en van andere relevante instanties of bronnen in aanmerking en raadpleegt zij belanghebbenden. Het resultaat van dit overleg wordt bij het verslag gevoegd.

7. Indien nodig dient de Commissie passende voorstellen in teneinde deze verordening te wijzigen, met name in het licht van ontwikkelingen in de technologie, de gevolgen van AI-systemen voor de gezondheid en veiligheid, de grondrechten, het milieu, gelijkheid, de toegankelijkheid voor personen met een handicap, de democratie en de rechtsstaat, en de stand van zaken in de informatiemaatschappij.

7 bis. Om de evaluaties en toetsingen als bedoeld in de leden 1 tot en met 4 van dit artikel uit te voeren, ontwikkelt het AI-bureau een objectieve en participatieve methodologie voor de evaluatie van het risiconiveau, op basis van de in de desbetreffende artikelen beschreven criteria en opname van nieuwe systemen in: de lijst in bijlage III, waaronder de uitbreiding van bestaande gebiedsrubrieken of de toevoeging van nieuwe rubrieken in die bijlage; de lijst van verboden praktijken als vastgelegd in artikel 5; en de lijst van AI-systemen die aanvullende transparantieverplichtingen met zich meebrengen krachtens artikel 52.

7 ter. In amendementen op deze verordening uit hoofde van lid 7 van dit artikel, of relevante toekomstige gedelegeerde handelingen of uitvoeringshandelingen, die betrekking hebben op sectorwetgeving zoals vermeld in bijlage II, deel B, wordt rekening gehouden met de regelgevingsspecificaties van elke sector, met de bestaande mechanismen voor governance, conformiteitsbeoordeling en handhaving en met de autoriteiten die daarin zijn vastgesteld.

7 quater. Uiterlijk ... [vijf jaar na de datum van toepassing van deze verordening] voert de Commissie een beoordeling uit van de handhaving van deze verordening en brengt hierover verslag uit aan het Europees Parlement, de Raad en het Europees Economisch en Sociaal Comité, waarbij de eerste jaren van toepassing van de verordening worden meegenomen. Op basis van de bevindingen gaat dit verslag, indien van toepassing, vergezeld van een voorstel tot wijziging van deze verordening met betrekking tot de handhavingsstructuur en de behoefte aan een agentschap van de Unie om eventueel vastgestelde tekortkomingen op te lossen.

Artikel 85: Inwerkingtreding en toepassing

1. Deze verordening treedt in werking op de twintigste dag na die van de bekendmaking ervan in het Publicatieblad van de Europese Unie.

2. Deze verordening is van toepassing vanaf [24 maanden na de inwerkingtreding van de verordening].

3. In afwijking van lid 2 geldt het volgende:

(a) titel III, hoofdstuk 4, en titel VI zijn van toepassing vanaf [drie maanden na de inwerkingtreding van deze verordening];

(b) artikel 71 is van toepassing vanaf [twaalf maanden na de inwerkingtreding van deze verordening].

BIJLAGE I: Verwijderd

BIJLAGE II: LIJST VAN HARMONISATIEWETGEVING VAN DE UNIE

Deel A — Lijst van harmonisatiewetgeving van de Unie op basis van het nieuwe wetgevingskader

1. Richtlijn 2006/42/EG van het Europees Parlement en de Raad van 17 mei 2006 betreffende machines en tot wijziging van Richtlijn 95/16/EG (PB L 157 van 9.6.2006, blz. 24) [zoals ingetrokken bij de machineverordening];

2. Richtlijn 2009/48/EG van het Europees Parlement en de Raad van 18 juni 2009 betreffende de veiligheid van speelgoed (PB L 170 van 30.6.2009, blz. 1);

3. Richtlijn 2013/53/EU van het Europees Parlement en de Raad van 20 november 2013 betreffende pleziervaartuigen en waterscooters en tot intrekking van Richtlijn 94/25/EG (PB L 354 van 28.12.2013, blz. 90);

4. Richtlijn 2014/33/EU van het Europees Parlement en de Raad van 26 februari 2014 betreffende de harmonisatie van de wetgevingen van de lidstaten inzake liften en veiligheidscomponenten voor liften (PB L 96 van 29.3.2014, blz. 251);

5. Richtlijn 2014/34/EU van het Europees Parlement en de Raad van 26 februari 2014 betreffende de harmonisatie van de wetgevingen van de lidstaten inzake apparaten en beveiligingssystemen bedoeld voor gebruik op plaatsen waar ontploffingsgevaar kan heersen (PB L 96 van 29.3.2014, blz. 309);

6. Richtlijn 2014/53/EU van het Europees Parlement en de Raad van 16 april 2014 betreffende de harmonisatie van de wetgevingen van de lidstaten inzake het op de markt aanbieden van radioapparatuur en tot intrekking van Richtlijn 1999/5/EG (PB L 153 van 22.5.2014, blz. 62);

7. Richtlijn 2014/68/EU van het Europees Parlement en de Raad van 15 mei 2014 betreffende de harmonisatie van de wetgevingen van de lidstaten inzake het op de markt aanbieden van drukapparatuur (PB L 189 van 27.6.2014, blz. 164);

8. Verordening (EU) 2016/424 van het Europees Parlement en de Raad van 9 maart 2016 betreffende kabelbaaninstallaties en tot intrekking van Richtlijn 2000/9/EG (PB L 81 van 31.3.2016, blz. 1);

9. Verordening (EU) 2016/425 van het Europees Parlement en de Raad van 9 maart 2016 betreffende persoonlijke beschermingsmiddelen en tot intrekking van Richtlijn 89/686/EEG van de Raad (PB L 81 van 31.3.2016, blz. 51);

10. Verordening (EU) 2016/426 van het Europees Parlement en de Raad van 9 maart 2016 betreffende gasverbrandingstoestellen en tot intrekking van Richtlijn 2009/142/EG (PB L 81 van 31.3.2016, blz. 99);

11. Verordening (EU) 2017/745 van het Europees Parlement en de Raad van 5 april 2017 betreffende medische hulpmiddelen, tot wijziging van Richtlijn 2001/83/EG, Verordening (EG) nr. 178/2002 en Verordening (EG) nr. 1223/2009, en tot intrekking van Richtlijnen 90/385/EEG en 93/42/EEG van de Raad (PB L 117 van 5.5.2017, blz. 1);

12. Verordening (EU) 2017/746 van het Europees Parlement en de Raad van 5 april 2017 betreffende medische hulpmiddelen voor in-vitrodiagnostiek en tot intrekking van Richtlijn 98/79/EG en Besluit 2010/227/EU van de Commissie (PB L 117 van 5.5.2017, blz. 176).

Deel B — Lijst van andere harmonisatiewetgeving van de Unie

1. Verordening (EG) nr. 300/2008 van het Europees Parlement en de Raad van 11 maart 2008 inzake gemeenschappelijke regels op het gebied van de beveiliging van de burgerluchtvaart en tot intrekking van Verordening (EG) nr. 2320/2002 (PB L 97 van 9.4.2008, blz. 72);

2. Verordening (EU) nr. 168/2013 van het Europees Parlement en de Raad van 15 januari 2013 betreffende de goedkeuring van en het markttoezicht op twee- of driewielige voertuigen en vierwielers (PB L 60 van 2.3.2013, blz. 52);

3. Verordening (EU) nr. 167/2013 van het Europees Parlement en de Raad van 5 februari 2013 inzake de goedkeuring van en het markttoezicht op landbouw- en bosbouwvoertuigen (PB L 60 van 2.3.2013, blz. 1);

4. Richtlijn 2014/90/EU van het Europees Parlement en de Raad van 23 juli 2014 inzake uitrusting van zeeschepen en tot intrekking van Richtlijn 96/98/EG van de Raad (PB L 257 van 28.8.2014, blz. 146);

5. Richtlijn (EU) 2016/797 van het Europees Parlement en de Raad van 11 mei 2016 betreffende de interoperabiliteit van het spoorwegsysteem in de Europese Unie (PB L 138 van 26.5.2016, blz. 44);

6. Verordening (EU) 2018/858 van het Europees Parlement en de Raad van 30 mei 2018 betreffende de goedkeuring van en het markttoezicht op motorvoertuigen en aanhangwagens daarvan en systemen, onderdelen en technische eenheden die voor dergelijke voertuigen zijn bestemd, tot wijziging van Verordeningen (EG) nr. 715/2007 en (EG) nr. 595/2009 en tot intrekking van Richtlijn 2007/46/EG (PB L 151 van 14.6.2018, blz. 1); 3. Verordening (EU) 2019/2144 van het Europees Parlement en de Raad van 27 november 2019 betreffende de voorschriften voor de typegoedkeuring van motorvoertuigen en aanhangwagens daarvan en van systemen, onderdelen en technische eenheden die voor dergelijke voertuigen zijn bestemd wat de algemene veiligheid ervan en de bescherming van de inzittenden van voertuigen en kwetsbare weggebruikers betreft, tot wijziging van Verordening (EU) 2018/858 van het Europees Parlement en de Raad en tot intrekking van de Verordeningen (EG) nr. 78/2009, (EG) nr. 79/2009 en (EG) nr. 661/2009 van het Europees Parlement en de Raad en de Verordeningen (EG) nr. 631/2009, (EU) nr. 406/2010, (EU) nr. 672/2010, (EU) nr. 1003/2010, (EU) nr. 1005/2010, (EU) nr. 1008/2010, (EU) nr. 1009/2010, (EU) nr. 19/2011, (EU) nr. 109/2011, (EU) nr. 458/2011, (EU) nr. 65/2012, (EU) nr. 130/2012, (EU) nr. 347/2012, (EU) nr. 351/2012, (EU) nr. 1230/2012 en (EU) 2015/166 van de Commissie (PB L 325 van 16.12.2019, blz. 1);

7. Verordening (EU) 2018/1139 van het Europees Parlement en de Raad van 4 juli 2018 inzake gemeenschappelijke regels op het gebied van burgerluchtvaart en tot oprichting van een Agentschap van de Europese Unie voor de veiligheid van de luchtvaart, en tot wijziging van de Verordeningen (EG) nr. 2111/2005, (EG) nr. 1008/2008, (EU) nr. 996/2010, (EU) nr. 376/2014 en de Richtlijnen 2014/30/EU en 2014/53/EU van het Europees Parlement en de Raad, en tot intrekking van de Verordeningen (EG) nr. 552/2004 en (EG) nr. 216/2008 van het Europees Parlement en de Raad en Verordening (EEG) nr. 3922/91 van de Raad (PB L 212 van 22.8.2018, blz. 1), voor zover het gaat om het ontwerp, de productie en het in de handel brengen van luchtvaartuigen als bedoeld in artikel 2, lid 1, punten a) en b), wat betreft onbemande luchtvaartuigen, en hun motoren, propellers, onderdelen en apparatuur om het luchtvaartuig op afstand te bedienen.

BIJLAGE III: AI-SYSTEMEN MET EEN HOOG RISICO, ALS BEDOELD IN ARTIKEL 6, LID 2

De AI-systemen waarnaar in de punten 1 tot en met 8 bis specifiek wordt verwezen, staan voor kritieke gebruiksgevallen en worden elk beschouwd als AI-systemen met een hoog risico overeenkomstig artikel 6, lid 2, mits zij voldoen aan de criteria van dat artikel:

1. biometrische en op biometrie gebaseerde systemen 

(a) AI-systemen die bedoeld zijn om te worden gebruikt voor de biometrische identificatie van natuurlijke personen, met uitzondering van de in artikel 5 vermelde systemen;

(a bis) AI-systemen die bedoeld zijn om conclusies te trekken over de persoonlijke kenmerken van natuurlijke personen op basis van biometrische of op biometrie gebaseerde gegevens, met inbegrip van systemen voor emotieherkenning, met uitzondering van de in artikel 5 vermelde systemen.

Punt 1 omvat geen AI-systemen die bedoeld zijn om te worden gebruikt voor biometrische verificatie met als enig doel te bevestigen dat een specifieke natuurlijke persoon de persoon is die hij of zij beweert te zijn;

2. beheer en exploitatie van kritieke infrastructuur:

(a) AI-systemen die bedoeld zijn om te worden gebruikt als veiligheidscomponent bij het beheer of de exploitatie van weg-, spoor- en luchtverkeer, tenzij deze zijn geregulariseerd in harmonisatie- of sectorwetgeving;

(a bis) AI-systemen die bedoeld zijn om te worden gebruikt als veiligheidscomponent bij het beheer of de exploitatie van de levering van water, gas, verwarming, elektriciteit en digitale infrastructuur;

3. onderwijs en beroepsopleiding:

(a) AI-systemen die bedoeld zijn om te worden gebruikt voor de bepaling van toegang tot of die van wezenlijke invloed zijn op besluiten over de toelating van natuurlijke personen tot of hun toewijzing aan onderwijs- en beroepsopleidingsinstellingen;

(b) AI-systemen die bedoeld zijn om te worden gebruikt voor de beoordeling van studenten in onderwijs- en beroepsopleidingsinstellingen en voor de beoordeling van deelnemers aan tests die gewoonlijk vereist zijn voor toelating tot die instellingen;

(b bis) AI-systemen die bedoeld zijn om te worden gebruikt voor de beoordeling van het passende onderwijsniveau voor een persoon en van wezenlijke invloed zijn op het niveau van onderwijs of beroepsopleiding waar die persoon de beschikking over zal hebben of toegang toe kan krijgen;

(b ter) AI-systemen die bedoeld zijn om te worden gebruikt voor de monitoring en opsporing van ongeoorloofd gedrag van studenten tijdens examens in de context van/binnen onderwijs- en beroepsopleidingsinstellingen;

4. werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid:

(a) AI-systemen die bedoeld zijn voor de aanwerving of selectie van natuurlijke personen, met name voor het plaatsen van gerichte personeelsadvertenties, het screenen of filteren van sollicitaties, de evaluatie van kandidaten tijdens interviews of tests;

(b) AI-systemen die bedoeld zijn voor het nemen of wezenlijk beïnvloeden van besluiten met betrekking tot de aanvang, bevordering en beëindiging van arbeidsgerelateerde contractuele relaties, de toewijzing van taken op basis van individueel gedrag, karaktertrekken of persoonlijkheidskenmerken, of voor het toezicht op en de evaluatie van prestaties en gedrag van personen in dergelijke relaties;

5. toegang tot en gebruik van essentiële particuliere diensten en openbare diensten en uitkeringen:

(a) AI-systemen die bedoeld zijn om door of namens overheidsinstanties te worden gebruikt om te beoordelen of natuurlijke personen in aanmerking komen voor overheidsuitkeringen en -diensten, waaronder gezondheidszorg en essentiële diensten, met inbegrip van, maar niet beperkt tot huisvesting, elektriciteit, verwarming/koeling en internet, evenals voor het verlenen, beperken, intrekken, verhogen of terugvorderen van dergelijke uitkeringen en diensten;

(b) AI-systemen die bedoeld zijn om de kredietwaardigheid van natuurlijke personen te beoordelen of hun kredietscore vast te stellen, met uitzondering van AI-systemen die gebruikt worden om financiële fraude op te sporen;

(b bis) AI-systemen die bedoeld zijn om te worden gebruikt om besluiten te nemen of wezenlijke invloed uit te oefenen op besluiten over de vraag of natuurlijke personen in aanmerking komen voor een ziektekosten- of levensverzekering;

(c) AI-systemen die bedoeld zijn om noodoproepen van natuurlijke personen te evalueren en te classificeren of om te worden gebruikt voor de inzet of voor het vaststellen van prioriteiten bij de inzet van hulpdiensten, waaronder politie en rechtshandhavers, brandweer en ambulance, alsook van systemen voor de triage van patiënten die dringend medische zorg behoeven;

6. rechtshandhaving:

(a) verwijderd

(b) AI-systemen die bedoeld zijn om door of namens rechtshandhavingsinstanties of door instellingen, organen of instanties van de Unie te worden gebruikt ter ondersteuning van rechtshandhavingsinstanties, zoals leugendetectoren of soortgelijke hulpmiddelen, voor zover het gebruik daarvan is toegestaan op grond van het toepasselijke Unierecht en nationale recht;

(c) verwijderd

(d) AI-systemen die bedoeld zijn om door of namens rechtshandhavingsautoriteiten of door instellingen, organen of instanties van de Unie te worden gebruikt ter ondersteuning van rechtshandhavingsinstanties om de betrouwbaarheid van bewijsmateriaal te beoordelen tijdens het onderzoek naar of de vervolging van strafbare feiten;

(e) verwijderd

(f) AI-systemen die bedoeld zijn om door of namens rechtshandhavingsautoriteiten of door instellingen, organen of instanties van de Unie te worden gebruikt ter ondersteuning van rechtshandhavingsinstanties voor de profilering van natuurlijke personen als bedoeld in artikel 3, punt 4, van Richtlijn (EU) 2016/680 tijdens de opsporing, het onderzoek of de vervolging van strafbare feiten, of, in het geval van agentschappen, instanties of organen van de Unie als bedoeld in artikel 3, lid 5, van Verordening (EU) 2018/1725;

(g) AI-systemen die bedoeld zijn om te worden gebruikt door of namens rechtshandhavingsautoriteiten of door instellingen, organen of instanties van de Unie ter ondersteuning van rechtshandhavingsinstanties voor misdaadanalyses met betrekking tot natuurlijke personen, waardoor deze autoriteiten complexe gerelateerde en ongerelateerde grote datareeksen kunnen doorzoeken die beschikbaar zijn in verschillende databronnen of verschillende data-indelingen om onbekende patronen op te sporen of verborgen relaties te ontdekken in de gegevens;

7. migratie, asiel en beheer van grenscontroles:

(a) AI-systemen die bedoeld zijn om door of namens bevoegde overheidsinstanties of door instellingen, organen of instanties van de Unie te worden gebruikt, zoals leugendetectoren of soortgelijke hulpmiddelen, voor zover het gebruik daarvan krachtens het toepasselijke Unierecht of nationale recht is toegestaan;

(b) AI-systemen die bedoeld zijn om door of namens bevoegde overheidsinstanties of door instellingen, organen of instanties van de Unie te worden gebruikt voor de beoordeling van een risico, waaronder een beveiligingsrisico, een risico op illegale immigratie of een gezondheidsrisico, dat een natuurlijke persoon vormt die voornemens is het grondgebied van een lidstaat te betreden of dat heeft gedaan;

(c) AI-systemen die bedoeld zijn om door of namens bevoegde overheidsinstanties of door instellingen, organen of instanties van de Unie te worden gebruikt voor de verificatie van de authenticiteit van reisdocumenten en ondersteunende documentatie van natuurlijke personen en de opsporing van niet-authentieke documenten door de controle van hun beveiligingskenmerken;

(d) AI-systemen die bedoeld zijn om door of namens bevoegde overheidsinstanties of door agentschappen, bureaus of organen van de Unie te worden gebruikt om hen te ondersteunen bij het onderzoek en de beoordeling van de waarheidsgetrouwheid van bewijsmateriaal in verband met asielaanvragen, aanvragen voor een visum en aanvragen voor een verblijfsvergunning, evenals gerelateerde klachten met betrekking tot de geschiktheid van de natuurlijke personen die een aanvraag voor een status indienen;

(d bis) AI-systemen die bedoeld zijn om te worden gebruikt door of namens de bevoegde overheidsinstanties of door instellingen, organen of instanties van de Unie die verantwoordelijk zijn voor migratie, asiel en beheer van grenscontroles, ten behoeve van het monitoren, bewaken of verwerken van gegevens op het gebied van grensbeheeractiviteiten met het oog op het opsporen, het herkennen of identificeren van natuurlijke personen;

(d ter) AI-systemen die bedoeld zijn om te worden gebruikt door of namens de bevoegde overheidsinstanties of door instellingen, organen of instanties van de Unie die verantwoordelijk zijn voor migratie, asiel en beheer van grenscontroles, ten behoeve van prognoses en voorspellingen van trends op het gebied van migratie, verkeer van personen en grensoverschrijdingen;

8. rechtsbedeling en democratische processen:

(a) AI-systemen die bedoeld zijn om te worden gebruikt door of namens een rechterlijke instantie of administratief orgaan om een rechterlijke instantie of administratief orgaan te ondersteunen bij het onderzoeken en uitleggen van feiten of de wet en bij de toepassing van het recht op een concrete reeks feiten of om te worden gebruikt op soortgelijke wijze in het kader van alternatieve geschillenbeslechting.

(a bis) AI-systemen die bedoeld zijn om te worden gebruikt om de uitslag van een verkiezing of referendum of het stemgedrag van natuurlijke personen bij de uitoefening van hun stemrecht bij verkiezingen of referenda te beïnvloeden. Dit geldt niet voor AI-systemen aan de output waarvan natuurlijke personen niet rechtstreeks worden blootgesteld, zoals instrumenten die worden gebruikt om politieke campagnes te organiseren, te optimaliseren en te structureren vanuit administratief en logistiek oogpunt.

(a ter) AI-systemen die bedoeld zijn om te worden gebruikt door socialemediaplatforms die zijn aangemerkt als zeer grote onlineplatforms in de zin van artikel 33 van Verordening (EU) 2022/2065, in hun aanbevelingssystemen om de afnemer van de dienst door gebruikers gegenereerde inhoud aan te bevelen die op het platform beschikbaar is.

BIJLAGE IV: TECHNISCHE DOCUMENTATIE, als bedoeld in artikel 11, lid 1

De technische documentatie als bedoeld in artikel 11, lid 1, bevat ten minste de volgende informatie, zoals van toepassing op het betreffende AI-systeem:

1. Een algemene beschrijving van het AI-systeem, waaronder:

(a) het beoogde doel, de naam van de aanbieder en de versie van het systeem, waaruit het verband blijkt met eerdere en, in voorkomend geval, recentere versies in de reeks herzieningen;

(a bis) de aard van de gegevens die waarschijnlijk of naar verwachting door het systeem zullen worden verwerkt en, in het geval van persoonsgegevens, de categorieën natuurlijke personen en groepen die daar waarschijnlijk of naar verwachting mee te maken krijgen;

(b) hoe het AI-systeem kan interageren of kan worden gebruikt om te interageren met hardware of software, met inbegrip van andere AI-systemen die geen deel uitmaken van het AI-systeem zelf, indien van toepassing;

(c) de versies van de betreffende software of firmware en, indien van toepassing informatie voor de exploitant over eventuele eisen met betrekking tot versie-updates;

(d) de beschrijving van de verschillende configuraties en varianten van het AI-systeem die naar verwachting in de handel zullen worden gebracht of in bedrijf zullen worden gesteld;

(e) de beschrijving van de hardware waarop het AI-systeem moet worden uitgevoerd;

(f) wanneer het AI-systeem een component vormt van producten, foto’s of illustraties waarop de externe kenmerken, markeringen en interne indeling van deze producten te zien is;

(f bis) de omschrijving van de interface van de exploitant;

(g) gebruiksaanwijzing voor de exploitant overeenkomstig artikel 13, leden 2 en 3, en artikel 14, lid 4, punt e), en, indien van toepassing, installatie-instructies.

(g bis) een gedetailleerde en gemakkelijk te begrijpen beschrijving van het (de) belangrijkste optimaliseringsdoelstelling(en) van het systeem;

(g ter) een gedetailleerde en gemakkelijk te begrijpen beschrijving van de verwachte output en de verwachte outputkwaliteit van het systeem;

(g quater) gedetailleerde en gemakkelijk te begrijpen instructies voor het interpreteren van de output van het systeem;

(g quinquies) voorbeelden van scenario’s waarvoor het systeem niet mag worden gebruikt.

2. Een gedetailleerde beschrijving van de elementen van het AI-systeem en van het proces voor de ontwikkeling ervan, waaronder:

(a) de methoden en uitgevoerde stappen voor de ontwikkeling van het AI-systeem, met inbegrip van, indien relevant, het gebruik van door derden geleverde vooraf getrainde systemen of hulpmiddelen en hoe deze zijn gebruikt, geïntegreerd of aangepast door de aanbieder;

(b) een beschrijving van de architectuur, ontwerpspecificaties, algoritmen en de datastructuren, met inbegrip van een specificatie van de componenten en interfaces ervan, en van de manier waarop deze met elkaar in verband staan en voorzien in de algehele verwerking of logica van het AI-systeem; de belangrijkste ontwerpkeuzen, waaronder de motivering en de gedane aannamen, ook met betrekking tot personen of groepen personen waarvoor het systeem bedoeld is om te worden gebruikt; de belangrijkste classificatiekeuzen; voor welke optimalisatie het systeem is ontworpen en de relevantie van de verschillende parameters; de beslissingen ten aanzien van eventuele afwegingen met betrekking tot technische oplossingen die zijn vastgesteld om te voldoen aan de in titel III, hoofdstuk 2, vastgestelde eisen;

(c) verwijderd

(d) indien relevant, de datavereisten met betrekking tot informatiebladen waarop de opleidingsmethoden en -technieken zijn beschreven en de gebruikte datareeksen voor de training, waaronder informatie over de herkomst van deze datareeksen, de reikwijdte ervan en de belangrijkste kenmerken; hoe de data zijn verkregen en geselecteerd; etiketteringsprocedures (bv. voor gecontroleerd leren), methoden voor dataopschoning (bv. opsporing van uitschieters);

(e) beoordeling van de in overeenstemming met artikel 14 benodigde maatregelen op het gebied van menselijk toezicht, waaronder een beoordeling van de benodigde technische maatregelen voor de vereenvoudiging van de interpretatie van de output van AI-systemen door exploitanten, in overeenstemming met artikel 13, lid 3, punt d);

(f) indien van toepassing, een gedetailleerde beschrijving van vooraf bepaalde wijzigingen in het AI-systeem en de prestaties ervan, samen met alle relevante informatie die verband houdt met de technische oplossingen die zijn ingevoerd om de voortdurende naleving door het AI-systeem van de in titel III, hoofdstuk 2, vastgestelde eisen te waarborgen;

(g) de gebruikte validatie- en testprocedures, waaronder informatie over de gebruikte validatie- en testdata en de belangrijkste kenmerken ervan; de informatie die wordt gebruikt voor het meten van de nauwkeurigheid, robuustheid en naleving van andere relevante eisen zoals vastgesteld in titel III, hoofdstuk 2, evenals mogelijk discriminerende gevolgen; logbestanden over en alle verslagen van tests die zijn gedateerd en ondertekend door de verantwoordelijken, waaronder met betrekking tot vooraf vastgestelde wijzigingen als bedoeld onder f).

(g bis) gehanteerde cyberbeveiligingsmaatregelen.

3. Gedetailleerde informatie over de monitoring, werking en controle van het AI-systeem, met name in verband met: de mogelijkheden en beperkingen op het gebied van de prestaties van het systeem, waaronder de verschillende maten van nauwkeurigheid voor specifieke personen of groepen personen waarvoor het systeem bedoeld is om te worden gebruikt en het totale verwachte nauwkeurigheidsniveau in verhouding tot het beoogde doel; de voorzienbare onbedoelde resultaten en risicobronnen voor de gezondheid en veiligheid, de grondrechten en discriminatie gelet op het beoogde doel van het AI-systeem; de in overeenstemming met artikel 14 benodigde maatregelen voor menselijk toezicht, met inbegrip van de technische maatregelen die zijn getroffen om de interpretatie van de output van AI-systemen door exploitanten te vergemakkelijken; specificaties over inputdata, indien van toepassing.

3 bis. Een beschrijving van de geschiktheid van de prestatiestatistieken voor het specifieke AI-systeem;

3 ter. Informatie over het energieverbruik van het AI-systeem tijdens de ontwikkelingsfase en het verwachte energieverbruik tijdens het gebruik, in voorkomend geval rekening houdend met het toepasselijke Unierecht en nationale recht;

4. Een gedetailleerde beschrijving van het systeem voor risicobeheer overeenkomstig artikel 9.

5. Een beschrijving van de relevante wijzigingen die tijdens de levensduur van het systeem worden aangebracht door de aanbieders.

6. Een lijst van de geharmoniseerde normen die volledig of gedeeltelijk worden toegepast en waarvan de referenties zijn gepubliceerd in het Publicatieblad van de Europese Unie. Indien dergelijke geharmoniseerde normen niet zijn toegepast, een gedetailleerde beschrijving van de vastgestelde oplossingen om te voldoen aan de in titel III, hoofdstuk 2, vermelde eisen, met inbegrip van een lijst van andere toegepaste relevante normen of gemeenschappelijke specificaties.

7. Een exemplaar van de EU-conformiteitsverklaring.

8. Een gedetailleerde beschrijving van het ingevoerde systeem voor de evaluatie van de prestaties van het AI-systeem nadat het in de handel is gebracht, in overeenstemming met artikel 61, met inbegrip van het in artikel 61, lid 3, bedoelde plan voor monitoring na het in de handel brengen.

BIJLAGE V: EU-CONFORMITEITSVERKLARING

De in artikel 48 bedoelde EU-conformiteitsverklaring bevat de volgende informatie:

1. de naam en het type van het AI-systeem, evenals eventuele aanvullende ondubbelzinnige verwijzingen waarmee het AI-systeem kan worden geïdentificeerd en getraceerd;

2. de naam en het adres van de aanbieder en, indien van toepassing, zijn of haar gemachtigde;

3. een vermelding dat de EU-conformiteitsverklaring wordt verstrekt onder de uitsluitende verantwoordelijkheid van de aanbieder;

4.een vermelding dat het AI-systeem in overeenstemming is met deze verordening en, in voorkomend geval, met eventuele andere desbetreffende Uniewetgeving die voorziet in de afgifte van een EU-conformiteitsverklaring;

4 bis. indien een AI-systeem de verwerking van persoonsgegevens met zich meebrengt, een verklaring dat dat AI-systeem voldoet aan de Verordeningen (EU) 2016/679 en (EU) 2018/1725 en Richtlijn (EU) 2016/680.

5. de vermelding van eventuele toegepaste relevante geharmoniseerde normen of van andere gemeenschappelijke specificaties waarop de conformiteitsverklaring betrekking heeft;

6. indien van toepassing, de naam en het identificatienummer van de aangemelde instantie, een beschrijving van de uitgevoerde conformiteitsbeoordelingsprocedure en identificatie van het afgegeven certificaat;

7. plaats en de datum van afgifte van de verklaring, handtekening, naam en functie van de persoon die de verklaring heeft ondertekend alsmede vermelding van de persoon voor en namens wie die persoon ondertekent, handtekening.

BIJLAGE VI: CONFORMITEITSBEOORDELINGSPROCEDURE OP BASIS VAN INTERNE CONTROLE

1. De conformiteitsbeoordelingsprocedure op basis van interne controle is de conformiteitsbeoordelingsprocedure op basis van de punten 2 tot en met 4.

2. De aanbieder verifieert dat het ingevoerde kwaliteitsbeheersysteem voldoet aan de in artikel 17 vastgestelde eisen.

3. De aanbieder beoordeelt de in de technische documentatie opgenomen informatie om te beoordelen of het AI-systeem voldoet aan de relevante essentiële eisen die zijn vastgesteld in titel III, hoofdstuk 2.

4. De aanbieder verifieert eveneens of het ontwerp- en ontwikkelingsproces van het AI-systeem en de in artikel 61 bedoelde monitoring na het in de handel brengen overeenkomt met de technische documentatie.

BIJLAGE VII: CONFORMITEIT OP BASIS VAN DE BEOORDELING VAN HET KWALITEITSBEHEERSYSTEEM EN DE BEOORDELING VAN DE TECHNISCHE DOCUMENTATIE

1. Inleiding

De conformiteit op basis van de beoordeling van het kwaliteitsbeheersysteem en de beoordeling van de technische documentatie is de conformiteitsbeoordelingsprocedure op basis van de punten 2 tot en met 5.

2. Overzicht

Het overeenkomstig artikel 17 goedgekeurde kwaliteitsbeheersysteem voor het ontwerp, de ontwikkeling en het testen van AI-systemen wordt beoordeeld in overeenstemming met punt 3 en is onderworpen aan het in punt 5 bedoelde toezicht. De technische documentatie van het AI-systeem wordt beoordeeld in overeenstemming met punt 4.

3. Systeem voor kwaliteitsbeheer

3.1. De aanvraag van de aanbieder bevat onder meer:

(a) de naam en het adres van de aanbieder en, indien de aanvraag wordt ingediend door zijn gemachtigde, ook diens naam en adres;

(b) de lijst met AI-systemen die vallen onder hetzelfde kwaliteitsbeheersysteem;

(c) de technische documentatie voor elk AI-systeem dat valt onder hetzelfde kwaliteitsbeheersysteem;

(d) de documentatie betreffende het kwaliteitsbeheersysteem, dat alle in artikel 17 vermelde aspecten beslaat;

(e) een beschrijving van de ingestelde procedures om te zorgen dat het kwaliteitsbeheersysteem adequaat en doeltreffend blijft;

(f) een schriftelijke verklaring dat er geen gelijkluidende aanvraag bij een andere aangemelde instantie is ingediend.

3.2. Het kwaliteitsbeheersysteem wordt beoordeeld door de aangemelde instantie, die bepaalt of wordt voldaan aan de in artikel 17 bedoelde eisen.

Het besluit wordt meegedeeld aan de aanbieder of diens gemachtigde.

In deze kennisgeving zijn de conclusies van de beoordeling van het kwaliteitsbeheersysteem opgenomen, evenals de met redenen omklede beoordelingsbeslissing.

3.3. Het goedgekeurde kwaliteitsbeheersysteem wordt zodanig uitgevoerd en onderhouden door de aanbieder dat het toereikend en efficiënt blijft.

3.4. Voorgenomen wijzigingen in het goedgekeurde kwaliteitsbeheersysteem of de lijst met AI-systemen waarop het beheersysteem van toepassing is, worden door de aanbieder meegedeeld aan de aangemelde instantie.

De voorgestelde wijzigingen worden beoordeeld door de aangemelde instantie, die beslist of het gewijzigde kwaliteitsbeheersysteem blijft voldoen aan de in punt 3.2 bedoelde eisen dan wel of een nieuwe beoordeling noodzakelijk is.

De aangemelde instantie stelt de aanbieder in kennis van haar beslissing. In deze kennisgeving zijn de conclusies van de beoordeling van de wijzigingen opgenomen, evenals de met redenen omklede beoordelingsbeslissing.

4. Controle van de technische documentatie.

4.1. In aanvulling op de in punt 3 bedoelde aanvraag, wordt een aanvraag bij een aangemelde instantie naar keuze ingediend door de aanbieder voor de beoordeling van de technische documentatie die betrekking heeft op het AI-systeem dat de aanbieder voornemens is in de handel te brengen of in bedrijf te stellen en waarop het in punt 3 bedoelde kwaliteitsbeheersysteem van toepassing is.

4.2. De aanvraag omvat:

(a) de naam en het adres van de aanbieder;

(b) een schriftelijke verklaring dat er geen gelijkluidende aanvraag bij een andere aangemelde instantie is ingediend;

(c) de in bijlage IV bedoelde technische documentatie.

4.3. De technische documentatie wordt beoordeeld door de aangemelde instantie. Hiervoor wordt de aangemelde instantie volledige toegang verleend tot de datareeksen voor training en tests die door de aanbieder worden gebruikt, met inbegrip van door middel van applicatieprogramma-interfaces (API) of andere passende middelen en hulpmiddelen die toegang op afstand mogelijk maken.

4.4. Bij de beoordeling van de technische documentatie kan de aangemelde instantie eisen dat de aanbieder nader bewijs overlegt of nadere tests uitvoert, zodat een passende conformiteitsbeoordeling kan worden uitgevoerd om te controleren of het AI-systeem voldoet aan de in titel III, hoofdstuk 2, vermelde eisen. Wanneer de aangemelde instantie niet tevreden is met de door de aanbieder uitgevoerde tests, voert de aangemelde instantie zelf toereikende tests uit, voor zover passend.

4.5. Indien dat noodzakelijk is om te beoordelen of AI-systemen met een hoog risico voldoen aan de in titel III, hoofdstuk 2, vermelde eisen, nadat alle andere redelijke manieren om de conformiteit te verifiëren, zijn uitgeput of ontoereikend zijn gebleken, en na een met redenen omkleed verzoek, krijgt de aangemelde instantie eveneens toegang tot de trainings- en getrainde modellen van het AI-systeem, met inbegrip van de relevante parameters ervan. Die toegang is onderworpen aan het bestaande Unierecht inzake de bescherming van intellectuele eigendom en bedrijfsgeheimen. Zij nemen technische en organisatorische maatregelen om de bescherming van intellectuele eigendom en handelsgeheimen te waarborgen.

4.6. Het besluit wordt meegedeeld aan de aanbieder of diens gemachtigde. In deze kennisgeving zijn de conclusies van de beoordeling van de technische documentatie opgenomen, evenals de met redenen omklede beoordelingsbeslissing.

Indien het AI-systeem voldoet aan de in titel III, hoofdstuk 2, vermelde eisen, verstrekt de aangemelde instantie een EU-beoordelingscertificaat technische documentatie. Het certificaat bevat naam en adres van de aanbieder, de controlebevindingen, de eventuele voorwaarden voor de geldigheid van het certificaat en de noodzakelijke gegevens voor de identificatie van het AI-systeem.

Het certificaat en de bijlagen daarbij bevatten alle relevante informatie voor de evaluatie van de conformiteit van het AI-systeem en maken het mogelijk het in gebruik zijnde AI-systeem te controleren, indien van toepassing.

Wanneer het AI-systeem niet aan de in titel III, hoofdstuk 2, vermelde eisen voldoet, weigert de aangemelde instantie een EU-beoordelingscertificaat technische documentatie te verstrekken en brengt zij de aanvrager hiervan op de hoogte met vermelding van de precieze redenen voor de weigering.

Wanneer het AI-systeem niet voldoet aan de eis met betrekking tot de trainingsdata die zijn gebruikt, moet het AI-systeem opnieuw worden getraind voorafgaand aan de aanvraag voor een nieuwe conformiteitsbeoordeling. In dit geval bevat de met redenen omklede beoordelingsbeslissing van de aangemelde instantie waarin het EU-beoordelingscertificaat technische documentatie wordt geweigerd de specifieke overwegingen ten aanzien van de kwaliteitsdata die worden gebruikt voor de training van het AI-systeem, met name over de redenen waarom deze niet voldoen.

4.7. Eventuele wijzigingen in het AI-systeem die van invloed kunnen zijn op de naleving door het AI-systeem van de eisen of het beoogde doel, worden goedgekeurd door de aangemelde instantie die het EU-beoordelingscertificaat technische documentatie heeft verstrekt. De aanbieder informeert die aangemelde instantie over zijn voornemen om een van voornoemde wijzigingen door te voeren of wanneer hij zich anderszins bewust wordt van het bestaan van dergelijke wijzigingen. De aangemelde instantie beoordeelt de voorgenomen wijzigingen en beslist of deze een nieuwe conformiteitsbeoordeling vereisen overeenkomstig artikel 43, lid 4, dan wel of een aanvulling op het EU-beoordelingscertificaat technische documentatie volstaat. In het laatste geval beoordeelt de aangemelde instantie de wijzigingen, stelt zij de aanbieder in kennis van haar besluit en verstrekt hem, indien de wijzigingen worden goedgekeurd, een aanvulling op het EU-beoordelingscertificaat technische documentatie.

5. Toezicht op het goedgekeurde kwaliteitsbeheersysteem.

5.1. Het doel van het door de aangemelde instantie in punt 3 bedoelde uitgevoerde toezicht is te waarborgen dat de aanbieder naar behoren voldoet aan de algemene voorwaarden van het goedgekeurde kwaliteitsbeheersysteem.

5.2. De aanbieder stelt de aangemelde instantie in staat om voor beoordelingsdoeleinden toegang te krijgen tot de locatie waar het ontwerp, de ontwikkeling en het testen van de AI-systemen plaatsvindt. De aanbieder deelt voorts alle nodige informatie met de aangemelde instantie.

5.3. De aangemelde instantie verricht periodieke audits om te controleren of de aanbieder het kwaliteitsbeheersysteem onderhoudt en toepast en verstrekt de aanbieder een auditverslag. In het kader van deze audits kan de aangemelde instantie aanvullende tests uitvoeren van de AI-systemen waarvoor een EU-beoordelingscertificaat technische documentatie is verstrekt.

BIJLAGE VIII: INFORMATIE DIE MOET WORDEN VERSTREKT BIJ DE REGISTRATIE VAN AI-SYSTEMEN MET EEN HOOG RISICO IN OVEREENSTEMMING MET ARTIKEL 51

Deel A – Voor wat betreft AI-systemen met een hoog risico die moeten worden geregistreerd in overeenstemming met artikel 51, lid 1, wordt de volgende informatie verstrekt en daarna actueel gehouden:

1. de naam, het adres en de contactgegevens van de aanbieder;

2. wanneer de informatie wordt ingediend door een andere persoon namens de aanbieder, de naam, het adres en de contactgegevens van die persoon;

3. de naam, het adres en de contactgegevens van de gemachtigde, indien van toepassing;

4. de handelsnaam van het AI-systeem, evenals eventuele aanvullende ondubbelzinnige verwijzingen waarmee het AI-systeem kan worden geïdentificeerd en getraceerd;

4 bis. de handelsnaam van het basismodel, evenals eventuele aanvullende ondubbelzinnige verwijzingen waarmee dat model kan worden geïdentificeerd en getraceerd;

5. een eenvoudige en begrijpelijke beschrijving van:

a) de beoogde doelen van het AI-systeem;

b) de door het AI-systeem ondersteunde componenten en functies;

c) een basisuitleg over de logica van het AI-systeem; 

5 bis. indien van toepassing, de categorieën en soort gegevens die waarschijnlijk of naar verwachting zullen worden verwerkt door het AI-systeem;

6. de status van het AI-systeem (in de handel, in gebruik, niet langer in de handel/in gebruik, teruggeroepen);

7. type, aantal en verloopdatum van het door de aangemelde instantie verstrekte certificaat en de naam of het identificatienummer van die aangemelde instantie, indien van toepassing;

8. een gescand exemplaar van het in punt 7 bedoelde certificaat, indien van toepassing;

9. de lidstaten waarin het AI-systeem in de handel is gebracht, in bedrijf is gesteld of in de Unie ter beschikking is gesteld;

10. een exemplaar van de EU-conformiteitsverklaring, als bedoeld in artikel 48;

11. verwijderd

12. URL voor aanvullende informatie (optioneel).

Deel B – Voor wat betreft AI-systemen met een hoog risico die moeten worden geregistreerd in overeenstemming met artikel 51, lid bis, punt a), en lid 1 ter, wordt de volgende informatie verstrekt en daarna actueel gehouden:

1. de naam, het adres en de contactgegevens van de exploitant;

2. de naam, het adres en de contactgegevens van de persoon die namens de exploitant informatie indient;

3. de handelsnaam van het AI-systeem met een hoog risico en eventuele aanvullende ondubbelzinnige verwijzingen waarmee het gebruikte AI-systeem kan worden geïdentificeerd en getraceerd;

4.

a) een eenvoudige en alomvattende beschrijving van het beoogde gebruik van het AI-systeem, met inbegrip van de specifieke resultaten die met het gebruik van het systeem worden nagestreefd en het geografische toepassingsgebied en het bijbehorende tijdsbestek van de toepassing;

b) indien van toepassing, de categorieën en soort gegevens die zullen worden verwerkt door het AI-systeem;

c) regelingen voor menselijk toezicht en governance;

d) in voorkomend geval, de instanties of natuurlijke personen die verantwoordelijk zijn voor door het AI-systeem genomen of ondersteunde beslissingen;

5. een samenvatting van de bevindingen van de overeenkomstig artikel 29 bis uitgevoerde effectbeoordeling op het gebied van de grondrechten;

6. de URL van de invoer van het AI-systeem in de EU-databank door de aanbieder ervan;

7. een samenvatting van de gegevensbeschermingeffectbeoordeling, die is uitgevoerd overeenkomstig artikel 35 van Verordening (EU) 2016/679 of artikel 27 van Richtlijn (EU) 2016/680, als bedoeld in lid 6 van artikel 29 van deze verordening, indien van toepassing.

Deel C – Voor wat betreft basismodellen die moeten worden geregistreerd in overeenstemming met artikel 28 ter, punt e), wordt de volgende informatie verstrekt en daarna actueel gehouden:

1. de naam, het adres en de contactgegevens van de aanbieder;

2. wanneer de informatie wordt ingediend door een andere persoon namens de aanbieder, de naam, het adres en de contactgegevens van die persoon;

3. de naam, het adres en de contactgegevens van de gemachtigde, indien van toepassing;

4. de handelsnaam evenals eventuele aanvullende ondubbelzinnige verwijzingen waarmee het basismodel kan worden geïdentificeerd;

5. de beschrijving van de gegevensbronnen die bij de ontwikkeling van het basismodel zijn gebruikt;

6. de beschrijving van de capaciteiten en beperkingen van het basismodel, met inbegrip van de redelijkerwijs te voorziene risico’s en de maatregelen die zijn genomen om deze risico’s te beperken, alsook van de resterende niet-beperkte risico’s, met een toelichting waarom die risico’s niet kunnen worden beperkt;

7. de beschrijving van de opleidingsmiddelen die door het basismodel worden gebruikt, met inbegrip van de vereiste rekenkracht, de opleidingstijd en andere relevante informatie met betrekking tot de omvang en de kracht van het model; de beschrijving van de prestaties van het model, zo ook op het vlak van openbare benchmarks of geavanceerde benchmarks voor de sector;

8. de beschrijving van de resultaten van relevante interne en externe tests en optimalisering van het model;

9. de lidstaten waar het basismodel in de handel is gebracht, in bedrijf is gesteld of in de Unie ter beschikking is gesteld;

10. de URL voor aanvullende informatie (optioneel). 

BIJLAGE IX: Uniewetgeving over grootschalige IT-systemen in de Ruimte van vrijheid, veiligheid en recht

1. Schengeninformatiesysteem

(a) Verordening (EU) 2018/1860 van het Europees Parlement en de Raad van 28 november 2018 betreffende het gebruik van het Schengeninformatiesysteem voor de terugkeer van illegaal verblijvende onderdanen van derde landen (PB L 312 van 7.12.2018, blz. 1);

(b) Verordening (EU) 2018/1861 van het Europees Parlement en de Raad van 28 november 2018 betreffende de instelling, de werking en het gebruik van het Schengeninformatiesysteem (SIS) op het gebied van grenscontroles, tot wijziging van de Overeenkomst ter uitvoering van het Akkoord van Schengen en tot wijziging en intrekking van Verordening (EG) nr. 1987/2006 (PB L 312 van 7.12.2018, blz. 14);

(c) Verordening (EU) 2018/1862 van het Europees Parlement en de Raad van 28 november 2018 betreffende de instelling, de werking en het gebruik van het Schengeninformatiesysteem (SIS) op het gebied van politiële en justitiële samenwerking in strafzaken, tot wijziging en intrekking van Besluit 2007/533/JBZ van de Raad en tot intrekking van Verordening (EG) nr. 1986/2006 van het Europees Parlement en de Raad en Besluit 2010/261/EU van de Commissie (PB L 312 van 7.12.2018, blz. 56).

2. Visuminformatiesysteem

(a) Voorstel voor een VERORDENING VAN HET EUROPEES PARLEMENT EN DE RAAD tot wijziging van Verordening (EG) nr. 767/2008, Verordening (EG) nr. 810/2009, Verordening (EU) 2017/2226, Verordening (EU) 2016/399, Verordening XX/2018 [de interoperabiliteitsverordening] en Beschikking 2004/512/EG, en tot intrekking van Besluit 2008/633/JBZ van de Raad – COM(2018) 302 final. Bijwerken na vaststelling van de verordening (mei/april 2021) door de medewetgevers.

3. Eurodac

(a) Gewijzigd voorstel voor een VERORDENING VAN HET EUROPEES PARLEMENT EN DE RAAD betreffende de instelling van “Eurodac” voor de vergelijking van biometrische gegevens ten behoeve van een doeltreffende toepassing van Verordening (EU) XXX/XXX [verordening betreffende asiel- en migratiebeheer] en van Verordening (EU) XXX/XXX [hervestigingsverordening] voor de identificatie van een illegaal verblijvende onderdaan van een derde land of staatloze en betreffende verzoeken van rechtshandhavingsinstanties van de lidstaten en Europol om vergelijkingen van Eurodac-gegevens ten behoeve van rechtshandhaving, en tot wijziging van de Verordeningen (EU) 2018/1240 en (EU) 2019/ 818 – COM(2020) 614 final.

4. Inreis-uitreissysteem

(a) Verordening (EU) 2017/2226 van het Europees Parlement en de Raad van 30 november 2017 tot instelling van een inreis-uitreissysteem (EES) voor de registratie van inreis- en uitreisgegevens en van gegevens over weigering van toegang ten aanzien van onderdanen van derde landen die de buitengrenzen overschrijden en tot vaststelling van de voorwaarden voor toegang tot het EES voor rechtshandhavingsdoeleinden en tot wijziging van de overeenkomst ter uitvoering van het te Schengen gesloten akkoord en Verordeningen (EG) nr. 767/2008 en (EU) nr. 1077/2011 (PB L 327 van 9.12.2017, blz. 20).

5. Europees systeem voor reisinformatie en -autorisatie

(a) Verordening (EU) 2018/1240 van het Europees Parlement en de Raad van 12 september 2018 tot oprichting van een Europees reisinformatie- en -autorisatiesysteem (Etias) en tot wijziging van de Verordeningen (EU) nr. 1077/2011, (EU) nr. 515/2014, (EU) 2016/399, (EU) 2016/1624 en (EU) 2017/2226 (PB L 236 van 19.9.2018, blz. 1);

(b) Verordening (EU) 2018/1241 van het Europees Parlement en de Raad van 12 september 2018 tot wijziging van Verordening (EU) 2016/794 met het oog op de oprichting van een Europees reisinformatie- en -autorisatiesysteem (Etias) (PB L 236 van 19.9.2018, blz. 72).

6. Europees Strafregisterinformatiesysteem over onderdanen van derde landen en staatlozen

(a) Verordening (EU) 2019/816 van het Europees Parlement en de Raad van 17 april 2019 tot invoering van een gecentraliseerd systeem voor de vaststelling welke lidstaten over informatie beschikken inzake veroordelingen van onderdanen van derde landen en staatlozen (Ecris-TCN) ter aanvulling van het Europees Strafregisterinformatiesysteem en tot wijziging van Verordening (EU) 2018/1726 (PB L 135 van 22.5.2019, blz. 1).

7. Interoperabiliteit

(a) Verordening (EU) 2019/817 van het Europees Parlement en de Raad van 20 mei 2019 tot vaststelling van een kader voor interoperabiliteit tussen de Unie-informatiesystemen op het gebied van grenzen en visa (PB L 135 van 22.5.2019, blz. 27);

(b) Verordening (EU) 2019/818 van het Europees Parlement en de Raad van 20 mei 2019 tot vaststelling van een kader voor interoperabiliteit tussen de Unie-informatiesystemen op het gebied van politiële en justitiële samenwerking, asiel en migratie (PB L 135 van 22.5.2019, blz. 85).