Posts tonen met het label System Risk Indication. Alle posts tonen
Posts tonen met het label System Risk Indication. Alle posts tonen

donderdag 6 februari 2020

De discussie over de toelaatbaarheid van systemen zoals SyRI moet permanent zijn

SyRI kan niet buiten werking worden gesteld door de rechter
Ten onrechte is het beeld ontstaan dat de rechter de Staat heeft bevolen om SyRI (Systeem Risico Indicatie) per direct stop te zetten. Zo meldt VN-rapporteur Philip Halston: "This is the first time a court has stopped the use of digital technologies by welfare authorities on human rights grounds" (zie ook: "Landmark ruling by Dutch court stops government attemps to spy on the poor- UN expert Halston").

Het dictum van de rechtbank Den Haag wordt verkeerd begrepen. De kern van het dictum is dat het systeem nog steeds gebruikt mag worden. Slechts art. 65 van de wet SUWI en Hoofdstuk 5a van het Besluit SUWI zijn onverbindend verklaard (zie r.o. 7.2). De betrokkenen hebben dus niet meer dan een verklaring voor recht verkregen. De precedentenwerking die volgens de VN-rapporteur uitgaat van het vonnis, is dus niet juist. Het vonnis wordt gepresenteerd als een overwinning die het in de praktijk niet is.

Lees rechtsoverweging 6.7 van de rechtbank Den Haag in de SyRI-zaak: "De SyRI-wetgeving [lees: SUWI, M.Bouter] voldoet niet aan de in art. 8 lid 2 EVRM gestelde eis, dat de inmenging in het privéleven noodzakelijk is in een democratische samenleving, dat wil zeggen noodzakelijk, proportioneel en subsidiair in relatie tot het beoogde doel. De SyRI-wetgeving voldoet niet aan de 'fair balance' die moet bestaan tussen het maatschappelijke belang van de SyRI-wetgeving en de inbreuk op het privéleven door deze wetgeving, om te kunnen spreken over een gerechtvaardigde inbreuk. Daarbij neemt de rechtbank in het bijzonder de beginselen van transparantie, doelbinding en dataminimalisatie in aanmerking. De wetgeving is onvoldoende inzichtelijk en controleerbaar." (ECLI:NL:RBDHA:2020:865). Zie ook rechtsoverweging 6.111: "Wat betreft de inzet van SyRI voldoet de wetgeving niet". Nergens blijkt dat SyRI, of een vergelijkbaar systeem, in het vervolg niet mag worden ingezet.

Om valse verwachtingen weg te nemen bij de betrokkenen, moet worden gemeld dat iedere zaak vooralsnog individueel moet worden behandeld. Voor de bekendmaking van de gebruikte risicomodellen en de vernietiging van de verzamelde en verwerkte persoonsgegevens, zullen de betrokkenen gebruik moeten maken van de bestuursrechtelijke procedure. De rechtbank neemt een voorschot op de kans van slagen van een verzoek tot vernietiging en tot bekendmaking van de risicomodellen: de Staat behoeft de risicomodellen niet te openbaren en vernietiging van de in het kader van SyRI verzamelde en verwerkte data is niet verplicht (r.o. 6.115 en 6.117).

Welbeschouwd mag de Staat doorgaan met het gebruik van SyRI, mits de wettelijke basis voldoet aan de EHRM-criteria in de zin van art. 8 lid 2 EVRM. Het ligt in de lijn der verwachting dat de wetgever met een reparatie van art. 65 SUWI komt, en/of dat een met SyRI vergelijkbaar systeem reeds is ontwikkeld en binnenkort geïntroduceerd zal worden.

Het is zaak om niet achterover te leunen. De rechter heeft SyRI niet buiten werking kunnen stellen, maar los van die kwestie moet de discussie over de toelaatbaarheid van systemen zoals SyRI gevoerd blijven worden. Het gaat niet om een onderwerp dat slechts de 'waan van de dag' bestrijkt. De media-aandacht voor SyRI werd vooral gegenereerd rond het thema 'discriminatie van sociaal achtergestelde buurten'. SyRI kan, gelet op SUWI, echter worden toegepast op iedereen die gebruik moet maken van belastingtoeslagen en sociale verzekeringen. Iedere burger kan aan allerlei vormen van Big Data-verzameling en -analyse, risicotaxaties en voorspellende algoritmen worden onderworpen.

Punten van discussie over SyRI en nieuwe vormen van Big Data-analyse/profilering/voorspellende algoritmen
Het is duidelijk dat de betrokkenen niet meer hebben verkregen dan de verklaring dat twee artikelen van de SUWI-wetgeving onverbindend zijn. De discussie over de toelaatbaarheid van systemen zoals SyRI moet permanent zijn.

1. Systemen zoals SyRI zijn van toepassing op iedere burger die belastingvoordelen, toeslagen of een sociale verzekering ontvangt;
2. Volgens de Nota van Toelichting bij het Besluit SUWI dienen de indicatoren en het risicomodel helder te zijn benoemd om een 'fishing expedition' te voorkomen. Is de fishing expedition met de toepassing van SyRI verwezenlijkt? Het risicomodel voor SyRI moet namelijk in de toekomst worden ontwikkeld door SZW (r.o. 4.23-4.24);
3. De rechtbank is van oordeel dat de SyRI-wetgeving in het belang van het economisch welzijn is en daarmee een legitiem doel dient (r.o. 6.4);
4. De Raad van State heeft in 2014 opgemerkt dat de opsomming van gegevens ten behoeve van SyRI zo ruim is, dat er geen persoonsgegeven is te bedenken dat er niet onder valt. De opsomming is bedoeld om zoveel mogelijk armslag te hebben. Bovendien heeft de Raad van State gewezen op een groot bezwaar tegen Deep Learning-technieken die de spil vormt van SyRI: de menselijke gebruiker begrijpt niet waarom het systeem concludeert dat er een (fraude)verband is. Een bestuursorgaan dat zijn handelen baseert op zo'n systeem, kan zijn optreden niet verantwoorden en zijn besluiten niet motiveren (r.o. 6.46);
5. De Staat heeft de rechtbank in de SyRI-zaak géén objectief verifieerbare informatie verschaft. De rechtbank heeft geen inzicht gekregen in een risicomodel en indicatoren, zodat de rechter de toepassing van SyRI niet kan beoordelen (r.o. 6.49). De rechtbank heeft een feitelijke veronderstelling moeten toepassen bij gebrek aan informatie van de Staat (r.o. 6.51). De rechter blijft in het ongewisse over wat SyRI precies is;
6. Het black box-karakter van SyRI verhindert dat de rechtbank kan beoordelen of en elke risicoprofielen zijn ontwikkeld in SyRI (r.o. 6.53);
7. De rechtbank laat in het midden of SUWI een voldoende rechtsbasis biedt, zoals art. 8 lid 2 EVRM eist voor een gerechtvaardigde inbreuk op het privéleven (r.o. 6.72);
8. De rechtbank heeft geen inzicht gekregen in de validatie van een risicomodel en de verificatie van risico-indicatoren in SyRI (r.o. 6.89);
9. Gelet op de omvang van de beschouwingen van de rechtbank, laat de rechtbank in het midden of de SUWI-wetgeving op het punt van de inzet van SyRI verenigbaar is met de AVG, art. 6 EVRM ('equality of arms') en art. 13 EVRM ('recht op effectieve nationale rechtsbescherming').



 

woensdag 27 november 2019

Legal prognosis: SyRI most likely violates the ECtHR criteria, but this system will be deemed lawful by the lower court

Already in 2014, I sent a message to the national newspapers about SyRI (System Risk Indication), considering the risks of and objections to systems for mass surveillance such as SyRI. It was too progressive to place critical notes on the use of SyRI in 2014: several media did not find the subject sufficiently urgent.

I also sensed this lack of interest within the Public Law section. Oddly, the Department gave me permission to investigate the compatibility of SyRI with the legal principles of the prohibition of détournement de pouvoir, the presumption of innocence and the principle of equality of arms. In addition to these administrative and criminal notions and most importantly, I would investigate the compatibility of SyRI with the right to respect for private life. The Research Supervisor stated that SyRI as a 'small law' was not interesting and significant enough. The interests affected by the deployment of SyRI were judged with a sense of disdain. I strongly disagree with the dismissal of the deployment of SyRI as if this phenomenon were socially insignificant!

SyRI has now become a topic of discussion and its social influence is being recognized. On October 29, 2019, the Court of The Hague examined the matter at the first session of the substantive proceedings in the SyRI case. I expect that the court will consider the deployment of SyRI to be lawful. Should the SyRI case be brought before the Court of Human Rights (ECHR), the ECHR is expected to issue a quite different judgment.

The legal basis of SyRI

SyRI is provided by the SUWI Act upon the amendment of the SUWI (Work and Income Implementation Structure) Act. Chapter 5a of the SUWI Decree contains the provisions on the use of SyRI by government agencies. Article 5a.1 of the SUWI Decree gives the impression that the systematic collection and processing of data is only within the framework of administrative action by government bodies and only within the exhaustive summary of data as referred to in Article 5a.1 paragraph 3 under aq of the Decree SUWI occurs; however, the citizen's details are provided in full by all government agencies on the basis of Articles 64 and 65 of the SUWI Act. Large-scale and systematic analysis and processing of data is therefore facilitated by the linking of registers of government bodies. The aim of SyRI is to promote the integral cooperation of government bodies in combating social security and tax fraud (Article 65, paragraph 2 in conjunction with 64, paragraph 1 of the SUWI Act).

The data subject is not informed of the processing of his data in SyRI (Article 5a.5, paragraphs 1 and 4 of the SUWI Decree). With 'consent of the persons' to the request for systematic surveillance and processing (Article 5a.1 paragraph 4 sub a SUWI Decree) is therefore not meant the consent of the data subject, but the consent of persons who supervise compliance with other regulations from the Minister of Social Affairs and Employment (Article 64, paragraph 1 of the SUWI Act).

Black box: hidden predictive algorithms
A risk profile is drawn with the use of SyRI. SyRI assesses the risk of social security fraud and tax fraud on the basis of, among other aspects, data on education, housing data, environmental factors, study debt, other debt charges and data on reintegration. The composition of the risk factors is shrouded (Article 5a.1, paragraph 7, SUWI Decree). The SUWI Decree contains the requirements of proportionality and subsidiarity (Article 5a.1 paragraph 4 SUWI Decree). The predictive algorithms behind SyRI are applied regardless of a concrete suspicion of fraud.

The deployment of SyRI cannot be controlled by the citizen, because the government applies the 'black box method'. The 'black box' refers to the hidden input of predictive algorithms in Big Data processes. I have drawn attention to the objections to the black box in my investigation into the use of Big Data analyzes for criminal purposes.

Data subjects cannot effectively check whether a governmental body meets the requirements of proportionality and subsidiarity with regard to large-scale data surveillance and processing of personal data. The purpose limitation requirement, the principle of data minimization and the possibility of requiring rectification, laid down in the General Data Protection Regulation (AVG), will thereby be devoid of significance. Also, the proportionality and subsidiarity provisions of Article 5a.1 paragraph 4 of the SUWI Decree will be devoid of significance, since citizens cannot find out whether they are being investigated or not. 

The prognosis: the court finds that the application of SyRI is lawful ....
My expectation is that The Hague District Court, which dealt with the first session in the SyRI case on 29 October 2019 and will issue a judgment on the substantive proceedings on 29 January 2020, will consider the application of SyRI to be lawful. That judgment can be based on the formal requirement of a legal basis for the systematic collection and processing of data in the SUWI Act.

The right to respect for privacy, enshrined in Article 10 of the Constitution, is generally soon met with if government bodies base their activities on the provisions of a formal law.

.... the ECtHR will issue a jugdment stating that the deployment of SyRI constitutes a breach of Article 8 of the ECHR
The European Court of Human Rights (ECHR) will judge the admissibility of SyRI differently. The use of SyRI does not meet the requirements set by the ECtHR for the compatibility of this method of data surveillance with the right to respect for private life (Article 8 ECHR). The extensive case law of the ECtHR on systematic data surveillance leaves no doubt about this. SyRI fails on the criterion of the foreseeability of the use of the authority of the government body. There are no legal safeguards to compensate for the violation of Article 8 of the ECHR through the deployment of SyRI. The law should lay down clear and detailed rules for the application of SyRI, so that the person concerned knows under what circumstances and under what conditions the government is authorized to deploy SyRI (ECHR 21 June 2011, 30194/09 (Shimovolos v. Russia), paragraph 68).

The nature and maximum duration of the deployment of SyRI must be specified in the law, as well as the procedures followed by government bodies to investigate, use and store personal data in SyRI (ECHR 29 June 2006, 54934/00 (Weber and Saravia v. Germany), paragraph 95). The law must also state the means that can be brought by the citizen against SyRI (ECHR 28 June 2007 (Ekimdzhiev v. Bulgaria), pp. 71-77).

Due to the 'black box' character of SyRI, implying the subjection to research and the operation of predictive algorithms remain hidden for citizens, it is unclear to the citizen under what circumstances and conditions a governmental body is authorized to deploy SyRI. The SUWI Act and the SUWI Decree do not set clear, detailed rules for the deployment of SyRI. The mere fact of exercising the right to receive benefits under the Unemployment Insurance Act, WIA or Participation Act is not a specific condition for being subject to SyRI.

Moreover, the law and the Decree do not provide any, nor do they mention legal remedies that can be used by the citizen against the application of SyRI. If the SUWI law did mention the legal remedies that could be used, the 'black box' would still not allow the citizen to effectively exercise his right to an effective legal remedy, for citizens will not be informed on being subject to SyRI.

As far as I am concerned, the following issues need further investigation:
- to what extent results of criminal analysis, including those based on Hansken, iColumbo and the Refinery, can be linked within the framework of 'integral cooperation between government bodies'. Although the starting point is not to process judicial data in the SyRI projects, the SUWI Act and the SUWI Decree do not exclude the processing of such data;
- whether the legal retention period of two years (Article 65, paragraphs 5-7 of the SUWI Act) can be exceeded by reopening a SyRI investigation before the expiry of the deadline or adding new data to the risk assessment.

Conclusion
Due to the lack of clear, detailed rules that inform the citizen about the conditions and circumstances for applying SyRI and the lack of legal safeguards to compensate for the infringement of Article 8 ECHR, the ECtHR is expected to judge the deployment of SyRI by the government unlawful. Before the ECtHR processes a petition, national remedies must be exhausted. It can therefore take years before the case brings it to the ECtHR. In the meantime, the government most likely will have introduced a new appraisal tool driven by predictive algorithms, to avoid the SyRI controversy, or a legislative change to meet the minimum requirements for proportional and subsidiary application of SyRI will be adopted. 


Mercedes Bouter LL.M.