Datamining, Machine Learning en voorspellende algoritmen: hoe geschikt zijn deze methoden voor risicotaxatie?

(Big) Data-analyse: 'garbage out' is noodzakelijk om te voorkomen dat algoritmen verkeerd worden getraind

Om willekeurige of ongestructureerde data van relevante data te schiften, moet een analytisch instrument worden ingezet. De hoeveelheid data moet niet alleen worden verkleind, maar ook worden verfijnd om tot een specifieker resultaat te komen. Daarvoor kan gebruik worden gemaakt van een zogenaamd ‘Warehouse’, een digitale verzameling data afkomstig uit diverse bronnen. Om te voorkomen dat voorspellende algoritmen worden getraind met verouderde data en om het risico op inaccurate voorspellingen (vals-positieven) te verkleinen, dienen de data te worden ververst en in omvang te worden beperkt, ofwel: garbage out.[1] Met een dergelijk ‘digitaal warenhuis’ als referentiepunt kunnen correlaties tussen data worden ontdekt. Over de duur van het bewaren van persoonsgegevens in een Warehouse is niets bekend; op grond van het voormelde zal het waarschijnlijk gaan om een onbepaalde duur, behoudens de verversing. Het luistert in deze vroege fase van het proces van data-analyse nauw: als inaccurate gegevens worden bewaard en toegepast, wordt de onderzochte persoon onterecht als 'verdachte' of 'mogelijke fraudeur' aangemerkt.

Datamining, Supervised Machine Learning en Kunstmatige Intelligentie

Een belangrijke stap in het ontdekken van correlaties tussen datasets is ‘Knowledge Discovery of Databases’, of ‘datamining’.[2] Statistical Analysis System (SAS) omschrijft datamining als ‘het proces waarbij naar anomalieën, patronen en correlaties wordt gezocht, om een bepaalde uitkomst te kunnen voorspellen’.[3] De voorloper van datamining is ‘machine learning', een techniek die inhoudt dat algoritmen op basis van statistische gegevens worden getraind.[4] Formules worden ingegeven om algoritmen te ontwikkelen, trainingsets van data worden als ‘input’ gegeven en het resultaat ervan wordt als ‘output’ verstrekt. Algoritmen krijgen de opdracht om het verband tussen input en output te leggen en zichzelf te evalueren. De uitkomst van deze feedback wordt gebruikt om patronen te herkennen.[5] Deze vorm, ‘supervised machine learning’ is bij uitstek geschikt om data te classificeren: algoritmen categoriseren data naar het voorbeeld van vooraf verstrekte, gelabelde datasets en leren om data te ‘labelen’, ofwel een bepaalde eigenschap toe te kennen.[6] Als een plaatje van een ploertendoder als input en een vergelijkbaar plaatje met de titel ‘ploertendoder’ als output wordt verstrekt, leren de algoritmen om plaatjes van ploertendoders te classificeren. 

Profilering en voorspellende algoritmen en het risico op bias-gedreven valse resultaten

Algoritmen zijn de moleculen van alle vormen van kunstmatige intelligentie. Een algoritme kan worden omschreven als een formule, een eindige reeks die ingegeven data (bijvoorbeeld door opdrachten in zoekmachines, muisklikken en het bezoeken van webpagina’s gegenereerd) omzet in ‘output’, een bepaald resultaat. Om profilering van bepaalde categorieën van personen of verschijnselen en van bepaalde groepen van personen mogelijk te maken, dienen algoritmen te worden getraind met datasets. Het trainen van algoritmen, supervised machine learning, is vooralsnog een menselijke aangelegenheid. De waarde die door de onderzoeker of opdrachtgever wordt toegekend aan de dataset, beïnvloedt de uitkomst van het onderzoek. De uitkomst is, evenals de invoer van de dataset, afhankelijk van vooroordelen. Bij voortzetting van de gebruikelijke wijze van profilering is een bias in de datasets en daarmee in de profielschets of risicotaxatie onvermijdelijk. Bias-gedreven profilering vergroot het risico op valse positieven, dat nog eens wordt versterkt door te trainen met verouderde (persoons)gegevens. Bovendien is een zwakte inherent aan de toepassing van algoritmen in het data-analyseproces: algoritmen zeggen niets over causaliteit, het verband tussen oorzaak en gevolg. Algoritmen worden slechts toegepast om correlaties tussen verschijnselen bloot te leggen. Dat maakt voorspellende algoritmen niet geschikt om verwachtingen te toetsen.

Unsupervised Machine Learning, ongeschikt voor profilering

Bij een andere vorm van machine learning, ‘unsupervised machine learning’, ontbreekt het voorbeeld van gelabelde datasets. Algoritmen leggen patronen tussen ongestructureerde data. Unsupervised machine learning wordt gebruikt om ongestructureerde data te clusteren, in te delen naar overeenkomsten zonder een bepaald label te gebruiken.[7] De algoritmen plaatsen bijvoorbeeld allerlei plaatjes van ploertendoders in één omgeving, maar weten niet hoe deze wapens heten. Dat maakt unsupervised machine learning ongeschikt voor profilering, waarbij niet alleen relaties moeten worden gegenereerd, maar ook namen en classificaties (bijvoorbeeld ‘fraud!’) zullen moeten worden verbonden aan het resultaat. 

Een subvorm van machine learning is deep learning, het via een gelaagde neurale structuur ontdekken van complexe patronen in grote hoeveelheden data.[8] Het onderscheidende aan deep learning is de behoefte aan forse ‘computational power’ voor het uitvoeren van een complexe taak; één neurale laag kan uit wel vierhonderd processoren bestaan.[9]  Machine learning en deep learning vallen onder het onderzoeksgebied van de Kunstmatige Intelligentie (K.I.), met dien verstande dat K.I. geen synoniem is voor machine learning. Kunstmatige Intelligentie bestudeert het vermogen van computers om autonoom complexe taken uit te voeren en probleemoplossend te werk te gaan.[10] 

Zijn algoritmen wel geschikt om risico's te taxeren? Correlatie, geen causaliteit

Algoritmen liggen ten grondslag aan de automatisering van processen, waaronder datamining. Kenmerkend van door Big Data gedreven algoritmen is dat géén hypotheses worden ingegeven. Het doel is niet om een bepaalde verwachting te toetsen, maar om correlaties tussen verschijnselen te ontdekken.[11] Dat maakt dat de causaliteit van een gebeurtenis in de fase van de datamining buiten beschouwing blijft.

Conclusie
Profilering in de huidige verschijningsvorm wordt gekenmerkt door 'supervised machine learning', het trainen van algoritmen met vooraf ingegeven datasets. Deze datasets dragen, afhankelijk van de intentie van de opdrachtgever, in de regel menselijke waardeoordelen. Algoritmen die worden ingezet voor profilering zijn in die zin niet intelligent, dat zij zelf patronen kunnen ontdekken. Een zwakte aan profilering is dat (voorspellende) algoritmen niet worden ingezet om hypotheses te toetsen, maar slechts om correlaties te weergeven. Het onderzoeken van de causaliteit van een gebeurtenis blijft een menselijke aangelegenheid. Het 'minen' van grote hoeveelheden data is evenmin een geschikte methode om hypotheses te toetsen. Aan de resultaten van profilering en datamining mag geen betekenis worden toegekend voordat nadere menselijke interventie of interventie door een geschikte methode heeft plaatsgevonden. 'Vals-positieven' moeten uit programma's die werken op voorspellende algoritmen worden getraind. Bovendien kunnen de datasets waarmee voorspellende algoritmen worden getraind, bias bevatten. Daarmee is de bias in de profielschets of risicotaxatie onvermijdelijk. 

---

[1] B. Mali, C. Bronkhorst-Giesen en M. den Hengst, Predictive Policing: lessen voor de toekomst. Een evaluatie van de landelijke pilot (2017), p. 91-92; ‘Machine Learning in Information Security: Where the Hype Ends’, Cisco White Paper 2018, p. 3.

[2] R. Sietsma, Gegevensverwerking in het kader van de opsporing. Toepassing van datamining ten behoeve van de opsporingstaak: afweging tussen het opsporingsbelang en het recht op privacy, (diss. Universiteit Leiden), Leiden (2006), p. 23

[3] https://www.sas.com/nl_nl/insights/analytics/data-mining.html (geraadpleegd op 20 mei 2019).

[4] Vgl. https://cs.stanford.edu/memoriam/professor-arthur-samuel.

[5] Vgl. https://www.sas.com/nl_nl/insights/analytics/machine-learning.html (laatstelijk geraadpleegd op 20 mei 2019).

[6] Cisco Innovation Labs: How machine learning finds network trouble faster than anyone, via https://www.cisco.com/c/m/en_us/network-intelligence/service-provider/digital-transformation/get-to-know-machine-learning.html (laatstelijk geraadpleegd op 26 mei 2019).

[7] ‘Machine Learning in Information Security: Where the hype ends’, Cisco Whitepaper 2018, via https://www.cisco.com/c/dam/en/us/products/collateral/security/white-paper-c11-741159.pdf (geraadpleegd op 24 mei 2019).

[8] Vgl. https://machinelearningmastery.com/what-is-deep-learning/ (laatstelijk geraadpleegd op 26 mei 2019).

[9] Expanding deep learning, via https://www.umass.edu/research-report/expanding-deep-learning (geraadpleegd op 26 mei 2019).

[10] Definitie ontleend aan de informatie van de Universiteit van Massachusetts, faculteit Kunstmatige Intelligentie, via https://www.cics.umass.edu/research/area/artificial-intelligence (laatstelijk geraadpleegd op 26 mei 2019).

[11] T. Calders & B.H.M. Custers, ‘What is data mining and how does it work?’, in: B.H.M.

Custers e.a. (red.), Discrimination and privacy in the information society, Heidelberg:

Springer 2013, p. 27-28; G.H. Evers, ‘In de schaduw van de rechtsstaat: profilering en nudging door de overheid’, Computerrecht 2016/84-3, p. 167.

2. Knelpunten bij geautomatiseerde Big Data-analyse

Knelpunten bij de inzet van geautomatiseerde Big Data-analyses en nieuwe technologieën onder de huidige wetgeving

De bevoegdheidsgrondslag voor de inzet van Big Data-analyses

Hiervoor is aangestipt dat de bevoegdheid tot het uitvoeren van Big Data-analyses, bij gebrek aan specifieke wetgeving, wordt gebaseerd op de algemene politietaak als bedoeld in artikel 3 Politiewet.[1] Het is de vraag of de politietaak voldoende grondslag biedt voor de inzet van iColumbo en het gebruik van het iRN-netwerk. Gekeken zal moeten worden naar de hiervoor vermelde handreiking van de Hoge Raad: als methoden voor Big Data-analyses in verband met de duur, intensiteit en frequentie ervan geschikt zijn om een min of meer compleet beeld te krijgen van bepaalde aspecten van het persoonlijke leven van de betrokkene, dient een meer specifieke wettelijke grondslag te bestaan.

Het datamininginstrument iColumbo en het netwerk iRN zijn te typeren als methoden voor ‘datasurveillance’ of ‘dataveillance’, omdat zij (op geautomatiseerde wijze) stelselmatig persoonsgegevens van burgers verzamelen, verwerken en opslaan.[2] Uit het ontwerp van iColumbo blijkt dat iColumbo real-time, dus continu, internet monitoring van personen aanbiedt aan overheidsdiensten.[3] Volgens De Beijer wordt iRN gebruikt door diverse overheidsinstanties die een wettelijke taak hebben op het gebied van opsporing, handhaving, toezicht, data intelligence of crisisbeheersing; alles wat de gebruiker van iRN te zien krijgt, wordt vastgelegd om eventueel als bewijsmateriaal te fungeren.[4] Daarbij is iColumbo ontworpen met de mogelijkheid om modules in te bouwen die het systeem uitbreiden met netwerkanalyse, beeldanalyse en video- en beeldherkenning.[5] De gebruiker van iColumbo krijgt daarmee inzicht in een aanzienlijk deel van het privéleven van betrokkene.

Om met betrekking tot iColumbo en iRN tegemoet te komen aan de eis van een meer specifieke wettelijke grondslag dan artikel 3 Politiewet in samenhang met artikel 141 Sv biedt, zou mijns inziens kunnen worden gedacht aan de mogelijkheid om de inzet aan de bijzondere bevoegdheden van artikel 126g Sv en inzake de stelselmatige observatie te koppelen. Deze normering brengt mee dat sprake moet zijn van verdenking van een misdrijf en dat de Officier van Justitie de observatie met iColumbo moet bevelen. Een andere mogelijkheid is het koppelen van de inzet van dergelijke stelselmatige data-analyses aan artikel 170 lid 2 Sv, waarmee de rechter-commissaris als toezichthouder op het onderzoek wordt aangewezen.

Komt het doelbindingsprincipe in het gedrang door Big Data-analyses?

Bij de inzet van Big Data-analyse in het kader van predictive policing bestaat het risico dat de opsporende autoriteit die een methode inzet, de oorspronkelijke bevoegdheid overschrijdt, bijvoorbeeld door meer of andersoortige data te verzamelen, verwerken of opslaan dan de bevoegdheidsverlening toelaat. Daarmee vergelijkbaar is de situatie dat geautomatiseerde instrumenten data verzamelen, verwerken en opslaan van data die het oorspronkelijke doel van de inzet van het instrument te buiten gaan, waardoor deze data kunnen worden beschouwd als ‘bijvangst’. Het gebruik van data voor andere doeleinden is bekend als ‘function creep’.[6] Oerlemans en Koops wijzen met betrekking tot de inzet van iColumbo op een mogelijke ‘sfeercumulatie’: de handhaving van de openbare orde en het vergaren van strafrechtelijk bewijs kunnen door elkaar gaan lopen.[7]

De WRR merkt op dat het secundaire gebruik van data inherent is aan Big Data en op gespannen voet staat met doelbinding, als kernprincipe van gegevensbescherming neergelegd in onder meer artikel 3 lid 3 van Wet politiegegevens.[8] Onder meer door de koppeling van databases van verschillende overheidsinstanties en hergebruik van opgeslagen data neemt de druk op het doelbindingsprincipe toe.[9] De kans op verkrijging van niet-voorziene data is groot bij de inzet van zelflerende algoritmen, omdat de menselijke interventie beperkt is. De Fietstas van iColumbo is illustratief: na een initiële opdracht met historische data als referentiekader, leren de algoritmen zichzelf continu om nieuwe patronen te ontdekken (2.2.3), waardoor de band met de initiële opdracht steeds verder verwijderd raakt van de onderzoeksresultaten. 

De WRR wijst op de spanning van Big Data-analyses met de principes van proportionaliteit en subsidiariteit. Het met het beide beginselen samenhangende principe van dataminimalisatie (gegevens moeten zo selectief mogelijk worden verzameld en verwerkt en alleen voor zover noodzakelijk), wordt ondermijnd door het koppelen van databases en het hergebruik van gegevens uit databases. In de juridische scan inzake de toepassing van iColumbo wordt opgemerkt dat een zoekactie met iColumbo onvermijdelijk leidt tot de verwerking en opslag van gegevens. Een ‘karaktertrek’ van Big Data-analyse bemoeilijkt de proportionaliteit en subsidiariteit van het onderzoek: het doel van data-analyse kan juist gelegen zijn in het zoveel mogelijk en ongericht verzamelen van gegevens.[10] Het doelbindingsprincipe als onderdeel van de proportionaliteit kan op losse schroeven komen te staan door het formuleren van nieuwe doeleinden voor hergebruik van data.[11]

Daar komt bij dat enkel de negatieve formulering van artikel 3 lid 3 Wpg ‘..als de verwerking maar niet onverenigbaar is…’, het doelbindingscriterium (te) flexibel maakt. Het is mogelijk dat de verwerkte en/of opgeslagen gegevens niet corresponderen met de doelstelling waarmee de data-analyse is gestart. In artikel 126dd Sv is een mogelijkheid om af te wijken van de doelbinding van artikel 3 lid 3 Wpg neergelegd. De Officier van Justitie kan bepalen dat gegevens voor andere strafrechtelijke doeleinden worden gebruikt. De WRR beschouwt het ten aanzien van het recht op eerbiediging van het privéleven van betrokkene als een knelpunt dat een onafhankelijke toetsing door de rechter-commissaris ontbreekt.[12] Moerel en Prins constateren dat het doelbindingscriterium niet toereikend is in situaties waarin gegevensverzameling en analyse zelf het doel zijn.[13]
 

Een nieuwe uitdaging is de Raffinaderij. De gebruikers van de Raffinaderij, de opsporingsambtenaren, stellen zich ten doel om de domeinen van Intelligence Led Policing, de vergaring van informatie voor betere opsporingstactieken, de domeinen van de organisatie van veiligheidsdossiers en risicodossiers, de domeinen van opsporing en handhaving met elkaar te laten versmelten.[14] De domeindiscussie (valt Big Data-analyse onder strafrechtelijke opsporing of risicobestrijding?) lijkt in de kiem te worden gesmoord door de praktijk. De domeinen van strafrechtelijke opsporing en risicobestrijding worden informatiegenererende entiteiten, te bereiken door het koppelen van systemen en het introduceren van steeds nieuwere technologieën, waarbij de tussenschakels moeten verdwijnen.[15] Zowel het ontwerp van de Raffinaderij, een volledig geautomatiseerde data-analysemethode, als de ambitie, ‘de informatie moet booming worden!’,[16] toont wat mij betreft aan dat de zorgen van de WRR over de bedreiging van het doelbindingsprincipe door nieuwere Big Data-analysetechnieken, realistisch zijn. 

De verwachting van de gebruikers van de Raffinaderij, dat voldaan zal worden aan de eisen van proportionaliteit en subsidiariteit bij de verwerking van persoonsgegevens, berust naar mijn mening op een erg naïeve gedachtenconstructie. Het bestaan van risico’s voor de naleving van doelbindingseisen en privacyregels wordt geringschattend beoordeeld. De opsporingsambtenaren geven aan niet te kunnen begrijpen dat burgers overheidsinstanties verdenken van privacyschendingen; zij beschouwen politieambtenaren als mensen die met privacygevoelige gegevens net zo zorgvuldig omgaan als zij met geweld omgaan. Omdat politieambtenaren een training krijgen in het proportioneel en subsidiair toepassen van fysiek geweld, zal die lijn kunnen worden doorgetrokken naar de bewaking van de proportionaliteit en subsidiariteit bij het gebruik van persoonsgegevens.[17] Ik meen dat een specifieke wettelijke aanscherping van het doelstellingscriterium bij het gebruik van de Raffinaderij het overwegen waard is. 

De onduidelijke status van Big Data in de praktijk van data-analyse

Het begrip ‘persoonsgegeven’ wordt bij de toepassing van de wettelijke kaders (Politiewet, Wpg en Wjsg) ontleend aan de AVG. Volgens artikel 4 onder 1 AVG is een persoonsgegeven een gegeven dat een persoon identificeerbaar maakt. Dat zou betekenen dat niet (direct) tot personen herleidbare gegevens niet onder het bereik van de Wpg en Wjsg vallen. Zolang Big Data personen identificeerbaar maken, vallen deze samen met de definitie van persoonsgegeven. Dat lijkt weinig gecompliceerd, ware het niet dat de metadata die achter Big Data schuilgaan, een onduidelijker status hebben. Meta-gegevens worden getypeerd als ‘gegevens die informatie typeren’: zij kunnen worden gezien als fragmenten die informatie nader definiëren. Een zoektocht op internet maakt duidelijk dat gemeentelijke instanties metadata registeren en automatisch verwerken om bepaalde waarden aan een zaak toe te kennen. Met metadata kunnen de geografische locatie van een bepaald gebouw of de locatie en het tijdstip van de totstandkoming van een document precies worden bepaald.[18]

Het model voor Privacy Impact Assessment (PIA) schaart metadata onder persoonsgegevens, als deze tot personen herleidbaar zijn.[19] Wanneer metadata niet direct tot personen herleidbaar zijn, valt de verzameling en verwerking ervan niet onder het bereik van de Wpg en Wjsg. Door de combinatie van metadata die op zichzelf genomen geen personen kunnen identificeren in het proces van Big Data-analyse, kan echter een gedetailleerd beeld ontstaan van de persoon van wie de metadata afkomstig zijn.[20] De Raffinaderij werkt als een kookpot waarin een veelheid aan analysemethoden, waaronder Hansken en ANPR, kan worden gestopt om details aan het licht te brengen die met één enkel analytisch instrument niet vindbaar waren. De ‘beperkte’ opvatting van het begrip persoonsgegeven is niet toegesneden op praktijkontwikkeling zoals de Raffinaderij. Mijns inziens is behoefte aan een wettelijke regulering van de bescherming van data van burgers ten aanzien van de situatie waarin gecombineerde analysemethoden uit ogenschijnlijk weinig ‘persoonlijke’ metadata een gedetailleerd beeld van personen kunnen construeren. 

De ‘passieve’ en flexibele transparantie-eis in de Wpg in verhouding tot het heimelijke karakter van Big Data-analyses 

De betrokkene kan op grond van artikel 25 Wpg verzoeken om kennisneming van de verwerking van politiegegevens. Deze transparantie wordt gerelativeerd door de mogelijkheid om het verzoek tot kennisneming af te wijzen in het belang van ‘de goede uitvoering van de politietaak’ (artikel 27 lid 1 onder a Wpg). Een soortgelijke beperking van de transparantie omtrent de verwerking van gegevens van een betrokkene is te vinden in artikel 15 lid 1 van Richtlijn (EU) 2016/680, waarin zelfs is bepaald dat de beperking mag worden opgelegd in het belang van de voorkoming van strafbare feiten. Bovendien kan de ‘passieve’ transparantie in de zin van artikel 25 Wpg alleen maar worden bereikt als de betrokkene vermoedt dat hij onderwerp van onderzoek is. In de regel zal de betrokkene er niet van op de hoogte komen dat hij onderworpen wordt aan Big Data-analyse voor strafvorderlijke doeleinden. De opsporingsambtenaar die het afgeschermde gedeelte van het iRN-netwerk gebruikt om data van de betrokkene te verzamelen en te analyseren, past immers bewust een heimelijke onderzoeksmethode toe.

---

[1] E.J. Koops e.a, Juridische scan open brononderzoek. Een analyse op hoofdlijnen van de juridische aspecten van de iRN/iColumbo-infrastructuur en HDIeF-tools, Tilburg: TILT 2012, p. 37-38; S. Brinkhoff, ‘Big Data datamining door de politie: ijkpunten voor een toekomstige opsporingsmethode’, NJB 2016/5-20, p. 1401.

[2] Vgl. S.J. Eskens, O.L. van Daalen en N.A.N.M. van Eijk, ‘Geheime surveillance en opsporing: Richtsnoeren voor de inrichting van wetgeving’, IViR 2016; S. Brinkhoff, ‘Big Data datamining door de politie. IJkpunten voor een toekomstige opsporingsmethode’, NJB 2016/20, p. 1404.

[3] Deelprojectvoorstel ‘Ontwikkeling Real Time Analyse Framework voor het iRN Open Internet Monitor Network: iColumbo’, mei 2011, p. 3.

[4] ‘Nationale Politie iRN’, https://www.commit-nl.nl/universities/politie-gelderland-zuid (geraadpleegd op 20 mei 2019).

[5] E.J. Koops e.a, Juridische scan open brononderzoek. Een analyse op hoofdlijnen van de juridische aspecten van de iRN/iColumbo-infrastructuur en HDIeF-tools, Tilburg: TILT 2012, p. 7.

[6] ‘Function creep en privacy’, Justitiële Verkenningen 2011/37-8;

[7] J.J. Oerlemans & B.J. Koops, ‘Surveilleren en opsporen in een internetomgeving’, Justitiële verkenningen 2012/38-5, p. 41.

[8] WRR, Big Data in een vrije en veilige samenleving, Den Haag/Amsterdam 2016, p. 90-93 en 108.

[9] WRR, Big Data in een vrije en veilige samenleving, Den Haag/Amsterdam 2016, p. 107.

[10] WRR, Big Data in een vrije en veilige samenleving, Den Haag/Amsterdam 2016, p. 106 en 109.

[11] WRR, Big Data in een vrije en veilige samenleving, Den Haag/Amsterdam 2016, p. 108-109.

[12] WRR, Big Data in een vrije en veilige samenleving, Den Haag/Amsterdam 2016, p. 102.

[13] E.M.L. Moerel & J.E.J. Prins, Privacy voor de homo digitalis, in: Homo digitalis, Handelingen Nederlandse Juristen Vereniging 2016/146-1, p. 19.

[14] M. den Hengst, T. ten Brink en J. ter Mors, ‘Informatiegestuurd politiewerk in de praktijk’, Politieacademie 2017, p. 19-20.

[15] M. den Hengst, T. ten Brink en J. ter Mors, ‘Informatiegestuurd politiewerk in de praktijk’, Politieacademie 2017, p. 19.

[16] M. den Hengst, T. ten Brink en J. ter Mors, ‘Informatiegestuurd politiewerk in de praktijk’, Politieacademie 2017, p. 19-21.

[17] M. den Hengst, T. ten Brink en J. ter Mors, ‘Informatiegestuurd politiewerk in de praktijk’, Politieacademie 2017, p. 20.

[18] ‘Metadateren van zaaksdossiers conform het Toepassingsmodel Metadatering Lokale Overheden’, via https://www.gemmaonline.nl/index.php/Metadatering_van_dossiers_en_documenten (laatstelijk geraadpleegd op 23 juni 2019).

[19] Toelichting: Big Data analyse, Model GEB Rijksdienst (PIA), Big Data JenV, versie 1 april 2018, p. 5.

[20] EHRM 13 september 2018, ECLI:EC:ECHR:2018:0913JUD005817013, Computerrecht 2018/252, m.nt. J.J. Oerlemans (Big Brother Watch/Verenigd Koninkrijk).