How useful are A.I., Machine Learning and predictive algorithms for risk assessment and the automated decision making process?

Algorithms at the base of bias-driven results in profiling, automated decisions and risk assessments
Algorithms are the molecules of all forms of Artificial Intelligence (A.I). An algorithm can be described as a formula, a finite series that converts input data (for example, generated by commands in search engines, mouse clicks and visiting web pages) into "output", a certain result. To enable profiling of certain categories of people or phenomena, algorithms must be trained with data sets. The training of algorithms, Supervised Machine Learning, is still a human affair. The value assigned to the dataset by the researcher or client influences the outcome of the data process. 

Like the input of the data set, the outcome depends on prejudices. If the usual method of profiling is continued, a bias in the data sets and therefore in the profile or risk assessment is inevitable. Bias-driven profiling increases the risk of false positives, which is further enhanced by training with outdated (personal) data. Moreover, a weakness is attached to the application of algorithms in the data analysis process: algorithms are unable to describe causality, the relationship between cause and effect. Algorithms are only used to expose correlations between phenomena. That makes predictive algorithms unsuitable for testing expectations. 

I will now elaborate on the weaknesses of the Data Analysis process and Supervised and Unsupervised Machine Learning. I will explain why their weaknesses make these instruments unsuitable as methods for profiling and risk assessment (for example in the context of social security/social insurance fraud). Moreover, I will conclude as to why the outcome of the automated decision making process will be biased since algorithms are inherently biased.

(Big) Data analysis: 'garbage out' is necessary to prevent algorithms from being trained incorrectly
An analytical instrument must be used to separate random or unstructured data from relevant data. The amount of data must not only be reduced, but also refined to arrive at a more specific result. For this purpose use can be made of a so-called "Warehouse", a digital collection of data from various sources. To prevent predictive algorithms from being trained with outdated data and to reduce the risk of false positives, the data must be refreshed and limited in size, ie: "garbage out". Using this reference point, correlations between data can be discovered. Nothing is known about the duration of storing personal data in a Warehouse; on the basis of the aforementioned, it will probably be for an indefinite period of time, except for a regular refreshment. Data controllers should be cautious during this early phase of the data analysis process: if inaccurate data is stored and applied, the person under investigation is incorrectly designated as a 'suspect' or 'potential fraudster'.

Data mining, Supervised Machine Learning and Artificial Intelligence
An important step in discovering correlations between datasets is "Knowledge Discovery of Databases", or "data mining." Statistical Analysis System (SAS) defines data mining as "the process of searching for anomalies, patterns and correlations, in order to predict a certain outcome." The predecessor of data mining is "machine learning", a technique that involves training algorithms based on statistical data. Formulas are entered to develop algorithms, training sets of data are given as "input" and the result is provided as "output". Algorithms are instructed to make the connection between input and output and to evaluate themselves. The result of this feedback is used to identify patterns. This form of "supervised machine learning" is ideally suited to classify data: algorithms categorize data on the basis of pre-provided, labeled data sets and learn to "label" data, or assign a certain characteristic. If a picture of a blackjack is given as input and a similar picture with the title "blackjack" is provided as the output, the algorithms learn to classify pictures of blackjacks.

Unsupervised Machine Learning, unsuitable for profiling
Another form of Machine learning, "Unsupervised Machine Learning", lacks the example of labeled data sets. Algorithms generate patterns between unstructured data. Unsupervised Machine Learning is used to cluster unstructured data, in order to categorize these data without using certain labels. The algorithms, for example, assign all kinds of pictures of blackjacks to one location, but do not know what these weapons are called. This makes Unsupervised Machine Learning unsuitable for the process of profiling, in which not only relationships have to be generated, but also names and classifications (for example "fraud!") will have to be linked to a certain result, the outcome of the profiling process.

A subform of Machine Learning is Deep Learning, the discovery of complex patterns in large amounts of data through a layered neural structure. The distinguishing feature of deep learning is the need for substantial "computational power" to perform a complex task; one neural layer can consist of up to four hundred processors. Machine Learning and Deep Learning Fall can be regarded subsets of Artificial Intelligence (A.I), but note that A.I. is not synonymous with either Machine Learning or Deep Learning. Artificial Intelligence studies the ability of computers to perform complex tasks autonomously and to solve problems.

 

Conclusion: algorithms are trained by human prejudice and therefore judgmental by design
Profiling in the current form is characterized by 'supervised machine learning', the training of algorithms with pre-entered data sets. These data sets, therefore algorithms, express human judgments by design. Algorithms used for profiling are not intelligent in the sense that they can discover patterns themselves. A weakness in profiling is that (predictive) algorithms are not used to test hypotheses, but only to present correlations between data and phenomena. Investigating the causality of an event remains a human matter. 'Mining' large amounts of data is also not a suitable method for testing hypotheses. 

No significance may be attached to the results of profiling and data mining until further human intervention or intervention has been carried out by an appropriate method. "False positives" should be trained out of programs that use predictive algorithms. Since the data sets that train predictive algorithms are biased, the automated decision making process will be biased. Inherently, the outcome of the automated decision making process or risk assessment will be biased. 

Mercedes Bouter LL.M.

3.3.2 Toetsing van strafrechtelijke Big Data-analyses aan de EHRM-criteria: 'duidelijke, gedetailleerde regels ter compensatie inbreuk 8 EVRM'

4. Stelt de toepasselijke wetgeving duidelijke, gedetailleerde regels om de inmenging in de uitoefening van het recht op eerbiediging van het privéleven van de burger te compenseren?

Compenserende factoren in het geval van geheime surveillancemethoden

Als uit de hiervoor bedoelde afweging van de stikte noodzakelijkheid blijkt dat het belang van de democratische samenleving is gediend met inmenging in het privéleven van de betrokkene door toepassing van geheime surveillancemethoden, dient deze inmenging te worden gecompenseerd.[1] In de wet dienen waarborgen te zijn opgenomen, die op adequate wijze dienen te garanderen dat misbruik van de inzet van geheime surveillancemethoden door de overheid wordt voorkomen.[2] In de wet van een lidstaat moeten duidelijke, gedetailleerde regels worden gesteld aan de toepassing van geheime surveillancemethoden, zodat de betrokkene weet onder welke omstandigheden en onder welke voorwaarden de overheid bevoegd is om geheime surveillancemethoden in te zetten en gegevens van de betrokkene te verzamelen, waarbij rekening moet worden gehouden met nieuwe technische ontwikkelingen.[3]
 

Concreet stelt het EHRM de volgende minimumeisen: de wet moet vermelden op grond van welke overtredingen geheime surveillancemethoden kunnen worden ingezet en ten aanzien van welke categorieën van personen geheime surveillancemethoden kunnen worden toegepast; de aard, en maximale duur van de geheime surveillancemethoden moeten in geschreven wetten worden neergelegd; de wet moet vermelden welke procedures overheidsinstanties moeten volgen om persoonsgegevens te onderzoeken, te gebruiken en op te slaan;[4] ten slotte moet de wet melding maken van de middelen die kunnen worden ingesteld tegen de inzet van de geheime surveillancemethoden.[5] In de zaak-Big Brother Watch/Verenigd Koninkrijk onderstreept het EHRM nogmaals dat strikte regels moeten worden gesteld aan de bevoegdheid van overheidsinstanties met betrekking tot de analyse van gegevens die door enige vorm van dataveillance zijn verkregen.[6]   

De maximale duur van de inzet van iColumbo is mij thans niet bekend. Niet zozeer de duur van de inzet van iColumbo, als wel de duur van de opslag van de persoonsgegevens ten behoeve van de verwerking, wordt door artikel 14 Wpg op maximaal 5 jaar bepaald, met de mogelijkheid van verlenging. Wat betreft de grond voor de inzet van een instrument voor Big Data-analyse als iColumbo, is mij niet gebleken welke wettelijke grond als onderbouwing van de inzet van iColumbo geldt, anders dan dat de bevoegdheid wordt aangewend in het kader van de algemene politietaak bij de handhaving van de rechtsorde (artikel 3 Polw). Daarmee wordt niet duidelijk gemaakt onder welke omstandigheden en onder welke voorwaarden de betrokkene aan iColumbo kan worden onderworpen. 

Betoogd kan worden dat datamining en -analyse met iRN en iColumbo vanwege het real-time-karakter van de toepassing en het gedetailleerde beeld dat met deze instrumenten wordt verkregen, grondslagen zouden kunnen vinden in de artikelen 126g en 126j Sv. Die grondslagen komen echter alleen in beeld indien betrokkene wordt verdacht van een misdrijf. 

Het toezicht op de naleving van de verwerking van persoonsgegevens op grond van de Wpg is neergelegd bij het College Bescherming Persoonsgegevens, thans de Autoriteit Persoonsgegevens (artikel 35 Wpg). De AP blijft onder de nieuwe Wpg toezichthouder op de naleving van de Wpg.[7] Bij de vergaande automatische analyse van persoonsgegevens in de Fietstas van iColumbo bestaat het risico op ontoereikend toezicht, zoals onderkend is door het EHRM.[8] Dat risico hangt nauw samen met het gebrek aan inzicht in de geautomatiseerde processen die plaatsvinden na de menselijke interventie, die ‘verdwijnt’ na het invoeren van de zoekopdracht in het netwerk iRN en pas weer terugkeert in de fase van de beoordeling van de resultaten van een volledig automatische analyse van de data van betrokkene.

Het risico op ontoereikend toezicht bij automatische data-analyses wordt volgens het EHRM vergroot, indien de wet er niet toe verplicht om zoektermen op te nemen alvorens een bevoegdheid tot het uitvoeren van data-analyse te gebruiken.[9] Bij gebreke van voldoende normering is de mogelijkheid tot het uitoefenen van voldoende toezicht te zeer afhankelijk van de professionaliteit van ervaren data-analisten, terwijl een derde, onafhankelijke partij het proces van data-analyse moet kunnen controleren.[10]

Het recht op kennisneming van verwerking van politiegegevens is neergelegd in artikel 25 Wpg. De toepassing van Big Data-analyses kan betekenen dat betrokkene er geen weet van heeft dat hij het onderzoeksobject is en dus geen beroep zal doen op artikel 25 Wpg. De nieuwe Wpg dient daarin verandering te brengen door de introductie van een actieve informatieplicht. Zo wordt de verplichting voor de verwerkende instantie opgenomen om betrokkene te informeren over de verwerking van zijn persoonsgegevens (artikel 24b Wpg).

Er is geen specifieke regelgeving inzake de omstandigheden waaronder de betrokkene aan de data-analyse in iColumbo en de inzet van het iRN-netwerk kan worden onderworpen; ook ontbreekt regelgeving ten aanzien van de categorieën van personen die in iColumbo aan  datasurveillance kunnen worden onderworpen. Bovendien kan een burger onderwerp van datasurveillance zijn in iColumbo, zonder dat sprake is van een (concrete) overtreding door de burger. Aan de voorwaarde, dat de wet duidelijk maakt op grond van welke overtredingen jegens een burger geheime surveillancemethoden kunnen worden toegepast, wordt niet voldaan. Op grond van het vorenstaande overweeg ik dat er onder het huidige nationale recht onvoldoende waarborgen zijn om de inmenging die de inzet van iRN en iColumbo oplevert in het recht op eerbiediging van het privéleven van de betrokkene te compenseren.

---

---

[1] EHRM 6 september 1978, 6 september 1978, 5029/71 (Klass/Duitsland), r.o. 36.

[2] EHRM 4 december 2015, 47143/06 (Zakharov/Rusland), r.o. 231 en 236.

[3] EHRM 21 juni 2011, 30194/09 (Shimovolos/Rusland), r.o. 68.

[4] EHRM 29 juni 2006, 54934/00 (Weber en Saravia/Duitsland), r.o. 95.

[5] EHRM 28 juni 2007, 62540/00 (Association for European Integration and Human Rights en Ekimdzhiev/Bulgarije), r.o. 71-77.

[6] EHRM 13 september 2018, ECLI:CE:ECHR:2018:0913JUD005817013 (Big Brother Watch/Verenigd Koninkrijk), r.o. 329.

[7] Conceptartikel 35 van de Wet politiegegevens en de Wet justitiële en strafvorderlijke gegevens ter implementatie van Richtlijn (EU) 2016/680, Kamerstukken I 2017/18, 34 889, nr. A.

[8] Vgl. EHRM 13 september 2018, ECLI:CE:ECHR:2018:0913JUD005817013 (Big Brother Watch/Verenigd Koninkrijk), r.o. 340, 346-347.

[9] EHRM 13 september 2018, ECLI:CE:ECHR:2018:0913JUD005817013 (Big Brother Watch/Verenigd Koninkrijk), r.o. 340.

[10] EHRM 13 september 2018, ECLI:CE:ECHR:2018:0913JUD005817013 (Big Brother Watch/Verenigd Koninkrijk), r.o. 344 en 346.

[11] Kamerstukken II 2017/18, 35 889, nr. 3, p. 40-42.

1 Big Data-analyses en predictive policing in het veiligheidsdomein: data-analyse in de strafrechtelijke praktijk

1.3 Het gebruik van Big Data in het veiligheidsdomein: data-analyse in de Nederlandse strafrechtelijke praktijk

1.3.1 Het netwerk iRN en iColumbo

Een in Nederland gebruikt systeem voor datamining is iColumbo, een instrument om (groepen van) personen te profileren en systematisch op geautomatiseerde wijze data betreffende personen of groepen via internet te verzamelen, te analyseren en te presenteren aan opsporingsinstanties.[1] iColumbo is een product van het Internet Recherche & Onderzoek Netwerk (iRN). Het iRN is een netwerkinfrastructuur voor de opsporing van strafbare feiten via internet, die de opsporingsinstanties de mogelijkheid biedt om met een afgeschermd IP-adres onderzoek in open internetbronnen uit te voeren. De doelen van iColumbo zijn het via internet opsporen van ‘doelwitten’ en het verzamelen van (eventueel) bewijsmateriaal: aan de hand van geanalyseerde data wordt ‘verdacht gedrag’ via internet gedetecteerd; de opsporingsinstantie wordt daarbij van ondersteunend bewijsmateriaal voorzien.[2]

 

De opsporingsambtenaar kan in iColumbo een zoekterm invoeren, bijvoorbeeld de naam van een te onderzoeken persoon, waarna crawlers, internetrobots, continu het internet afspeuren; de gevonden data worden vervolgens opgeslagen.[3] Deze opslagplaats voor ‘crawlresultaten’ kan worden getypeerd als een ‘Warehouse’. De fase van de inzet van de crawlers en de opslag van de gevonden data, samen ondergebracht in een ‘Web Observatie Framework’, gaat vooraf aan de eigenlijke analyse van de data. Zodra de data in het Warehouse van iColumbo zijn ververst, worden deze doorgestuurd naar het Realtime Analyse Framework (RAF) met de naam Fietstas. Eerdere Big Data-analyses stimuleren het zelflerende vermogen[4] van de algoritmen waaruit Fietstas is opgebouwd. Kenmerkend aan iColumbo is dat gericht op persoonsgegevens kan worden gezocht in het kader van ‘Person of interest profiling’.[5] ‘Persons of interest’ kunnen personen zijn die eerder zijn vervolgd of veroordeeld voor een delict. Tijdens de fase van de inzet van crawlers kunnen specifiek namen van personen worden opgegeven en in Fietstas kunnen relaties van de opgegeven personen worden gegenereerd.[6] De inzet van patroonherkenning kan volgens de WRR tot gevolg hebben dat ook gegevens van burgers die géén object van onderzoek of opsporing zijn, onderdeel worden van het profileringsproces.[7]

Wat maakt iColumbo een gewilder instrument dan de menselijke speurkwaliteit? Ten eerste de efficiëntie: webcrawlers kunnen continu sociale platforms als Facebook en Linkedin, zoekmachines, maar ook webpagina’s als Telefoongids.nl afspeuren. Ten tweede heeft iColumbo de mogelijkheid om actuele gegevens te vergelijken met oude gegevens die in een database zijn opgeslagen.[8] De ‘menselijke crawler’ kan weliswaar een heel eind komen, maar het is niet realistisch om te verwachten dat een mens ontelbare hoeveelheden actuele gegevens continu vergelijkt met een database vol met nog eens ontelbare hoeveelheden oudere data. Volgens het ontwerp van iColumbo is het bovendien de bedoeling dat de ‘collectieve intelligentie’ wordt vergroot, doordat iColumbo automatisch zoekt en analyseert, waarna de gebruiker de resultaten deelt met het systeem en met andere gebruikers. De ambitie met iColumbo is om met Person of interest profiling het ‘criminele’ gedrag van onderzochte personen te voorspellen.

1.3.2 Big Data-analyse aan inbeslaggenomen gegevensdragers: Hansken

Hansken, sinds 2015 de opvolger van Xiraf, de zoekmachine van het Nederlands Forensisch Instituut, verwerkt e-mailberichten, chatgesprekken, foto’s uit de internetopslag en GPS-gegevens.[9] Hansken maakt het mogelijk om digitaal bewijsmateriaal veilig te stellen. De Big Data-analyse vind plaats op multimediale voorwerpen die in beslag zijn genomen, zoals mobiele telefoons, computers, harde schijven en andere gegevensdragers.[10] Het onderzoek wordt uitgevoerd via het iRN-netwerk.[11] Met Hansken kunnen versleutelde berichten worden ontcijferd en met datasets kan de zoekmachine worden getraind om bepaalde categorieën data te herkennen.[12] In de demo is te zien dat Hansken afbeeldingen categoriseert, de locaties van data met coördinaten in kaart brengt, ruispatronen leert herkennen en mailberichten (inclusief verwijderde berichten) blootlegt.[13] De beoordeling van het materiaal komt uiteindelijk aan op de menselijke interpretatie door ervaren rechercheurs.

Hansken is een techniek die wordt ingezet bij de verzameling van strafrechtelijk bewijs. Het is de uiteindelijke bedoeling van de ontwerper om op grond van inbeslaggenomen data de bewijskracht van voorgestelde scenario’s van een misdrijf te berekenen.[14] De juridische basis wordt gevormd door de bepalingen over inbeslagneming ten behoeve van de strafvordering (artikel 134 Sv). Hansken wordt in de regel uitgevoerd op elektronische gegevensdragers. Het ‘Hanskenonderzoek’ wordt niet gereguleerd door een specifiek wettelijk kader, maar het ontbreken van een specifieke wettelijke grondslag voor het onderzoek hoeft geen onderzoekstechnische drempel te zijn voor Hansken.[15] Ook elektronische gegevensdragers, zoals computers en telefoons, kunnen als ‘voor beslag vatbare voorwerpen die kunnen dienen om de waarheid aan het licht te brengen’ in de zin van artikel 94 Sv worden aangemerkt.[16] Voor de waarheidsvinding mag onderzoek worden gedaan aan inbeslaggenomen voorwerpen om gegevens voor het strafrechtelijk onderzoek te krijgen. In de jurisprudentie wordt aangenomen dat op elektronische gegevensdragers opgeslagen data niet van dit onderzoek zijn uitgezonderd.[17] Een kwestie van andere orde is, of artikel 94 Sv een voldoende grondslag vormt om een inmenging in het privéleven van de betrokkene te rechtvaardigen als met het Hansken een compleet beeld wordt verkregen van het leven van de gebruiker van de gegevensdrager.[18] Op die onderliggende kwestie zal in hoofdstuk 4 uitvoerig worden ingegaan.
 
1.3.3 Automatic Number Plate Recognition (ANPR)

Het WODC omschrijft Automatic Number Plate Recognition (ANPR) als een techniek waarmee kentekens van rijtuigen met behulp van camera’s automatisch worden gelezen. In real-time worden de kentekens vergeleken met een referentielijst, die kentekens bevat van gestolen voertuigen, voertuigen die bij een misdrijf zijn gebruikt of van voertuigen van personen die door de politie worden gezocht.[19] Het Real Time Intelligence Center kan in de ANPR het kenteken van een gestolen auto opgeven en bij het traceren van het voertuig een melding doorzetten om ontdekking van de diefstal op heterdaad mogelijk te maken. Is een delict gepleegd met een gestolen voertuig, dan kunnen UMTS-data van de route die het gestolen voertuig heeft afgelegd worden geanalyseerd om de mobiele telefoon van de inzittende(n) te traceren.

ANPR kan worden ingezet om verdacht gedrag te profileren. Real-time alerting met behulp van iTrechter houdt in dat opsporingsambtenaren op grond van ervaringsregels gedragspatronen samenstellen, die zij in de applicatie van ANPR laden, waarna de ANPR overeenkomsten met deze gedragspatronen meldt. Een ‘parkeerplaatshopper’, de automobilist binnen korte tijd naar verschillende parkeerplaatsen langs een bepaalde route verplaatst, kan volgens het gedragspatroon in ANPR worden geprofileerd als mogelijke ladingdief.

ANPR is niet alleen een Big Data-analysemethode om op basis van historische gegevens (tijdstippen, locaties, kentekens) de opsporing van begane delicten te ondersteunen, het instrument kan ook worden ingezet als intelligence led-methode. In een praktijkvoorbeeld van het WODC worden Oost-Europese chauffeurs die ’s nachts met een gehuurde auto op bedrijventerreinen arriveren, geprofileerd in het kader van de opsporing van inbrekers die op bedrijventerreinen toeslaan. Autoverhuurders geven kentekens van auto’s die zij verhuurd hebben aan Oost-Europeanen, door aan het dataverwerkingscentrum van de politie. In de Secure Lane worden burgers ingeschakeld om observaties uit te voeren zodra een aan de hand van het kenteken van de huurauto geïdentificeerde Oost-Europeaan het bedrijventerrein op komt rijden. De private toezichthouders geven de data van hun observatieapparatuur (opgeslagen beveiligingsbeelden) door aan het dataverwerkingscentrum. Het doel van alle manieren waarop ANPR wordt ingezet, van real-time herkenning en alerting tot profilering, is het vergroten van de efficiëntie van de inzet van politieambtenaren bij de opsporing van delicten.

1.3.4 Raffinaderij

In 2011 is de Raffinaderij, een programma voor datagedreven rechercheren (IGP) geïntroduceerd naar aanleiding van het Holitna-onderzoek.[20] Onder het sinds 2014 geldende motto ‘Gegevens zijn de kern’ worden in de Raffinaderij data afkomstig uit verschillende Big Data-analysemethoden bijeengebracht;[21] het gaat onder meer om data afkomstig van onderzoek aan in beslag genomen gegevensdragers in Hansken, telefoontaps, internetdata, en gegevens van ANPR. Het is niet de bedoeling om de Raffinaderij in te zetten voor profilering en risicotaxatie. Evenmin is het de bedoeling om ongerichte datamining geautomatiseerde besluitvorming toe te passen in de Raffinaderij.[22] De uitgangspunten van de Raffinaderij verschillen daarmee met die van iColumbo, waar ongerichte datamining wel kan worden uitgevoerd. De Raffinaderij is een middel om analyses te verfijnen en om patronen tussen (reeds geanalyseerde) data bloot te leggen; de analyses worden in real-time aan de opsporingsambtenaren aangeboden, om een proactieve opsporing mogelijk te maken.[23]

---

[1] WRR, Big Data in een vrije en veilige samenleving, Den Haag/Amsterdam 2016, p. 44; E.J. Koops e.a, Juridische scan open brononderzoek. Een analyse op hoofdlijnen van de juridische aspecten van de iRN/iColumbo-infrastructuur en HDIeF-tools, Tilburg: TILT 2012, p. 7.

[2] Te raadplegen via https://www.nctv.nl/binaries/deel-projectvoorstel-ontwikkeling-icolumbo-alternatief_tcm31-30337.pdf.

[3] S. Brinkhoff, ‘Datamining in een veranderende wereld van opsporing en vervolging’, Tijdschrift voor Bijzonder Strafrecht en Handhaving 2017/12-4, p. 225.

[4] P. de Beijer, ‘Internet gedreven innoveren vergroot veiligheid’, Magazine nationale veiligheid en crisisbeheersing, 2013/2, p. 18.

[5] E.J. Koops e.a, Juridische scan open brononderzoek. Een analyse op hoofdlijnen van de juridische aspecten van de iRN/iColumbo-infrastructuur en HDIeF-tools, Tilburg: TILT 2012, p. 12.

[6] Activiteit 4 van ‘iRN Open Internet Monitor Netwerk’, via https://www.nctv.nl/binaries/deel-projectvoorstel-ontwikkeling-icolumbo-alternatief_tcm31-30337.pdf.

[7] WRR, Big Data in een vrije en veilige samenleving, Den Haag/Amsterdam 2016, p. 72.

[8] S. Brinkhoff, ‘Big Data datamining door de politie: ijkpunten voor een toekomstige opsporingsmethode’, NJB 2016/5-20, p. 1401.

[9] https://nl.linkedin.com/jobs/view/forensische-lead-software-engineer-hansken-at-ministerie-van-justitie-en-veiligheid-351619758.

[10] https://www.forensischinstituut.nl/forensisch-onderzoek/h/hansken (laatstelijk geraadpleegd op 19 juni 2019).

[11] https://www.politieacademie.nl/onderwijs/onderwijsaanbod/pages/opleiding.aspx?code=9303705 (laatstelijk geraadpleegd op 19 juni 2019).

[12] ‘Boevenberichten ontsleuteld’, Opportuun 2 mei 2018-02.

[13] ‘Bits en bites toegankelijk voor tactiek’, Blauw 30 april 2016-04, p. 32-37.

[14] ‘Bij het NFI kan Harm van Beek écht met de inhoud aan de slag’, Nederlands Forensisch Instituut, https://www.forensischinstituut.nl/over-het-nfi/werken-bij-het-nfi/worden-zij-jouw-nieuwe-collegas/harm-van-beek.

[15] Vgl. Rb. Amsterdam, 19 april 2018, ECLI:NL:GHAMS:2018:2504 (Onderzoek Tandem II-dataset in Hansken), r.o. 3.10.

[16] Gerechtshof Amsterdam, 13 november 2015, ECLI:NL:GHAMS:2015:5007.

[17] HR 29 maart 1994, ECLI:NL:HR:1994:AD2076.

[18] HR 4 april 2017, ECLI:NL:HR:2017:588 (Onderzoek Smartphone), r.o. 2.6.

[19] G. Homburg e.a., ‘ANPR: Toepassingen en ontwikkelingen’, eindrapport WODC 2016, p. 11.

[20] M. den Hengst, T. ten Brink en J. ter Mors, ‘Informatiegestuurd politiewerk in de praktijk’, Politieacademie 2017, p. 254.

[21] S. den Hengst en I. Walraven, ‘Datagovernance bij de Rijksoverheid’, RADIO-Module 2 oktober 2018, presentatie via https://www.it-academieoverheid.nl/documenten/presentaties/2018/10/02/presentatie-politie-over-data-governance-bij-de-rijksoverheid, slides 26 en 40.

[22] M. den Hengst, T. ten Brink en J. ter Mors, ‘Informatiegestuurd politiewerk in de praktijk’, Politieacademie 2017, p. 257.

[23] Vgl. https://socialmediadna.nl/informatiegestuurd-politiewerk-in-de-praktijk/ (geraadpleegd op 21 juni 2019).