How useful are A.I., Machine Learning and predictive algorithms for risk assessment and the automated decision making process?

Algorithms at the base of bias-driven results in profiling, automated decisions and risk assessments
Algorithms are the molecules of all forms of Artificial Intelligence (A.I). An algorithm can be described as a formula, a finite series that converts input data (for example, generated by commands in search engines, mouse clicks and visiting web pages) into "output", a certain result. To enable profiling of certain categories of people or phenomena, algorithms must be trained with data sets. The training of algorithms, Supervised Machine Learning, is still a human affair. The value assigned to the dataset by the researcher or client influences the outcome of the data process. 

Like the input of the data set, the outcome depends on prejudices. If the usual method of profiling is continued, a bias in the data sets and therefore in the profile or risk assessment is inevitable. Bias-driven profiling increases the risk of false positives, which is further enhanced by training with outdated (personal) data. Moreover, a weakness is attached to the application of algorithms in the data analysis process: algorithms are unable to describe causality, the relationship between cause and effect. Algorithms are only used to expose correlations between phenomena. That makes predictive algorithms unsuitable for testing expectations. 

I will now elaborate on the weaknesses of the Data Analysis process and Supervised and Unsupervised Machine Learning. I will explain why their weaknesses make these instruments unsuitable as methods for profiling and risk assessment (for example in the context of social security/social insurance fraud). Moreover, I will conclude as to why the outcome of the automated decision making process will be biased since algorithms are inherently biased.

(Big) Data analysis: 'garbage out' is necessary to prevent algorithms from being trained incorrectly
An analytical instrument must be used to separate random or unstructured data from relevant data. The amount of data must not only be reduced, but also refined to arrive at a more specific result. For this purpose use can be made of a so-called "Warehouse", a digital collection of data from various sources. To prevent predictive algorithms from being trained with outdated data and to reduce the risk of false positives, the data must be refreshed and limited in size, ie: "garbage out". Using this reference point, correlations between data can be discovered. Nothing is known about the duration of storing personal data in a Warehouse; on the basis of the aforementioned, it will probably be for an indefinite period of time, except for a regular refreshment. Data controllers should be cautious during this early phase of the data analysis process: if inaccurate data is stored and applied, the person under investigation is incorrectly designated as a 'suspect' or 'potential fraudster'.

Data mining, Supervised Machine Learning and Artificial Intelligence
An important step in discovering correlations between datasets is "Knowledge Discovery of Databases", or "data mining." Statistical Analysis System (SAS) defines data mining as "the process of searching for anomalies, patterns and correlations, in order to predict a certain outcome." The predecessor of data mining is "machine learning", a technique that involves training algorithms based on statistical data. Formulas are entered to develop algorithms, training sets of data are given as "input" and the result is provided as "output". Algorithms are instructed to make the connection between input and output and to evaluate themselves. The result of this feedback is used to identify patterns. This form of "supervised machine learning" is ideally suited to classify data: algorithms categorize data on the basis of pre-provided, labeled data sets and learn to "label" data, or assign a certain characteristic. If a picture of a blackjack is given as input and a similar picture with the title "blackjack" is provided as the output, the algorithms learn to classify pictures of blackjacks.

Unsupervised Machine Learning, unsuitable for profiling
Another form of Machine learning, "Unsupervised Machine Learning", lacks the example of labeled data sets. Algorithms generate patterns between unstructured data. Unsupervised Machine Learning is used to cluster unstructured data, in order to categorize these data without using certain labels. The algorithms, for example, assign all kinds of pictures of blackjacks to one location, but do not know what these weapons are called. This makes Unsupervised Machine Learning unsuitable for the process of profiling, in which not only relationships have to be generated, but also names and classifications (for example "fraud!") will have to be linked to a certain result, the outcome of the profiling process.

A subform of Machine Learning is Deep Learning, the discovery of complex patterns in large amounts of data through a layered neural structure. The distinguishing feature of deep learning is the need for substantial "computational power" to perform a complex task; one neural layer can consist of up to four hundred processors. Machine Learning and Deep Learning Fall can be regarded subsets of Artificial Intelligence (A.I), but note that A.I. is not synonymous with either Machine Learning or Deep Learning. Artificial Intelligence studies the ability of computers to perform complex tasks autonomously and to solve problems.

 

Conclusion: algorithms are trained by human prejudice and therefore judgmental by design
Profiling in the current form is characterized by 'supervised machine learning', the training of algorithms with pre-entered data sets. These data sets, therefore algorithms, express human judgments by design. Algorithms used for profiling are not intelligent in the sense that they can discover patterns themselves. A weakness in profiling is that (predictive) algorithms are not used to test hypotheses, but only to present correlations between data and phenomena. Investigating the causality of an event remains a human matter. 'Mining' large amounts of data is also not a suitable method for testing hypotheses. 

No significance may be attached to the results of profiling and data mining until further human intervention or intervention has been carried out by an appropriate method. "False positives" should be trained out of programs that use predictive algorithms. Since the data sets that train predictive algorithms are biased, the automated decision making process will be biased. Inherently, the outcome of the automated decision making process or risk assessment will be biased. 

Mercedes Bouter LL.M.

Datamining, Machine Learning en voorspellende algoritmen: hoe geschikt zijn deze methoden voor risicotaxatie?

(Big) Data-analyse: 'garbage out' is noodzakelijk om te voorkomen dat algoritmen verkeerd worden getraind

Om willekeurige of ongestructureerde data van relevante data te schiften, moet een analytisch instrument worden ingezet. De hoeveelheid data moet niet alleen worden verkleind, maar ook worden verfijnd om tot een specifieker resultaat te komen. Daarvoor kan gebruik worden gemaakt van een zogenaamd ‘Warehouse’, een digitale verzameling data afkomstig uit diverse bronnen. Om te voorkomen dat voorspellende algoritmen worden getraind met verouderde data en om het risico op inaccurate voorspellingen (vals-positieven) te verkleinen, dienen de data te worden ververst en in omvang te worden beperkt, ofwel: garbage out.[1] Met een dergelijk ‘digitaal warenhuis’ als referentiepunt kunnen correlaties tussen data worden ontdekt. Over de duur van het bewaren van persoonsgegevens in een Warehouse is niets bekend; op grond van het voormelde zal het waarschijnlijk gaan om een onbepaalde duur, behoudens de verversing. Het luistert in deze vroege fase van het proces van data-analyse nauw: als inaccurate gegevens worden bewaard en toegepast, wordt de onderzochte persoon onterecht als 'verdachte' of 'mogelijke fraudeur' aangemerkt.

Datamining, Supervised Machine Learning en Kunstmatige Intelligentie

Een belangrijke stap in het ontdekken van correlaties tussen datasets is ‘Knowledge Discovery of Databases’, of ‘datamining’.[2] Statistical Analysis System (SAS) omschrijft datamining als ‘het proces waarbij naar anomalieën, patronen en correlaties wordt gezocht, om een bepaalde uitkomst te kunnen voorspellen’.[3] De voorloper van datamining is ‘machine learning', een techniek die inhoudt dat algoritmen op basis van statistische gegevens worden getraind.[4] Formules worden ingegeven om algoritmen te ontwikkelen, trainingsets van data worden als ‘input’ gegeven en het resultaat ervan wordt als ‘output’ verstrekt. Algoritmen krijgen de opdracht om het verband tussen input en output te leggen en zichzelf te evalueren. De uitkomst van deze feedback wordt gebruikt om patronen te herkennen.[5] Deze vorm, ‘supervised machine learning’ is bij uitstek geschikt om data te classificeren: algoritmen categoriseren data naar het voorbeeld van vooraf verstrekte, gelabelde datasets en leren om data te ‘labelen’, ofwel een bepaalde eigenschap toe te kennen.[6] Als een plaatje van een ploertendoder als input en een vergelijkbaar plaatje met de titel ‘ploertendoder’ als output wordt verstrekt, leren de algoritmen om plaatjes van ploertendoders te classificeren. 

Profilering en voorspellende algoritmen en het risico op bias-gedreven valse resultaten

Algoritmen zijn de moleculen van alle vormen van kunstmatige intelligentie. Een algoritme kan worden omschreven als een formule, een eindige reeks die ingegeven data (bijvoorbeeld door opdrachten in zoekmachines, muisklikken en het bezoeken van webpagina’s gegenereerd) omzet in ‘output’, een bepaald resultaat. Om profilering van bepaalde categorieën van personen of verschijnselen en van bepaalde groepen van personen mogelijk te maken, dienen algoritmen te worden getraind met datasets. Het trainen van algoritmen, supervised machine learning, is vooralsnog een menselijke aangelegenheid. De waarde die door de onderzoeker of opdrachtgever wordt toegekend aan de dataset, beïnvloedt de uitkomst van het onderzoek. De uitkomst is, evenals de invoer van de dataset, afhankelijk van vooroordelen. Bij voortzetting van de gebruikelijke wijze van profilering is een bias in de datasets en daarmee in de profielschets of risicotaxatie onvermijdelijk. Bias-gedreven profilering vergroot het risico op valse positieven, dat nog eens wordt versterkt door te trainen met verouderde (persoons)gegevens. Bovendien is een zwakte inherent aan de toepassing van algoritmen in het data-analyseproces: algoritmen zeggen niets over causaliteit, het verband tussen oorzaak en gevolg. Algoritmen worden slechts toegepast om correlaties tussen verschijnselen bloot te leggen. Dat maakt voorspellende algoritmen niet geschikt om verwachtingen te toetsen.

Unsupervised Machine Learning, ongeschikt voor profilering

Bij een andere vorm van machine learning, ‘unsupervised machine learning’, ontbreekt het voorbeeld van gelabelde datasets. Algoritmen leggen patronen tussen ongestructureerde data. Unsupervised machine learning wordt gebruikt om ongestructureerde data te clusteren, in te delen naar overeenkomsten zonder een bepaald label te gebruiken.[7] De algoritmen plaatsen bijvoorbeeld allerlei plaatjes van ploertendoders in één omgeving, maar weten niet hoe deze wapens heten. Dat maakt unsupervised machine learning ongeschikt voor profilering, waarbij niet alleen relaties moeten worden gegenereerd, maar ook namen en classificaties (bijvoorbeeld ‘fraud!’) zullen moeten worden verbonden aan het resultaat. 

Een subvorm van machine learning is deep learning, het via een gelaagde neurale structuur ontdekken van complexe patronen in grote hoeveelheden data.[8] Het onderscheidende aan deep learning is de behoefte aan forse ‘computational power’ voor het uitvoeren van een complexe taak; één neurale laag kan uit wel vierhonderd processoren bestaan.[9]  Machine learning en deep learning vallen onder het onderzoeksgebied van de Kunstmatige Intelligentie (K.I.), met dien verstande dat K.I. geen synoniem is voor machine learning. Kunstmatige Intelligentie bestudeert het vermogen van computers om autonoom complexe taken uit te voeren en probleemoplossend te werk te gaan.[10] 

Zijn algoritmen wel geschikt om risico's te taxeren? Correlatie, geen causaliteit

Algoritmen liggen ten grondslag aan de automatisering van processen, waaronder datamining. Kenmerkend van door Big Data gedreven algoritmen is dat géén hypotheses worden ingegeven. Het doel is niet om een bepaalde verwachting te toetsen, maar om correlaties tussen verschijnselen te ontdekken.[11] Dat maakt dat de causaliteit van een gebeurtenis in de fase van de datamining buiten beschouwing blijft.

Conclusie
Profilering in de huidige verschijningsvorm wordt gekenmerkt door 'supervised machine learning', het trainen van algoritmen met vooraf ingegeven datasets. Deze datasets dragen, afhankelijk van de intentie van de opdrachtgever, in de regel menselijke waardeoordelen. Algoritmen die worden ingezet voor profilering zijn in die zin niet intelligent, dat zij zelf patronen kunnen ontdekken. Een zwakte aan profilering is dat (voorspellende) algoritmen niet worden ingezet om hypotheses te toetsen, maar slechts om correlaties te weergeven. Het onderzoeken van de causaliteit van een gebeurtenis blijft een menselijke aangelegenheid. Het 'minen' van grote hoeveelheden data is evenmin een geschikte methode om hypotheses te toetsen. Aan de resultaten van profilering en datamining mag geen betekenis worden toegekend voordat nadere menselijke interventie of interventie door een geschikte methode heeft plaatsgevonden. 'Vals-positieven' moeten uit programma's die werken op voorspellende algoritmen worden getraind. Bovendien kunnen de datasets waarmee voorspellende algoritmen worden getraind, bias bevatten. Daarmee is de bias in de profielschets of risicotaxatie onvermijdelijk. 

---

[1] B. Mali, C. Bronkhorst-Giesen en M. den Hengst, Predictive Policing: lessen voor de toekomst. Een evaluatie van de landelijke pilot (2017), p. 91-92; ‘Machine Learning in Information Security: Where the Hype Ends’, Cisco White Paper 2018, p. 3.

[2] R. Sietsma, Gegevensverwerking in het kader van de opsporing. Toepassing van datamining ten behoeve van de opsporingstaak: afweging tussen het opsporingsbelang en het recht op privacy, (diss. Universiteit Leiden), Leiden (2006), p. 23

[3] https://www.sas.com/nl_nl/insights/analytics/data-mining.html (geraadpleegd op 20 mei 2019).

[4] Vgl. https://cs.stanford.edu/memoriam/professor-arthur-samuel.

[5] Vgl. https://www.sas.com/nl_nl/insights/analytics/machine-learning.html (laatstelijk geraadpleegd op 20 mei 2019).

[6] Cisco Innovation Labs: How machine learning finds network trouble faster than anyone, via https://www.cisco.com/c/m/en_us/network-intelligence/service-provider/digital-transformation/get-to-know-machine-learning.html (laatstelijk geraadpleegd op 26 mei 2019).

[7] ‘Machine Learning in Information Security: Where the hype ends’, Cisco Whitepaper 2018, via https://www.cisco.com/c/dam/en/us/products/collateral/security/white-paper-c11-741159.pdf (geraadpleegd op 24 mei 2019).

[8] Vgl. https://machinelearningmastery.com/what-is-deep-learning/ (laatstelijk geraadpleegd op 26 mei 2019).

[9] Expanding deep learning, via https://www.umass.edu/research-report/expanding-deep-learning (geraadpleegd op 26 mei 2019).

[10] Definitie ontleend aan de informatie van de Universiteit van Massachusetts, faculteit Kunstmatige Intelligentie, via https://www.cics.umass.edu/research/area/artificial-intelligence (laatstelijk geraadpleegd op 26 mei 2019).

[11] T. Calders & B.H.M. Custers, ‘What is data mining and how does it work?’, in: B.H.M.

Custers e.a. (red.), Discrimination and privacy in the information society, Heidelberg:

Springer 2013, p. 27-28; G.H. Evers, ‘In de schaduw van de rechtsstaat: profilering en nudging door de overheid’, Computerrecht 2016/84-3, p. 167.

1 Big Data-analyse: voorspellende algoritmen, datamining, Machine Learning en Deep Learning

1.1 Inleiding

In dit hoofdstuk geef ik een nadere, maar niet-uitputtende definitie van Big Data. Dat doe ik aan de hand van een plaatsbepaling van de verschillende relevante begrippen die samenhangen met het fenomeen ‘Big Data-analyse’ (1.2). Cruciaal zijn begrippen als algoritmen en datamining (1.2.2). Ik licht met het instrument ‘iColumbo’ toe hoe datamining vorm krijgt bij het profileren van personen met behulp van Big Data (1.3.1). Vervolgens leg ik uit wat predictive policing inhoudt en geef ik specifieke voorbeelden van de toepassing van Big Data in de strafrechtspraktijk.

1.2 Plaatsbepaling van Big Data-analyse en voorspellende algoritmen

1.2.1 Big Data: een verkenning

Het is niet eenvoudig om een definitie te geven van ‘Big Data’. De term doet vermoeden dat de hoeveelheid data doorslaggevend is om te kunnen spreken van ‘Big’ Data. Deze kwantiteit, het Volume, is weliswaar een belangrijke factor,[1] maar minstens vier andere te onderscheiden a variabelen, de ‘V’s’, zijn volgens de IBM datahub[2] en IBM Watson indicatief.[3] Variety duidt op de verscheidenheid aan gegevens en de verschillende bronnen waaruit deze gegevens afkomstig zijn. De Variety draagt bij aan het Volume, zo zorgt de verwevenheid van technologische producten (mobiele telefoons, computers en huishoudelijke apparaten die via applicaties met het internet en onderling zijn verbonden) voor een toename van de hoeveelheid data. Die verwevenheid wordt omschreven als het concept ‘Internet of Things’, ‘IoT’.[4] Velocity heeft betrekking op de (toenemende) snelheid waarmee nieuwe data worden gecreëerd en de benodigde snelheid om deze data te verwerken en te analyseren binnen een tijd die de werkelijke tijd van de creatie van de data zo dicht mogelijk benadert, ‘real-time’. Een voorbeeld van de wisselwerking van Velocity en Volume is een Unified Computing System (UCS), waarbij tachtig professionele servers per domein binnen een netwerk van duizenden servers een zo groot mogelijke hoeveelheid data in real-time analyseren en opslaan.[5] Met een UCS wordt de kans op verlies van data, onder andere door overschrijving te voorkomen, tot nihil gereduceerd.[6] Veracity verwijst naar de accuraatheid, het waarheidsgehalte, van de gegevens. Het samenspel van variabelen heeft een doel en dat is om Value, gebruikswaarde, aan de geanalyseerde data te kunnen ontlenen.[7] 

Binnen het strafrecht is de Value het verkrijgen van betrouwbaar bewijsmateriaal dat kan worden ingezet in het proces van strafrechtelijke vervolging en (eventuele) berechting van de betrokkene. De strafrechtelijke Value met betrekking tot predictive policing is een betrouwbare risicotaxatie op het gebied van delictsincidentie. Idealiter wordt prescriptive policing mogelijk gemaakt: op basis van een betrouwbare risicotaxatie kan de meest efficiënte inzet van mankracht en middelen worden bepaald, om delicten te voorkomen óf om delicten op heterdaad te ontdekken (artikel 128 Sv).

Opgemerkt moet worden dat het aan het karakter van Big Data inherent is om geen sluitende definitie te kunnen geven. De hoeveelheid data blijft immers toenemen.[8] De Koninklijke Nederlandse Akademie van Wetenschappen komt met een voor de strafrechtelijke handhaving relevante verfijning van het begrip ‘Big Data’. Zo omschrijft zij Big Data niet als gegeven, maar als geconstrueerd, omdat besluitvorming omtrent observaties maakt dat gegenereerde data het gevolg zijn van een afweging; ook wijst de KNAW erop dat Big Data in de praktijk uit tot personen herleidbare gegevens bestaan, waaronder medische gegevens, gegevens over etniciteit, geografische coördinaten en DNA-gegevens.[9]

1.2.2 Algoritmen en datamining, Machine Learning, Deep Learning en K.I./A.I

De Wetenschappelijke Raad voor het Regeringsbeleid vat het Big Data-proces samen in drie fasen: de verzameling, de analyse en het gebruik van data.[10] Om de verzamelde willekeurige of ongestructureerde data en relevante data te schiften, moet een analytisch instrument worden ingezet. De hoeveelheid data moet niet alleen worden verkleind, maar ook worden verfijnd om tot een specifieker resultaat te komen. Daarvoor kan gebruik worden gemaakt van een zogenaamd ‘Warehouse’, een digitale verzameling data afkomstig uit diverse bronnen. Om te voorkomen dat voorspellende algoritmen worden getraind met verouderde data en om het risico op inaccurate voorspellingen (vals-positieven) te verkleinen, dienen de data te worden ververst en in omvang te worden beperkt, ofwel: garbage out.[11] Met een dergelijk ‘digitaal warenhuis’ als referentiepunt kunnen correlaties tussen data worden ontdekt. Over de duur van het bewaren van persoonsgegevens in een Warehouse is niets bekend; op grond van het voormelde zal het waarschijnlijk gaan om een onbepaalde duur, behoudens de verversing. 

Een belangrijke stap in het ontdekken van correlaties tussen datasets is ‘Knowledge Discovery of Databases’, of ‘datamining’.[12] Statistical Analysis System (SAS) omschrijft datamining als ‘het proces waarbij naar anomalieën, patronen en correlaties wordt gezocht, om een bepaalde uitkomst te kunnen voorspellen’.[13] De voorloper van datamining is ‘machine learning’, een door Samuel op de kaart gezette techniek die inhoudt dat algoritmen op basis van statistische gegevens worden getraind.[14] Formules worden ingegeven om algoritmen te ontwikkelen, trainingsets van data worden als ‘input’ gegeven en het resultaat ervan wordt als ‘output’ verstrekt. Algoritmen krijgen de opdracht om het verband tussen input en output te leggen en zichzelf te evalueren. De uitkomst van deze feedback wordt gebruikt om patronen te herkennen.[15] Deze vorm, ‘supervised machine learning’ is bij uitstek geschikt om data te classificeren: algoritmen categoriseren data naar het voorbeeld van vooraf verstrekte, gelabelde datasets en leren om data te ‘labelen’, ofwel een bepaalde eigenschap toe te kennen.[16] Als een plaatje van een ploertendoder als input en een vergelijkbaar plaatje met de titel ‘ploertendoder’ als output wordt verstrekt, leren de algoritmen om plaatjes van ploertendoders te classificeren. 

Bij een andere vorm van machine learning, ‘unsupervised machine learning’, ontbreekt het voorbeeld van gelabelde datasets. Algoritmen leggen patronen tussen ongestructureerde data. Unsupervised machine learning wordt gebruikt om ongestructureerde data te clusteren, in te delen naar overeenkomsten zonder een bepaald label te gebruiken.[17] De algoritmen plaatsen bijvoorbeeld allerlei plaatjes van ploertendoders in één omgeving, maar weten niet hoe deze wapens heten. Dat maakt unsupervised machine learning ongeschikt voor profilering, waarbij niet alleen relaties moeten worden gegenereerd, maar ook namen en classificaties (bijvoorbeeld ‘fraud!’) zullen moeten worden verbonden aan het resultaat. Een subvorm van machine learning is deep learning, het via een gelaagde neurale structuur ontdekken van complexe patronen in grote hoeveelheden data.[18] Het onderscheidende aan deep learning is de behoefte aan forse ‘computational power’ voor het uitvoeren van een complexe taak; één neurale laag kan uit wel vierhonderd processoren bestaan.[19] 

Machine learning en deep learning vallen onder het onderzoeksgebied van de Kunstmatige Intelligentie (K.I.), met dien verstande dat K.I. geen synoniem is voor machine learning. Kunstmatige Intelligentie bestudeert het vermogen van computers om autonoom complexe taken uit te voeren en probleemoplossend te werk te gaan.[20] 

Algoritmen zijn de moleculen van alle vormen van kunstmatige intelligentie. Een algoritme kan worden omschreven als een formule, een eindige reeks die ingegeven data (bijvoorbeeld door opdrachten in zoekmachines, muisklikken en het bezoeken van webpagina’s gegenereerd) omzet in ‘output’, een bepaald resultaat. Algoritmen liggen ten grondslag aan de automatisering van processen, waaronder datamining. Kenmerkend van door Big Data gedreven algoritmen is dat géén hypotheses worden ingegeven. Het doel is niet om een bepaalde verwachting te toetsen, maar om correlaties tussen verschijnselen te ontdekken.[21] Dat maakt dat de causaliteit van een gebeurtenis in de fase van de datamining buiten beschouwing blijft. Het verklaren van de oorzaak van een bepaald verschijnsel (een auto verschijnt volgens een nummerplaatherkenningssysteem bijvoorbeeld iedere nacht bij een loods op een industrieterrein en blijft daar tot in de vroege ochtend staan; later wordt een drugslab in de loods ontmanteld, waarvan akte door de opsporingsambtenaren is opgemaakt) voorbehouden aan de fase van het gebruik van de data, zoals duidelijk wordt gemaakt op de wervingspagina van de Politie voor data scientists, onder het kopje ‘Input voor het basisteam’.[22]

---

[1] F.L. Leeuw, ‘Legal Big Data en wet- en regelgeving: perspectieven en uitdagingen’, RegelMaat 2019/34-1, p. 10.

[2] Een hub is een verbindingspunt binnen het digitale netwerk. Een voorbeeld is een ‘domme hub’ die alle gegevens die binnenkomen van één apparaat, naar alle punten in een netwerk doorzendt en   insluipers zo op de wenken bedient.

[3] Vgl. https://www.ibm.com/blogs/watson-health/the-5-vs-of-big-data  en https://www.ibmbigdatahub.com/infographic/four-vs-big-data, laatstelijk geraadpleegd op 17 mei 2019.

[4] De term is afkomstig van Massachusetts Institute for Technology, zie https://www.technologyreview.com/business-report/the-internet-of-things en http://web.mit.edu/professional/digital-programs/courses/IoT/phone/index.html. De ontwikkeling wordt onder meer gestimuleerd door IBM Watson IoT, zie https://internetofthings.ibmcloud.com.

[5] Vgl. https://www.cisco.com/c/en/us/solutions/data-center-virtualization/big-data/index.html (laatstelijk geraadpleegd op 20 mei 2019).

[6] Vgl. voor een commerciële toepassing van UCS door Cisco, https://www.cisco.com/c/dam/en/us/products/collateral/servers-unified-computing/ucs-c-series-rack-servers/whitepaper-ucs-big-data.pdf (de informatie heb ik uit de rechterkolom op de tweede pagina van de whitepaper).

[7] Voor een economische uitleg van de doelstelling ‘Value’ vgl. https://www.ibmbigdatahub.com/infographic/extracting-business-value-4-vs-big-data, geraadpleegd op 19 mei 2019.

[8] A. de Vries, ‘Predictive Policing: een overzicht’, 25 april 2016, geraadpleegd via https://socialmediadna.nl/predictive-policing-overzicht/.

[9] KNAW, Big Data in wetenschappelijk onderzoek met gegevens over personen, advies 2018, p. 19.

[10] WRR, Big Data in een vrije en veilige samenleving, Den Haag/Amsterdam 2016, p. 27.

[11] B. Mali, C. Bronkhorst-Giesen en M. den Hengst, Predictive Policing: lessen voor de toekomst. Een evaluatie van de landelijke pilot (2017), p. 91-92; ‘Machine Learning in Information Security: Where the Hype Ends’, Cisco White Paper 2018, p. 3.

[12] R. Sietsma, Gegevensverwerking in het kader van de opsporing. Toepassing van datamining ten behoeve van de opsporingstaak: afweging tussen het opsporingsbelang en het recht op privacy, (diss. Universiteit Leiden), Leiden (2006), p. 23

[13] https://www.sas.com/nl_nl/insights/analytics/data-mining.html (geraadpleegd op 20 mei 2019).

[14] Vgl. https://cs.stanford.edu/memoriam/professor-arthur-samuel.

[15] Vgl. https://www.sas.com/nl_nl/insights/analytics/machine-learning.html (laatstelijk geraadpleegd op 20 mei 2019).

[16] Cisco Innovation Labs: How machine learning finds network trouble faster than anyone, via https://www.cisco.com/c/m/en_us/network-intelligence/service-provider/digital-transformation/get-to-know-machine-learning.html (laatstelijk geraadpleegd op 26 mei 2019).

[17] ‘Machine Learning in Information Security: Where the hype ends’, Cisco Whitepaper 2018, via https://www.cisco.com/c/dam/en/us/products/collateral/security/white-paper-c11-741159.pdf (geraadpleegd op 24 mei 2019).

[18] Vgl. https://machinelearningmastery.com/what-is-deep-learning/ (laatstelijk geraadpleegd op 26 mei 2019).

[19] Expanding deep learning, via https://www.umass.edu/research-report/expanding-deep-learning (geraadpleegd op 26 mei 2019).

[20] Definitie ontleend aan de informatie van de Universiteit van Massachusetts, faculteit Kunstmatige Intelligentie, via https://www.cics.umass.edu/research/area/artificial-intelligence (laatstelijk geraadpleegd op 26 mei 2019).

[21] T. Calders & B.H.M. Custers, ‘What is data mining and how does it work?’, in: B.H.M.

Custers e.a. (red.), Discrimination and privacy in the information society, Heidelberg:

Springer 2013, p. 27-28; G.H. Evers, ‘In de schaduw van de rechtsstaat: profilering en nudging door de overheid’, Computerrecht 2016/84-3, p. 167.

[22] Vgl. https://it.kombijdepolitie.nl/predictive-policing (laatstelijk geraadpleegd op 21 mei 2019).