Wat is Big Data analytics: betekenis, voor- en nadelen, toepassingen, kansen en risico's

Foto Daan van Beek MSc
Auteur: Daan van Beek MSc
Auteur van het Big Data boek: De intelligente, datagedreven organisatie
Inhoudsopgave

Het concept Big Data Analytics is inmiddels niet meer weg te denken uit onze samenleving. Zo hebben al veel bedrijven en instellingen big data toepassingen ontwikkeld, echter met wisselend succes. Diverse platformen en technologieën zoals social media en sensoren genereren aan de lopende band data. Denk hierbij aan slimme pillen, smart meters, met het internet verbonden vrachtauto’s, vliegtuigmotoren, hardloopschoenen, koelkasten, pompen enzovoorts. Bekijk hier de 5 kenmerken van Big Data. Deze realtime data noemen we Internet of Things Big Data, omdat het om grote hoeveelheden (ongestructureerde) gegevens gaat. Gegevens waar je hoe dan ook iets mee moet. Maar hoe ontwikkel je nu een efficiënt en effectief beleid voor Big Data Analytics? En welke 8 stappen moet je zetten om Big Data tot leven te wekken. De consultants van Passionned Group helpen je graag verder.

Concrete vragen die Big Data toepassingen maken of breken

Dagelijks worden we dus overspoeld met die enorme hoeveelheid aan data. Ergens voel je aan dat je organisatie hier iets mee kan en moet. Immers, de concurrentie staat niet stil, de technologie ontwikkelt zich razendsnel en de markt is continu in beweging. Een aantal concrete vragen dringt zich op:

  • Wat kan en moet mijn organisatie met Big Data-Analytics?
  • Hoe ziet een succesvol traject eruit? Wanneer en hoe betrek je stakeholders bij een traject?
  • Wat zijn de risico’s, valkuilen en de voor- en nadelen van Big Data Science?
  • Welke big data toepassingen kan ik identificeren in mijn organisatie en wat is de impact?
  • Welke nieuwe businessmodellen maken Big Data-analytics mogelijk?
  • Welke big data voorbeelden spreken tot de verbeelding en wat kun je ervan leren?
  • Waar en hoe sla ik de big data op? Wanneer heb je een data lake nodig?
  • Welke big data & analytics tools zijn er beschikbaar?
  • Welke vaardigheden hebben mijn mensen nodig om Big Data Analytics tot een succes te maken?
  • Hoe moet mijn organisatie omgaan met eventuele big data privacyvraagstukken?
  • Met welke relevante wet- en regelgeving moet je rekening houden?

Big data is vluchtig, complex, omvangrijk en ongestructureerd

Big data kan ongekend grote waarde bevatten voor elke organisatie. Maar de data valt ook lastig te analyseren en toe te passen. Waarom? Omdat big data vluchtig, complex, groot qua omvang en niet gestructureerd is. Denk bijvoorbeeld aan satellietbeelden, logfiles van systemen of geluidsfragmenten die je kunt analyseren om er informatie uit te halen.

De big data & analytics specialisten van Passionned Group kunnen je assisteren bij het verkrijgen van heldere inzichten en duidelijke big data analyses. Zij zijn 100% onafhankelijk en niet gebonden aan leveranciers. En we verzorgen natuurlijk graag een succesvolle implementatie voor jouw organisatie.

Wat is Big Data, welke betekenis heeft het en waarom Big Data?

  • Definitie big data: data die heel groot of heel erg ongestructureerd is. Dikwijls gaat het om grote hoeveelheden ongestructureerde data. Die big data is het meest complex om te analyseren. Daar heb je geavanceerde big data technologie voor nodig en big data oplossingen (tools) die kunnen werken met grote hoeveelheden ongestructureerde data.
  • Waarom big data analytics? Het antwoord is eenvoudig: vaak ligt er een schat aan informatie verborgen in de big data die jou kunnen helpen je bedrijf of instelling veel beter te laten presteren. Je gaat opeens patronen zien die je met normale data analyse niet zou hebben ontdekt. Je voert een big data onderzoek uit en stuit op nieuwe kennis die je concurrentievoordeel kan geven en/of de kwaliteit van je dienstverlening substantieel kan verhogen.

Het doel van Big Data analytics is het verbeteren, herstructureren en optimaliseren van de bedrijfsprocessen en innovatie in organisaties.

Volg de training Big Data Analytics

Wat is Big Data Analytics of Big Data Management?

We hebben nu de vragen ‘Big data, wat is het?’ en ‘Waarom big data?’ beantwoord, maar zijn nog niet ingegaan op het vakgebied. Hier is de definitie:

Big Data Analytics is het vakgebied dat big data op een efficiënte manier opslaat, verwerkt, modelleert en analyseert.

Hoe ga je nu big data betekenis geven in jouw organisatie?

  • Allereerst door veel kennis op te doen over het vakgebied. Dit kan bijvoorbeeld door het volgen van een cursus Big Data Analytics.
  • Ook ga je je primaire en secundaire bedrijfsprocessen onder de loep nemen en ga je op zoek naar big data toepassingen die grote impact kunnen hebben. Die ga je met elkaar bespreken en je gaat uiteindelijk een of meerdere business cases opstellen, je wilt immers vooraf wel een idee hebben of het geld gaat opleveren.
  • Tot slot ga je Big Data-analytics implementeren. Zodra mensen zien dat het werkt en de voordelen zien, krijgt big data betekenis voor hen en kunnen ze ook anderen big data uitleg geven.

Big Data trends 2024

Verdiep je hier direct verder in het vakgebied Big Data Analytics

Het vakgebied Big Data Management is bijzonder interessant omdat je voorspellende modellen kunt gaan maken, je business model kunt vernieuwen (van reactief naar proactief) en innovaties kan doorvoeren die disruptief zijn. Klik op een van onderstaande big data artikelen voor meer informatie:

Big data voorbeelden & toepassingen

Om te leren van andere organisaties en als inspiratie geven we hier een aantal aansprekende voorbeelden van big data toepassingen in een aantal sectoren. Wat opvalt is dat het aantal voorbeelden van big data toepassingen in de publieke sector groot is. Daar is een logische verklaring voor: de publieke ruimte zelf is enorm groot. Grofweg alles wat zich tussen je huis, kantoor en andere bestemmingen bevindt komt in aanmerking voor het verzamelen van Big Data en bijbehorende analyse. We geven hier vier voorbeelden van Big Data toepassingen:

  1. Branden
  2. Verkeer
  3. Zorg
  4. Machines

Daarnaast zijn foto’s en videobeelden tegenwoordig eenvoudig te maken, ook automatisch door bijvoorbeeld drones te laten rondvliegen met een (infrarood)camera. Denk bijvoorbeeld aan foto’s die kunnen aangeven of bomen ziek zijn, tuinen opgeruimd zijn en hoe hoog het onkruid staat. Maar ook tonen de foto’s aan of parkeerplaatsen bezet zijn door auto’s zonder geldige vergunning of geven ze de staat van onderhoud van objecten die in de buitenruimte staan door. Tevens zijn er legio voorbeelden van big data gezondheidszorg. Het is binnen de zorg steeds gebruikelijker om big data analyses in te zetten waarmee specialisten bijvoorbeeld ziektes in een vroegtijdig stadium kunnen ontdekken.
Het Big Data boek 'De intelligente, datagedreven organisatie' Afbeelding van Het Big Data boek 'De intelligente, datagedreven organisatie'In dit Big Data handboek - al meer dan 25.000 exemplaren verkocht - wordt de rol van (big) data in organisaties in de spotlight gezet. Hoe kun je big data het beste omzetten in stuurinformatie en hoe ga je je businessmodel innoveren met big data machine learning? Welke technieken, competenties en culturele aspecten komen daarbij kijken? Ook wordt natuurlijk ingegaan op de big data architectuur, de verschillende vormen van machine learning en artificial intelligence.het Big Data boek 'De intelligente, datagedreven organisatie'

1. Branden voorspellen met big data technologie

Branden voorspellen met big data technologieDe Brandweer Amsterdam-Amstelland is als grote winnaar uit de bus gekomen bij de uitreiking van de Dutch BI & Data Science Award. Zij mochten niet alleen de publieksprijs, maar ook de prijs van de vakjury mee naar huis nemen. De brandweer is nu in staat om op basis van tientallen (open en grote) datasets branden te voorspellen nog voordat deze uitbreken. Gewapend met deze nieuwe kennis en inzichten gaan brandweerlieden tegenwoordig huis-aan-huis voorlichting geven met een voorlichtingsfilmpje op de tablet. Zo laten ze zien hoe bewoners bepaalde type branden zelf kunnen voorkomen door bijvoorbeeld anders, veiliger te wokken.

Lees hier meer over de inzet van big data technologie bij de Brandweer Amsterdam-Amstelland.

2. Verkeersstromen optimaliseren met big data & analytics

Het bestuur van de stad Dublin verrichtte onderzoek naar de mogelijkheden van Big Data Analytics. Het ging na of het mogelijk zou zijn om de verkeersstromen in de stad te optimaliseren en de files te verminderen. In het wegdek werden tal van sensoren ingebouwd, evenals gps-systemen in de bussen. Ook regendetectors werden op belangrijke punten in de stad aangebracht. Tot slot tapte het stadsbestuur data af van alle camera’s.

Nu het systeem live is, verzamelen ze in Dublin alle data realtime en slaan die op in een data lake. Ze presenteren de data op een kaart van de stad. Daarmee visualiseren ze direct waar files zijn of dreigen te ontstaan. Met behulp van de camerabeelden zien de medewerkers van het verkeerscontrolecentrum direct wat de oorzaak van een file is. En ze ondernemen direct daarop de juiste actie. Bij een ernstig ongeluk waarschuwen ze onmiddellijk de politie en de ambulance. Nog voordat de betrokkenen bij het incident dat kunnen doen. In andere gevallen sturen ze verkeersregelaars naar de plek des onheils om het verkeer in goede banen te leiden. Met deze toepassing van Big Data Analytics berekenen ze ook de meest optimale routes van bussen door de stad.

3. Big data zorg voorbeeld: de smart inhaler helpt aanvallen te reduceren

Astma is een veel voorkomende chronische longziekte. Meer dan een half miljoen mensen in Nederland hebben er last van, en wereldwijd treft de ziekte maar liefst 339 miljoen mensen. Het veroorzaakt vroegtijdige sterfte en vermindert de kwaliteit van leven bij mensen in alle leeftijdscategorieën. De smart inhaler helpt astmapatiënten over heel de wereld om de ziekte beter onder controle te krijgen en te houden. Deze big data zorg toepassing verzamelt allerlei data. Zo meet dit apparaat met Big Data & Internet of Things (IoT) niet alleen hoe bij een patiënt de inname verloopt van het medicijn, het meet ook de locatie, de luchtkwaliteit, of er pollen in de lucht zijn, de buitentemperatuur en luchtvochtigheid.

De smart inhaler stuurt deze big data naar een datacenter waar een machine learning-model bepaalt of en welke actie er moet worden ondernomen. Zo kan het machine learning model concluderen dat op basis van de luchtkwaliteit, eerdere aanvallen van de patiënt en de locatie dat de patiënt er verstandig aan doet het medicijn binnen vijf minuten te inhaleren met een door het algoritme bepaalde dosering. Of het algoritme waarschuwt de vertrekkende patiënt op zijn of haar smartphone dat de inhaler nog thuis ligt. Of het algoritme stuurt de patiënt een notificatie dat die een gebied binnenrijdt waar veel graspollen in de lucht actief zijn. De smart inhaler helpt astmapatiënten zo om het aantal aanvallen te reduceren en helpt ze ook om te achterhalen wat de oorzaak was van aanvallen. Een mooi voorbeeld waar AI en Big Data Science zijn verweven in een product met een groot maatschappelijk belang.

4. Predictive Maintenance & big data

Deze big data toepassing wordt veel toegepast bij het voorspellen van mankementen in machines. Op of in bepaalde onderdelen van de machine worden sensoren geplaatst die bijvoorbeeld de temperatuur meten. Op basis van patronen die in de data zichtbaar zijn, kan een algoritme met vrij grote waarschijnlijkheid voorspellen dat een onderdeel of onderdelen de komende tijd stuk dreigen te gaan. Predictive Maintenance met big data kan hoge uitval voorkomen en hiermee veel kosten besparen. Daarnaast heeft het ook een grote impact op de klanttevredenheid. Lees ook ons artikel ‘Waarom elke controller alles moet weten van big data’.

Bedenk eerst een nuttige big data-toepassing

Wat de Dublin-case heel helder maakt is dat ze vooraf een duidelijke toepassing bedachten. Dit is de belangrijkste stap voordat je aan de slag gaat met Big Data Management en een volwassen architectuur gaat optuigen. Welke betere of snellere beslissingen kun je nemen op basis van die data? Te vaak nog ligt de focus bij dit vakgebied op de opslag van data of op big data tools. En niet op wat het kan gaan opbrengen en welke nieuwe businessmodellen het mogelijk maakt. Met als gevolg dat de data geen rendement gaat opleveren en de big data “machine” al snel vastloopt.

Beginselen en kenmerken van big data: de vijf V’s

Big data laat zich karakteriseren door een aantal kenmerken, we noemen ze de 5 V’s. Bij één of meer van de onderstaande situaties mag je spreken van big data:

  • Volume: Hoe groot is big data? Het datavolume is zo groot dat de data niet meer past in een traditionele SQL-database. Opslag vindt plaats in filesystemen of zogenaamde NoSQL databases. Extracten worden in het datawarehouse opgeslagen.
  • Velocity (snelheid): de data komt snel op en kan weer heel snel verdwijnen. Twitter verplaatst de oudere tweets bijvoorbeeld naar een archief. Die data verdampt snel. Machine data (IoT big data) verdampt zelfs vrijwel direct. Je moet er dus heel snel bij zijn om de data op te vangen.
  • Variëteit: de data kent veel variatie, zowel in structuur, volume als in betekenis.
  • Veracity (waarheidsgetrouwheid): wisselende (data)kwaliteit en twijfels over de betrouwbaarheid maken het gebruik van de big data dubieus.
  • Value (waarde): dit is waar het werkelijk om gaat, welke waarde gaat big data voor je klanten en je organisatie opleveren?

Beginselen en kenmerken van big data: de vijf V'sFiguur 1: Om de echte waarde van Big Data te begrijpen, moet je eerst de vijf bekende V’s begrijpen die Big Data kenmerken

De beginselen van big data kun je met de kenmerken van big data verduidelijken, maar dit vertelt lang niet het hele verhaal. Met name als het gaat om image processing. Door deze specifieke toepassing noemen we fotografie ook wel de nieuwe universele taal, want op basis van foto’s kun je met grote precisie en snelheid, relatief eenvoudig mankementen identificeren in je producten, maar ook beginnende ziekten bij een mens, dier of plant ontdekken. De toepassingsmogelijkheden van image processing zijn enorm, juist in combinatie met robots, artificial intelligence en drones.

De Big Data Analytics opleiding Afbeelding van De Big Data Analytics opleidingTijdens de Big Data Analytics opleiding maak je in 3 intensieve dagen kennis met Big Data toepassingen, learning algoritmen, data mining, textmining, de business case, risico's, valkuilen, privacy en ethiek.de Big Data Analytics opleiding

Typen big data en open data

Misschien maak je nu nog geen foto’s of opnames, of heb je geen weet van de logfiles die alle computers of routers in je bedrijf al genereren. Of het nu gaat om big data, normale data of open data, de opslag vindt plaats op computers die werken met bits (nullen en enen). Op dit niveau zie je geen verschil tussen deze data. Maar op een hoger niveau kun je de volgende typen big data ontdekken:

  • Documenten: denk hierbij aan e-mails, offertes, beleidsnota’s en tekstbestanden
  • Foto’s: maak je met je telefoon, een fototoestel of speciale (ziekenhuis)apparatuur
  • Video’s: maak je met je telefoon, een videocamera of geavanceerdere apparatuur
  • Geluidsfragmenten: deze neem je op met een geluidsrecorder
  • Sensorische of machine data: deze wordt gegenereerd door machines
  • RFID tags: denk hierbij aan polsbandjes of stickers met een chip die je kunt detecteren
  • Social media berichten: deze maakt de gebruiker
  • Logfiles: deze big data wordt gegenereerd door computers, websites en systemen (event logs)

Om succes met Big Data te bereiken is het nodig om alle typen big data eens gestructureerd langs te lopen. Ga na of je in jouw organisatie deze data makkelijk kan identificeren en kijk wie of wat welke data genereert. Neem contact met ons op voor meer informatie.

Big data analyse: het proces in 8 stappen

Om veel waarde uit big data te halen moet je een specifiek aantal stappen zetten. Deze stappen helpen je om structuur aan te brengen in je project en zorgen dat je start met een businessvraagstuk. Dat is cruciaal, want veel projecten laten in de praktijk geen rendement zien. Meestal wordt er wel heel veel data verzameld, maar nauwelijks geanalyseerd en toegepast. In onderstaande figuur komen de 8 big data analyse-stappen aan bod en de uitleg waarmee je wél succes met big data kunt gaan realiseren:

De levensloop van Big Data analyse
Figuur 2: De levensloop en cyclus van big data analyse.

  1. Identificeer en definieer het businessvraagstuk: hier ga je samen met je collega’s verkennen welke businessvraagstukken in aanmerking komen voor big data analyse. Gebruik hierbij als eerste de belangrijkste Key Performance Indicators (KPI’s) in jouw organisatie of bedrijfsproces.
  2. Verzamel en prepareer de relevante data: op basis van het businessvraagstuk ga je een eerste dataverzameling selecteren en die ga je waar relevant opschonen. Lees hier meer over meten en verbeteren van je datakwaliteit.
  3. Verken en analyseer de data: je gaat nu een big data analysis uitvoeren en de data verkennen met een BI tool zodat je begrip krijgt van de data en of deze het businessvraagstuk zou kunnen gaan oplossen. Ook ga je de data op allerlei manieren visualiseren. Lees hier meer over datavisualisaties.
  4. Stel een definitieve dataset samen: de stappen 1, 2 en 3 voer je net zolang uit totdat je een dataverzameling hebt die goed is.
  5. Bouw het big data model: je gaat een machine learning model bouwen waar algoritmes voorspellingen doen op basis van trainingdatasets.
  6. Valideer het model: het model moet nu gevalideerd gaan worden door domeinexperts, zij bepalen of de voorspellingen die het algoritme als resultaat geeft kloppen.
  7. Breng het model in productie: als het model valide is, gegeven de uitgangssituatie en het businessvraagstuk én je hebt de datakwaliteit onder controle(!), dan breng je het big data model in productie.
  8. Evalueer de resultaten van het model: toets met regelmaat of de voorspellingen van het model nog steeds uitkomen en welke resultaten het geeft. Op basis van deze evaluatie ga je een verfijndere versie maken van het model die nog nauwkeuriger kan voorspellen.

Deze 8 stappen van big data-analyse helpen je om altijd een businessvraagstuk centraal te stellen bij een technologie als Big Data Analytics en de governance te organiseren met verantwoordelijke rollen (Big Data Governance). Daarnaast maakt het stappenplan duidelijk dat het niet een eenmalige excercitie is, maar een doorlopend proces van verfijnen en verbeteren van het model.

Tot slot: patronen vinden in big data kun je niet langer meer met traditionele analyse tools doen want de data is te groot of te complex. Je zult een algoritme zoals een neuraal netwerk (ai) moeten ontwikkelen dat het voor jou op een efficiënte en effectieve manier gaat doen.

Big Data tools

Meer te weten komen over Big Data tools? Kies een van de tools uit onderstaande lijst:

Alle Big Data tools (en BI tools) hebben wij beoordeeld in onze BI & Analytics Guide 2024. Daar vind je alle details van alle oplossingen.

Van traditionele BI naar Big Data Science

Traditioneel werkt Business Intelligence (BI) met gestructureerde data die je relatief eenvoudig kan opslaan en ontsluiten. Op basis daarvan kun je kubussen of dashboards maken. Met Business Intelligence Big Data Science gaat het om het verwerken van (grote hoeveelheden) ongestructureerde data en algoritmes. Hoe kan je die goed verwerken en hoe ga je een goede big data analyse opbouwen? En waar moet je verder op bedacht zijn?

Kijk verder dan eigen data

Daarnaast is het raadzaam verder te kijken dan alleen je eigen data. Neem ook externe databronnen en open data mee in je analyses. Daarmee verrijk je de interne blik met relevante context. Denk daarbij aan demografische (klant)gegevens en marktinformatie, concurrentieanalyses, maar ook aan zaken als het weer, verkeersbewegingen of sentimenten op social media. Tegenwoordig kijk je vaker van buiten naar binnen (outside-in) naar de problemen of kansen, dan van binnen naar buiten (inside-out).

De rekenkracht van Hadoop

Een bekende technologie is Hadoop. Het biedt een raamwerk om grote volumes data te benaderen en te filteren. Hadoop op een cluster van veel computers geeft een enorme rekenkracht. Daardoor kunnen die computers bepaalde gegevens bliksemsnel aanleveren aan de BI tools voor de eindgebruiker.

Big data versus Zero Data

Dat big data grote toegevoegde waarde kan hebben voor je organisatie, daar zijn wij rotsvast van overtuigd. Toch moet je je niet blindstaren op enkel die mogelijkheden.

Soms bevat de data die je niet vastlegt over je klanten of processen, de zogenaamde Zero Data, een nog veel grotere waarde dan big data. Benieuwd naar hoe dat precies zit? Neem dan gerust contact met ons op.

Hoe ziet een volwassen big data architectuur eruit?

Het uitgangspunt van een goede big data architectuur is dat je grote hoeveelheden ongestructureerde data net zo makkelijk moeten kunnen analyseren als eenvoudige data. Daarnaast moet je die complexe big data (opgeslagen in een data lake) eenvoudig kunnen combineren met normale data (opgeslagen in een datawarehouse). Big data moet je in je architectuur dus niet als een volledig op zichzelf staand fenomeen beschouwen, maar juist diep integreren in verschillende onderdelen van de architectuur. In de volgende afbeelding zie je een uitgewerkte big data architectuur.

Een uitgewerkte Big Data architectuurFiguur 3: De verschillende onderdelen van een big data architectuur met BI-instrumenten, een datawarehouse, een data lake, machine learning-modellen, een portal, mobile BI en metadata. Bron: Big Data boek (2023).

Een volwassen big data architectuur zoals hierboven bouw je niet zomaar, want daar is een behoorlijke investering mee gemoeid. Maar dit is wel de stip op de horizon waar je naar toe gaat werken, want allemaal losse eilandjes met big data analyses en toepassingen, dat is op een gegeven moment suboptimaal of werkt zelfs averechts.

In deze architectuur voor Big Data Science verdient het data lake speciale aandacht. Deze opslagplek voor big data kan foto’s, video’s, e-mails, geluidsfragementen, sensorische data of andere ongestructureerde data bevatten. Deze data ga je met BI-instrumenten raadplegen en analyseren, dit zijn de big data-analysetools.
De Python cursus Machine Learning Afbeelding van De Python cursus Machine LearningNatuurlijk leer je alle belangrijke technische aspecten in onze Python cursus Machine Learning. Zo kijken we uitgebreid naar geavanceerde technologie, machine learning & deep learning modellen en de algoritmes waarmee je die kunt bouwen. Maar met onze Python training ga je vooral zelf leren om met Python te programmeren en de essentie te begrijpen van het ontwikkelen van algoritmes.de Python cursus Machine Learning

Volg een 2-sporenbeleid: Big Data Science is meer dan een big data strategie

Natuurlijk moet je beleid en een strategie gaan ontwikkelen om Big Data predictive analytics van de grond te krijgen in jouw organisatie, maar het is ook cruciaal om snel te gaan experimenteren met Big Data Science. Want het is een complex vakgebied en door te proberen ga je leren en krijg je veel beter zicht op de materie, de risico’s, de voor- en nadelen en het potentiële rendement. Een tweesporenbeleid, beleid ontwikkelen én experimenteren, is daarom aan te bevelen. Je wilt succes met big data mining realiseren en daarom is het goed om bedacht te zijn op de belangrijkste risico’s en hierop vroegtijdig te anticiperen:

  1. Een technologiegedreven traject: uit onderzoek van IDG blijkt dat meer dan de helft van de investeringen die organisaties in big data technologie doen niets te maken heeft met big data toepassingen en impact hiervan op de processen, de werkwijzen en de mens. Dit sluit aan op onze eigen ervaring in de praktijk. Begin daarom een traject altijd vanuit een bedrijfsmatig perspectief en zorg dat niet de technologie leidend wordt, maar je bedrijfsstrategie, KPI’s en bedrijfsprocessen.

Big Data Science is meer dan een big data strategie

  1. Complexiteit en omvang van de data: foto’s, teksten, machinedata en videobeelden kunnen al snel terabytes aan opslag vragen. Hoewel opslagruimte tegenwoordig niet zoveel meer kost, blijft het volume een aandachtspunt. Ook omdat de big data analyse door de complexiteit van de data al snel kan gaan vastlopen. Je hebt dus heel veel “brute” en ook slimme rekenkracht nodig om een goed systeem op te zetten waarmee je een toepassing snel en agile kunt ontwikkelen. Het systeem moet schaalbaar, toekomstbestendig en testbaar zijn.
  2. Datakwaliteit: is een nog steeds groot, onderbelicht probleem in veel organisaties. Berekeningen wijzen uit dat rond de 10% van de winst van organisaties verdampt door slechte datakwaliteit. Met big data mining wordt de uitdaging van datakwaliteit nog veel groter, want een machine learning-model dat in productie is genomen functioneert vaak als een black-box. Verder zijn in een data lake nog nauwelijks voorzieningen beschikbaar om de datakwaliteit over de hele linie te meten en te verbeteren.
  3. Ethiek & Big Data privacy: wanneer het gaat om de verwerking en analyse van persoonsgegevens kan wet- en regelgeving zoals de Algemene Verordening Gegevensbescherming (AVG) al snel een behoorlijke blokkade opwerpen om big data machine learning met succes toe te passen. Lees hier meer over de AVG, bekijk hier de ethiek rondom big data en vraag hier privacy big data advies aan.

Big data en artificial intelligence (AI) of machine learning op big data zijn twee seperate vakgebieden die veel met elkaar te maken hebben. Wanneer je grote hoeveelheden data wilt analyseren zonder AI, dan ben je als data analist misschien jaren bezig om alles op een rij te zetten. Wanneer je veel ongestructureerde data wilt analyseren zonder een machine learning-model, is de kans op fouten enorm, of zie je al snel zaken over het hoofd. En daarnaast krijgt AI veel meer waarde omdat je algoritme getraind kan worden met enorm grote hoeveelheden data. De kans op een betrouwbaar en accuraat model neemt daardoor toe. De combinatie big data & AI levert een perfect samenspel op waarmee je de kans vergroot om een groot succes met Big Data-analytics te bereiken.

Big data analyseren is het nieuwe goud, de nieuwe olie…

Wat als er een paar spreekwoordelijke goudklompjes in je big data verborgen liggen? Waardoor je bedrijf bijvoorbeeld een maand eerder dan je concurrent weet dat de prijs van een grondstof gaat stijgen. Of dat de sensordata van een vliegtuigmotor laat zien dat deze tijdens een vlucht, op een bepaalde hoogte en onder bepaalde ongunstige weersomstandigheden, haperingen vertoont. Motoruitval betekent in veel gevallen een ramp. Juist dit soort kritische toepassingen, maar ook nieuwe businessmodellen, maken big data enorm interessant. Big data wordt daarom ook wel het nieuwe goud of de nieuwe olie genoemd, vanwege de grote potentiële waarde die het vertegenwoordigt.

Verdiep je ook in data mining

Ontdek nieuwe kansen en reduceer risico’s met Big Data Management

Of denk aan de analyse van miljoenen camerabeelden van psychiatrische patiënten. Je kunt dan een model bouwen waardoor je snel afwijkend gedrag kunt opmerken bij een patiënt. Die patronen vertellen je dat er een grote kans bestaat dat een bepaalde persoon aan het “doordraaien” is, met alle risico’s van dien. Denk hierbij aan letsel en schade. Door deze gedragsverandering vroegtijdig te signaleren, kun je tijdig (extra) controles en checks uitvoeren. Daarom willen organisaties graag die berg data ontginnen, kansen ontdekken en risico’s beheersen. Wij helpen je graag van reactief naar proactief werken op basis van big data predictive analytics. Lees ook ons artikel ‘Waarom elke controller alles van Big Data moet weten’.

Big data oplossingen en big data-analyse tools

Goud of andere waardevolle grondstoffen kun je alleen met succes opgraven als je de juiste tools, instrumenten en oplossingen selecteert en aanschaft. Dat is met big data net zo. Je hebt speciale big data oplossingen oftwel big data analyse tools nodig om de grote hoeveelheden data of ongestructureerde data op te slaan, te analyseren en te visualiseren. Deze big data tools vallen uiteen in drie categorieen:

  • Opslag van big data: denk hierbij aan Hadoop, MongoDB, Apache Cassandra en NoSQL, de data sla je op in een data lake.
  • Verwerken van de data: dit is een tussenlaag om data ongeacht waar die is opgeslagen in een data lake snel te kunnen analyseren. Knime is bijvoorbeeld een open source omgeving die voor data-integratie prima geschikt is.
  • Analyseren, rapporteren en visualiseren van de big data: met deze software kun je gaan grasduinen in de data, analyses uitvoeren, datavisualisaties, algoritmes en rapporten maken. Denk hierbij bijvoorbeeld aan Datawrapper, Watson Analytics en FusionCharts.

Meer er zijn meer big data-analysetools op de markt beschikbaar: IBM Cognos Analytics, SAP BusinessObjects, SAP HANA, Microsoft BI & Power BI, Oracle BI, WebFOCUS, Style Intelligence, Yellowfin, Pentaho BI, SAS, BOARD, MicroStrategy, QlikView, Qlik Sense, Sisense, TIBCO JasperSoft, Tableau Software, Infor Birst. Al deze oplossingen hebben we in onze uitgebreide BI, Big Data & Analytics Guide™ onderzocht.

Succes met big data modellen behalen: 6 kenmerken

Een succesvol traject met big data kenmerkt zich door een open en lerende analytische bedrijfscultuur. En natuurlijk voldoende betrokkenheid en budgetmogelijkheden vanuit het management. Daarnaast is heel veel bedrijfskennis, een gedegen proceskennis en creativiteit vereist van zowel de business-mensen als de data scientist. Om succes met big data te realiseren zorgt een projectleider verder voor:

  • Afstemming met de organisatiedoelstellingen en missie: de big data doelen komen overeen met de strategische bedrijfsvisie, zodat je je organisatiedoelen kan realiseren. Zomaar in het wilde weg een data lake aanleggen is vrij nutteloos.
  • Betrokken gebruikers: gebruikersparticipatie en vooral bewustzijn bij de gebruikers wat Big Data kan betekenen voor hun werk, is van groot belang voor het slagen van een big data & analytics traject. Een agile & scrum aanpak kan helpen om die participatie te realiseren.
  • Bron- en datakwaliteit: de kwaliteit van de data is bij big data van nog groter belang dan bij reguliere Business Intelligence-trajecten. Met Big Data Analytics ga je bepaalde beslissingen immers automatisch nemen.
  • Bruikbaarheid en gebruiksgemak: de bruikbaarheid, toegankelijkheid en het gebruiksgemak van een big data model moeten hoog zijn.
  • Een solide data-infrastructuur: de kwaliteit en flexibiliteit van de data-infrastructuur moeten ook hoog zijn. Je hebt een robuust en schaalbaar systeem nodig.
  • Een afgewogen teamopbouw: er zijn voldoende ervaren data science experts en een team waarin je business en IT- & BI-competenties goed op elkaar kunt afstemmen. Zo kan je beter en sneller inspelen op diverse informatiebehoeften.

Hoe kan het dan dat het soms toch nog fout gaat? Het antwoord ligt voor de hand. Bovenstaande zaken goed managen en succes met big data modellen behalen is bepaald geen eenvoudige opgave. Ze werken op elkaar in en vragen om een vaste hand, kennis van zaken en flinke dosis ervaring in het vakgebied Big Data Analytics. Vraag hier big data consultancy aan.

Big Data Analytics bibliotheek (200+ items)

De Big Data & Data Science Quick Scan

Onze Big Data Quick Scan geeft je een goed beeld waar je nu staat qua volwassenheid en welke stappen je kunt nemen om de toegevoegde waarde van je data te verhogen. We kijken daarbij naast inhoudelijke en technische zaken uiteraard ook goed naar de procesmatige en organisatorische inbedding. We vergeten natuurlijk niet de strategische richting waarin je organisatie zich beweegt. Alleen dan kan jouw big data vooral ook een strategische, maar ook tactische en operationele, bijdrage leveren.

Voordelen Big Data-analytics

De belangrijkste voordelen van big data kun je als volgt rankschikken:

  • Je kunt big data analysis doen tegen relatief lage kosten (in de cloud) en met hoge snelheid
  • Je kunt je businessmodel gaan verfijnen en radicaal innoveren
  • Je creëert oneindig veel nieuwe mogelijkheden om te gaan differentiëren, bijvoorbeeld per marktsegment/klantgroep want je beschikt over zeer gedetailleerde data
  • Je kunt voorspellende modellen maken en op die manier van reactief naar proactief gaan. Dit heeft een positief effect op je winstgevendheid en de klanttevredenheid.

Big Data boek

Nadelen Big Data analytics

Aan Big Data Analytics kleeft ook een aantal nadelen:

  • Het is complex omdat je het moet combineren met artificial intelligence en machine learning. De kennis van Big Data machine learning is zeer schaars. De Data Scientist is een schaap met vijf poten.
  • Privacyvraagstukken kunnen eenvoudig roet in het eten gooien, het verwerken van persoonsgegevens zonder rechtsgeldige grondslag is vragen om grote problemen.
  • Er wordt enorm veel geld over de balk gegooid, want slechts een klein deel van de initiatieven wordt in productie genomen. De schattingen variëren van 10-15%.

De 7 valkuilen

Succesverhalen over Big Data Analytics

In een rap tempo duiken er steeds meer succesverhalen op over big data & analytics. Die verhalen blijven ook in de media niet langer onopgemerkt. Dat de brandweer Amsterdam met big data branden voorkomt heeft al het NOS Achtuurjournaal en de BBC weten te halen. Dat de politie Amsterdam boeven kan vangen voordat zij een misdaad begaan, gaf hen recht op een podiumplaats bij ‘De Slimste organisatie van Nederland’.

6 Voordelen van big dataFiguur 4: Dit zijn enkele van de voordelen van Big Data-analyse vereenvoudigd

Dat de stad Dublin haar verkeersstromen optimaliseert met big data, is een lichtend voorbeeld voor alle publieke instellingen. Die begrijpen nu beter dat je de dienstverlening naar de burgers sterk kunt verbeteren. Kortom: deze succesverhalen laten overtuigend zien dat Big Data Predictive Analytics het verschil kan maken tussen domme en slimme organisaties. Tussen de verliezers en de winnaars.

Ook een slimme, datagedreven organisatie worden?

Neem dan gerust contact met ons op voor een oriënterend gesprek met een van onze big data-specialisten. We helpen je graag verder om jouw organisatie datagedreven te laten werken. Wij maken een succes van jouw Big Data-analytics toepassingen.

Over Passionned Group

Logo Passionned Group, de specialist in Big Data AnalysesPassionned Group is dé specialist in het ontwerpen en implementeren van innovatieve big data oplossingen. Onze gedreven consultants helpen bedrijven en overheden bij de kanteling naar een intelligente, datagedreven organisatie. Om het jaar organiseren wij de Dutch BI & Data Science Award™, de verkiezing van de Slimste organisatie van Nederland.

neem contact met ons op

Veelgestelde vragen

Wat is Big Data?
Big data zijn gegevensverzamelingen of datasets die te groot, te complex en te ongestructureerd zijn om te analyseren met reguliere (SQL) databasemanagementsystemen. Dikwijls gaat het om grote hoeveelheden ongestructureerde data.
Wat is een reguliere dataset?
Een reguliere dataset is een verzameling van gegevens, die meestal wordt gepresenteerd in tabelvorm. Elke kolom vertegenwoordigt een bepaalde variabele. De dataset representeert dan een verzameling rijen, elk voor één entiteit. Een dataset kan big data worden genoemd op het moment dat het om triljoenen rijen gaat.
Wat is een databron?
Een databron is een verwijzing naar de daadwerkelijke vindplaats van data. Elke dataset bevat één of meer databronnen.
Waar staan de 5 V's van big data voor?
Volume, Velocity, Variëteit, Veracity en Value. Dit zijn de vijf kenmerken waaraan je big data kunt herkennen.
Wat is Big Data analytics?
Big Data analytics is het vakgebied dat big data op een efficiënte manier opslaat, verwerkt, modelleert en analyseert.
Welke typen big data kun je onderscheiden?
Documenten (e-mails, offertes, beleidsnota's en tekstbestanden), foto's, video's, geluidsfragmenten, sensorische of machine data, RFID tags en logfiles.
Hoe kun je de datakwaliteit meten?
De kwaliteit van je data kun je beoordelen aan de hand van een aantal criteria zoals volledigheid, accuratesse, uniciteit, validiteit, tijdigheid en consistentie.
Wat betekent zero data?
Zero data is data die niet als zodanig wordt opgeslagen maar die je met behulp van technieken zoals inferentie toch kunt achterhalen.
Wat zijn de belangrijkste bigdataplatforms?
Het bekendste bigdataplatform is Hadoop. Daarnaast zijn Apache Spark, Apache Cassandra, MongoDB, Apache Kafka, Microsoft Azure HDInsight, Google Cloud BigQuery, Elastic MapReduce van Amazon, Cloudera en IBM InfoSphere BigInsights populair. Raadpleeg voor een vergelijking van de verschillende bigdataplatforms de BI & Analytics Guide 2023.
Wat is het verschil tussen big data en open data?
Big data verwijst naar de enorme hoeveelheid data die in bedrijven wordt verzameld, verwerkt en geanalyseerd om waardevolle inzichten te verkrijgen. Open data is overheidsinformatie die vrij beschikbaar is voor het publiek, zonder beperkingen op toegang of gebruik, waardoor iedere burger of organisatie deze data kan raadplegen, hergebruiken en delen.
Hoe kan ik mij beschermen tegen misbruik van big data?
Een belangrijke Europese wetgeving die bescherming biedt tegen misbruik van data is de Algemene Verordening Gegevensbescherming (AVG), ook wel General Data Protection Regulation (GDPR) genoemd. De AVG geldt sinds 25 mei 2018 en heeft tot doel de privacy en gegevensbescherming van burgers binnen de Europese Unie te waarborgen.

Onze Big Data experts

» Bekijk alle experts

Bekijk het handboek voor Big Data, BI en Artificial Intelligence

Productafbeelding van het Big Data boek 'De intelligente, datagedreven organisatie'

Dit vind je misschien ook interessant

Uitgelichte afbeelding Oracle BI & Analytics
Oracle BI & Analytics
Uitgelichte afbeelding SAP BI & Analytics
SAP BI & Analytics
Uitgelichte afbeelding TIBCO BI & Analytics
TIBCO BI & Analytics

Deze organisaties gingen je voor

Word nu ook klant

Wil je ook klant bij ons worden? Wij helpen je maar wat graag verder met Big Data analyses, AI & datagedreven werken of andere zaken waar je slimmer van wordt.

Foto Daan van Beek - Auteur van het Big Data boek: De intelligente, datagedreven organisatieDAAN VAN BEEK MScAuteur van het Big Data boek: De intelligente, datagedreven organisatie

Neem contact met mij op

Fact sheet

___
klanten
___
trainingen & workshops
___
mensen opgeleid
4,4
sterren klanttevredenheid
___
consultants & docenten
3
kantoren
19
jaar ervaring

Big Data Analytics opleiding

In drie intensieve dagen word je klaargestoomd om direct binnen jouw organisatie aan de slag te gaan met big data & predictive analytics. Wanneer je onze Big Data training hebt gevolgd, ben je uitstekend in staat om een big data traject op te starten en vervolgens stap voor stap succes te boeken met geavanceerde big data analyses.

naar de opleiding