Mitä on Dark data?

Dark data on kaikki se tuntematon data ympäri organisaatioita, jota ei osata hyödyntää. Siihen on vaikeata päästä käsiksi tai ei edes tiedetä, että sitä on olemassa. Lyhyesti se on mikä tahansa data, päivittäisen yritystoiminnan sivutuote, jota ei käytetä.

Dark datasta sanotaan, että se olisi yritysten arvokkain käyttämätön resurssi. Sitä on kutsuttu jopa uudeksi öljyksi tai uudeksi yritysvaluutaksi. Jopa puolet yritysten datasta on pimennossa, toisin sanoen täysin hyödyntämättä. On uskomatonta, kuinka noin arvokas yritykselle hyödyllinen voimavara jää huomiotta ja käyttämättä.

Koneoppimisen avulla tätä valtavaa määrää kaaosmaista dataa voidaan käsitellä järkevästi. Tätä toteuttavat organisaatiot pääsevät eturintamaan ja tulevat myös voittamaan.

Dark data pysyy pimennossa ilman koneoppimisen tarjoamaa apua

Kuinka tuoda tuo Dark data päivänvaloon? Tutkimuksessa yritysvaikuttajat ympäri maailmaa myöntävät haastatteluissa tuon datan arvon ja datanlukutaidon tärkeyden. Erityisen tärkeänä datanlukutaitoa ja koneoppimisen hyödyntämistä pidetään Kiinassa verrattuna yrityksiin muissa maissa. Kiinassa yritysten ylemmiltä johtajilta vaaditaan datataitoja ja sitä pidetään myös edellytyksenä uralla etenemiseen. Haastatteluissa käy ilmi yritysten tietoisuus siitä, että tuota dataa olisi hyödyllistä louhia, mutta heillä ei välttämättä ole työkaluja siihen tai edes tietoa mistä kaivaa.

Kun lusikka ei riitä, tarvitaan ämpäriä

Kun ihmisten äly ja käytössä olevat resurssit eivät riitä dark datan käsittelyyn, tarvitaan koneoppimista. Dark data on sille polttoainetta. Koneoppimisella voidaan hyödyntää Dark datan tarjoamat valtavat käyttämättömät resurssit. Vaikka koneoppiminen ei pärjää ihmisen päättelykyvylle ja luovuudelle, se pystyy prosessoimaan nopeasti valtavat määrät dataa eikä se väsy. Tämän jälkeen on ihmisen vuoro arvioida, mitä tehdä koneoppimisen löydöksille. Mitä enemmän koneelle annetaan analysoitavaksi dataa, sitä virheettömämpiä ja tarkempia sen tarjoamat kiteytykset ovat. Uusimmat koneoppimista hyödyntävät analyyttiset työkalut helpottavat dark datan analysointia, mikä on ollut mahdotonta nykyisillä menetelmillä.