Dynaamisella lokianalytiikalla tuotannon häiriötilanteet minimiin

IT-järjestelmät tuottavat paljon erityyppisiä lokeja, joista on vaikea tunnistaa ongelmia ja trendejä. Tällöin myöskään tuotannon häiriötilanteita ei havaita. Dynaaminen lokianalytiikka reaaliaikaisessa valvontatyökalussa havaitsee nopeasti poikkeavat lokitukset ja mahdollistaa häiriöiden ennakoinnin.

Ongelmien tunnistaminen isosta lokimassasta

Suurin osa IT-järjestelmistä tuottaa suunnattomia määriä lokeja, joiden seuraaminen ja analysoiminen ihmisen voimin on mahdotonta. Haasteita tulee etenkin, kun hallinnassa on useita tietojärjestelmiä, joiden lokit ja niiden syntaksi eroavat järjestelmien välillä. Lokeja käytetäänkin useimmiten ongelmatilanteissa ongelman juurisyyn ja tarkan ajankohdan tunnistamiseen.

Lokien hyödyntämisen potentiaali on kuitenkin tätä suurempi, sillä ne pitävät sisällään arvokasta dataa järjestelmän tilasta ja toiminnasta ja tämän datan avulla ongelmatilanteita kyetään tunnistamaan koneoppimisen avulla ennen kuin ne realisoituvat. Haastattelimme IT-alan asiantuntijoita, jotka käyttävät Digia Iiris -palvelun lokienhallintaa. Haastatelluista jokainen oli sitä mieltä, että lokidatan perusteella kyettäisiin tunnistamaan konkreettisia ongelmatilanteita ennen kuin ne vaikuttavat merkittävästi järjestelmän toimintaan.

Ennakointia lokidatan avulla

Millaisia tilanteita lokidatasta sitten voi tunnistaa? Haastattelujemme perusteella pystyimme tunnistamaan palvelumme käyttäjille olennaisimpia esimerkkitilanteita:

Esimerkiksi brute force -hyökkäykset, joissa ulkopuolinen taho pyrkii pääsemään tietojärjestelmän sisälle useilla kirjautumisyrityksillä, tunnistetaan yleensä vasta kun ne ovat aiheuttaneet ylikuormitusta järjestelmälle. Saman tyylinen ongelma voi syntyä myös jos jonkin automatisoidun massa-ajon käyttämät tunnistautumistiedot ovat vanhentuneet ja riskinä on menettää arvokasta dataa. Nämä tilanteet halutaan saada mahdollisimman nopeasti järjestelmän ylläpitäjien tietoon, jotta mahdolliset tietoturvamurrot voidaan estää sekä järjestelmän tietokannan eheys ja täydellisyys voidaan ylläpitää.

Tietojärjestelmän virheellisen toiminnan korjaaminen, esimerkiksi viestijonojen pullonkaulat tai virheiden määrän kasvu, ei aina ole selvää järjestelmän ylläpitäjille. Esimerkiksi tilanteet, joissa yksi palvelinklusterin noodi alkaa tuottaa muista poikkeavaa lokidataa, viittaa usein tämän yhden noodin virheelliseen toimintaan ja tämä aiheuttaa ”oireilua” muualla järjestelmässä. Tällöin järjestelmän ylläpidon huomio keskittyy helposti näiden oireiden tutkimiseen ja korjaamiseen sen sijaan, että keskityttäisiin ongelman juurisyyn löytämiseen.

 Lue myös blogi: Liiketoimintaprosessien reaaliaikainen valvonta: tilannekuva avuksi arjen johtamiseen

Dynaaminen lokianalytiikka avuksi

Ratkaisu näihin ja moniin muihin tilanteisiin saadaan dynaamisella lokianalytiikalla. Dynaamisella lokianalytiikalla tarkoitetaan lokianalytiikkaa, joka tarkastelee jatkuvaa lokivirtaa ja analysoi sitä hetki hetkeltä. Jatkuvan analyyttisen ja koneoppivan prosessin avulla lokivirran anomaliat ja trendit pystytään huomaamaan hyvin lyhyillä vasteajoilla. Tämä mahdollistaa nopean reagoimisen ylläpitäjien huomiota vaativiin järjestelmän poikkeaviin tilanteisiin, kuten brute force -hyökkäyksiin ja epäonnistuneisiin massa-ajoihin.

Lokimassan nopeat muutokset voivat indikoida virheellisestä toiminnasta tietojärjestelmässä. Muutokset voivat koskea esimerkiksi lokimäärää, virheviestien määrää tai muusta lokimassasta poikkeavien lokiviestien määrää. Tehokkaalla ja dynaamisella lokianalytiikalla nämä virhetilaa indikoivat muutokset voidaan saada nopeasti järjestelmän ylläpidon tietoon ennen kuin ne aiheuttavat vakavia ongelmia koko järjestelmässä. Tällaisen lokianalytiikan avulla ongelman juurisyyn löytäminen on nopeampaa ja virhetilanteisiin voidaan puuttua ennen kuin koko järjestelmän tila vaarantuu.

Digia Iiriksen ratkaisu

Digia Iiris -valvontapalvelu kerää suuria määriä dataa sitä käyttävien tietojärjestelmien toiminnasta. Tämän datan jalostaminen ja analyyttinen hyödyntäminen todettiin yhdeksi tärkeimmäksi kehityskohteeksi Iiriksen 2021 kehityksen roadmapille. Ryhdyimme viime vuonna yhteistyössä Digian analytiikkayksikön kanssa pohtimaan, mitä potentiaalisia datan jalostamis- ja arvonluontimahdollisuuksia Iiriksen keräämällä datalla olisi. Haastattelimme myös palvelumme käyttäjiä operatiivisesta tasosta järjestelmän omistajiin saakka heidän lokienhallintansa haasteista ja tarpeista. Analytiikkaprojektin ja haastattelujen perusteella suunnittelimme ratkaisun, joka mahdollistaa lokimassasta erityyppisten lokiviestien ja lokiviestiklusterien helpon hahmottamisen ja anomalioiden tunnistuksen.

Lue myös blogi: Analytiikan Fast Track – Miten pääset alkuun datan ja analytiikan hyödyntämisessä

Ratkaisun avulla lokimassasta pystytään luomaan loogisia kokonaisuuksia reaaliajassa, tehden lokien tarkastelusta ja tutkimisesta selkeämpää ja tehokkaampaa. Tämän lisäksi reaaliaikainen lokiklusterointi mahdollistaa nopean anomalioiden tunnistuksen, jonka avulla järjestelmän virhetilanteisiin voidaan puuttua jo ennen kuin ne aiheuttavat suurempaa haittaa järjestelmässä. Samalla ratkaisulla voidaan seurata klusterien trendejä. Jos klusteroinnista löytyy jokin nuori, nopeasti kasvava klusteri, se viittaa johonkin uudenlaiseen tilanteeseen järjestelmässä ja tämä todennäköisesti myös kiinnostaa järjestelmän ylläpitäjiä. Ratkaisu mahdollistaa siis nopean reagoinnin järjestelmän poikkeustilanteisiin ja muutoksiin.