Az adatelemzés az elmúlt 20 évben többször is átalakult, voltak sikeres és kevésbé sikeres alkalmazásai az üzleti életben. Sikeres történetek egyike a prediktív modellek megjelenése. És ez nem is csoda, hiszen mióta az ember öntudatra ébredt, és érzékeli az idő múlását, azóta foglalkoztatja a jövővel kapcsolatos kérdések. Filozófusok évszázadok óta vitatkoznak azon, hogy a jövőbeli események mennyire láthatók előre, és ezáltal az emberi élet mennyire sorsszerű, mennyire létezik szabad akarat? Úgy tűnik, az adattudósokat kevésbé foglalkoztatják ilyen filozófiai mélységű kérdések, elmélkedés helyett kifejlesztettek olyan módszereket, melyek segítségével előrejelzések készíthetők a jövőre vonatkozóan (nevezzük ezeket prediktív modelleknek). A kérdés már csak az, hogy létezik-e üzletileg értelmes alkalmazása ezeknek az előrejelzéseknek?
Hogyan tudunk prediktív modelleket készíteni?
Napjainkban az adatelemzési algoritmusokat leginkább a következő 3 csoportba szokás osztani:
- supervised learning (felügyelt tanulás)
- unsupervised learning (nem felügyelt tanulás)
- semi-supervised learning algoritmusok (félig-felügyelt tanulás)
A prediktív modellezéshez felügyelt tanulási algoritmusokat használunk. Ezeknek lényege röviden a következő:
Van egy mintánk, ahol az egyedeket fel tudjuk osztani (az egyszerűség kedvéért) két osztályba: feketékre és fehérekre. Ezt szokás tanító adatbázisnak is nevezni. A felügyelt tanulás nem jelent mást, mint olyan egyedi jellemzők megtalálása, melyek vagy a fekete vagy a fehér osztályra jellemzőek elsődlegesen. Vegyünk egy nagyon egyszerű példát.
Egy biztosítóhoz beérkező károkat két osztályba soroljuk:
- fehér – nem volt csalási kísérlet az adott káresetnél,
- fekete – volt csalási kísérlet.
A felügyelt tanítás során olyan tulajdonságokat keresünk, ami vagy az egyik vagy a másik osztályra jellemző. A lenti táblázat szerint az 5M Ft feletti kárösszeg esetén a legnagyobb a csalás valószínűsége, a kárösszeg csökkenésével csökken a csalás valószínűsége is (a példa nem valódi adatok alapján készült).
Rengeteg felügyelt tanuló algoritmus létezik (logisztikus regresszió, döntési fák, gradient boosting algoritmusok, stb), melyek detektálják ezeket az osztály jellemzőket, majd egy komplex szabályrendszert alkotnak ezek alapján. Az eredményül kapott szabályrendszereket nevezzük modelleknek.
Nézzünk néhány példát, hogy milyen üzleti problémákra alkalmazzák ezeket az algoritmusokat:
A fentiek közül van olyan eset, amikor a felügyelt tanuló algoritmus eredménye egy prediktív modell (első eset – a modell lényegileg az ügyfél elvándorlási valószínűségét számolja ki), és vannak olyan esetek, amikor erről szó sincs. Vegyük eszre, hogy a csalás vagy spam detektálás valójában egy múltbeli eseményt vagy objektumot osztályoz. Ezeket a modelleket éppen ezért inkább „detektív” modelleknek szoktam nevezni, ahol a cél egy már megtörtént dolog (esemény, objektum) osztályzása. Tapasztalatom szerint minél jobb detektívek vagyunk, annál több üzleti hasznot tudunk hozni.
De ugyanez igaz-e a prediktív modellekre? Igaz-e, hogy minél pontosabb az előrejelzés, annál nagyobb üzleti hasznot tudunk elérni?
Először is tisztázzuk, hogy mit is csinál valójában egy prediktív modell. A prediktív modell egy jövőbeli esemény valószínűségét számolja ki. Ezt mindig fontos tisztázni az üzleti felhasználókkal. A jövőbeli valószínűség kiszámolása nem egyenlő a jövő előrejelzésével.
Ügyfél elvándorlás előrejelzése példájánál maradva: ha 150.000 ügyfele van a cégnek, akkor 150.000 esemény valószínűségét számolja ki a modell – kiszámolja minden egyes ügyfél elvándorlási valószínűségét. Ennek megfelelően az „előrejelzés” valójában a következő:
Egy ügyfélről tehát továbbra se tudjuk, hogy elmegy vagy marad, csak azt hogy az elvándorlási valószínűsége mennyire magas. Az látható, hogy az ID150000 ügyfél elvándorlási valószínűsége extrém magas (14,71%), de még esetében is jóval nagyobb az esélye a maradásnak, mint az elvándorlásnak. Ha így nézzük, a modell használhatatlan, mert gyakorlatilag minden ügyfélre azt mondja, hogy inkább marad.
Gyakorlatban azonban a cégek mégis alkalmazzák a fentihez hasonló prediktív modelleket. Egy lehetséges alkalmazása a modellnek, hogy az ügyfeleket decilisekbe osztjuk az elvándorlási valószínűségük alapján. Az első decilisbe kerül azon 15.000 ügyfél, akiknek a legnagyobb az elvándorlási valószínűsége, majd hasonlóan képezzük a többi 9 decilist csökkenő elvándorlás valószínűség alapján. Tegyük fel, hogy 2 modellünk van – a következő ábra a két modell deciliseinek átlagos elvándorlási rátáját mutatja.
A teljes sokaságon belül 2,41%-os az átlagos elvándorlási ráta
Ha üzleti döntéshozó lennék, akkor a második modellt választanám számos ok miatt:
- A második modell által kiszámolt elvándorlási valószínűség sokkal jobban korrelál a valódi elvándorlással, mint az első modell. Erre sokszor a jobban differenciál kifejezést szoktuk használni.
- A második modell emellett sokkal jobban alkalmas ügyfélmegtartási kampányok targetálására. A második modell decilis1-be eső ügyfelek átlagos elvándorlási rátája 11,2%, míg ez első modellnél ez a ráta csak 4,6%.
Nagyjából ez az a pont, ahol a projektek többsége lezárásra kerül. Mindenki elégedett, hisz valamilyen formában sikerült a jövőt előrejelezni: ha ügyfél szinten nem is tudjuk megmondani ki fog elmenni, de ki tudjuk jelölni az ügyfeleknek azon részhalmazát, akik körében a várható elvándorlás lényegesen magasabb a sokasághoz képest.
Tényleg előrejelezhető a jövő?
Mint a bevezetőben említettem, a filozófusokat évszázadok óta foglalkoztatja az a kérdés, hogy a jövő ismerete lehetséges vagy sem. Vagy másképp megfogalmazva a jövő determinisztikus vagy megváltoztatható? Egy előre kijelölt sorsot követünk vagy létezik szabad akarat?
Tegyük fel, hogy a Mátrixban szereplő Neohoz hasonlóan két bogyót vehetünk be: ha a kék bogyót bevesszük, akkor látjuk a jövőt, ha a pirosat, akkor nem. A kérdés az, hogy megváltoztatható-e a jövő, ha a kéket választjuk? És akkor mi fog történni?
A kék bogyók mi esetünkben a prediktív modellek, az általánosan elfogadott álláspont pedig az, hogy a kék bogyó választásával megváltoztatható a jövő. A fenti példánál maradva: ha tudom hogy kik mennek el, akkor lehetőségem nyílik ennek megváltoztatására (azaz meggyőzhetem őket a maradásra). Ez nyilván igaz. Mármint az, hogy ha ügyfeleket felhívunk, hogy maradjanak (mondjuk kapnak valamilyen kedvezményt), akkor nagyobb eséllyel maradnak, mintha nem csinálnánk semmit. De ez igaz lehet bárkire – azaz valószínűleg minden decilisben csökkenthető az elvándorlási ráta. A kérdés csak az, hogy van-e eltérés a decilisek között? Jobban csökkenthető az elvándorlás esélye a decilis1-ben mint a decilis10-ben? A megfelelő üzleti döntéshez tehát azt kellene látnunk, hogy melyik decilisben csökkenthető legjobban az elvándorlási ráta?
A fenti grafikon azt mutatja, hogy a megkeresések hatására hogyan csökkenthető az elvándorlás foka egy-egy decilisen belül. Tudjuk, hogy az első decilisben 11,2% a várható elvándorlási ráta, ha nem csinálunk semmit (piros bogyó), de ez lecsökkenthető 9,1%-ra, ha megkeressük őket (kék bogyó). Azonban az is látható, hogy a kék bogyó bevitele mindenhol csökkenti az elvándorlási valószínűséget. Ami miatt a prediktív modelleket alkalmazzuk a gyakorlatban, hogy a fenti ábrához hasonló módon képzeljük el a kék bogyó hatását, azaz hogy a decilis1-ben tudjuk legjobban csökkenti az elvándorlást.
DE EZ CSAK HIPOTÉZIS!
Amiben biztosak lehetünk a fenti prediktív modell esetében, hogyha nem csinálunk SEMMIT (piros bogyó), akkor a decilis1-ben lesz a legmagasabb az elvándorlási ráta. A modell azonban semmit nem tud mondani arra vonatkozóan, hogyha bevesszük a kék bogyót, akkor mi történik. Lehet hogy a decilis1-ben csökken legjobban az elvándorlás, de lehet hogy nem. Ez már egy „másik jövő”, erre a másik jövőre nem tud semmit sem mondani az eredeti prediktív modell!
Akkor felejtsük el a prediktív modelleket?
Nyilván nem. Nagy valószínűséggel a kék bogyó hatása intenzívebb a decilis1-ben, mint a decilis10-ben. Azonban ezt mérni kell. Kiderülhet, hogy nem a decilis1-ben csökkenthető legjobban az elvándorlás, egyszerűen azért, mert itt a teljesen frusztrált ügyfelek vannak, akik már nem megtarthatók. Vagy az is lehet, hogy egy részük megtartható, de nem éri meg, mert minimális forgalmat bonyolítanak. Sok-sok kérdés - ami viszont már egy másik történet.