Háttér
Az elmúlt hónapokban számos üzleti partnerünknél merült fel a sikerdíjazás ötlete, sőt számos tender már úgy lett kiírva, hogy a díj egy meghatározott része sikerdíjas lesz. A következő bejegyzés a sikerdíjas jelenséget vizsgálja meg.
Kommentár
Az adatbányászati projektek egyik legnagyobb előnye (vagy bizonyos szempontból hátránya) a többi BI projekthez képest, hogy a projekt eredménye viszonylag egyszerűen visszamérhető. Ez különösen a prediktív modellekre érvényes, így:
- churn (ügyfél elvándorlás) előrejlezése
- számla nem fizetés előrejelzése
- cég bedőlésének előrejelzése, stb.
Ilyen esetekben egy kontroll csoport esetében mérhető a modellek pontossága. Egy gyakori mérés: a modell szerint 5% (vagy 2, 3, 10,%) legmagasabb valószínűségű ügyfeleknél azt nézzük meg, hogy körükben mennyivel magasabb az előrejelzett esemény valószínűsége. Pl. egy churn előrejelzés esetében, ha a teljes sokaságon belül 1%-os a churn ráta, akkor a leválogatott ügyfélkörön belül (top5%) az elvárás az, hogy ez a ráta magasabb legyen. Ha a top5%-on belül a churn ráta 7%, akkor azt mondjuk hogy a LIFT értéke 7-es. Egy adatbányászati projekt célja nyilván nem lehet más, mint a minél magasabb LIFT érték elérése.
Mivel a prediktív modellezés viszonylag könnyen visszamérhető, így egyre több helyen várják el az adatbányászoktól, hogy a projekt díját két részre ossza:
- fix díj, amit az adatbányász mindenképpen megkap a projekt végén, illetve
- sikerdíj, amit csak akkor kap meg, ha egy előre bevállalt pontosságot (LIFT értéket) teljesíti a végső modell.
Első pillanatra semmi kivetnivaló nem található a sikerdíjas konstrukcióban, de hogy tisztábban lássuk a dolgok hátterét, vizsgáljuk meg a megrendelő és a beszállító (adatbányász) motivációit.
MEGRENDELŐK
Az hogy a sikerdíjas konstrukció kezd elterjedni, annak megrendelői oldalon két fő oka van. Egyik nyilvánvaló: a válság miatt jelentősen csökkent a cégek (bankok, biztosítók, telko cégek stb.) tanácsadói kerete, így megpróbálják a projektkockázatok minél nagyobb százalékát a szállítókra áthárítani. Először ez áralkukban nyilvánult meg (olcsóbban kérték ugyanazt a szolgáltatást), majd miután az árak megközelítették az önköltségi szintet, kitalálták a sikerdíjas konstrukciót.
A másik ok viszont bizonyos tekintetben kritikája az elmúlt évek adatbányászati projektjeinek. Gondolok itt arra, hogy gyakorlatilag minden cég túl van néhány "bukott" adatbányászati projekten. Jó lenne egyszer összeszámolni, hogy hány adatbányászati projekt volt az elmúlt 10 évben, és ebből mennyi modell működik még most is. (Mielőtt bárki azzal vádolna, hogy nyíltan kritizálom a többi adatbányász munkáját, gyorsan leszögezem, hogy ilyen tekintetben nekem is van számos "bukott" projektem.)
A modellek kukában landolása több okra vezethető vissza:
- a modell eleve nem került leprogramozásra (ez az esetek döntő többsége),
- le lett programozva, de egyik üzleti terület sem kezdte használni, és szép lassan elhalt az egész (igazából nem lett átgondolva a projekt során, hogy ki mire is fogja használni)
- le lett programozva, az üzleti terület használta is, de csalódást okoztak a számok (a projekt során mutatott LIFT értékek nem egyeztek a használatban tapasztalt LIFT értékekkel), és így az üzleti oldal egy idő már nem használta.
Ennek pedig egy logikus következménye, hogy a bankok, biztosítók, telko cégek egyre óvatosabbak, ha egy új prediktív modellt kell elkészíteni, és az (újabb) kudarcot úgy próbálják elkerülni, hogy sikerdíjassá tették/teszik a projekteket.
SZÁLLÍTÓK
A Megrendelői oldal azért tudta/tudja elérni a sikerdíjas konstrukciókat, mert sok adatbányász hajlandó ebbe belemenni. Az okok itt is változatosak. Egyrészt a válság miatt a tanácsadó cégek mozgástere igencsak leszűkült, sok olyan dolgot le kell nyelniük, amit a válság előtt nem. Ilyen a sikerdíjas konstrukció is. Másrészt sok tanácsadó a sikerdíjas konstrukciót "hiúsági" kérdésnek tekinti, egyben próbál a Megrendelői oldal felé egy olyan szakmai magabiztosságot sugározni, amivel elnyerheti a bizalmát és persze a "pénzét".
Andego álláspontja
Mi úgy gondoljuk hogy a sikerdíjas konstrukció egy teljesen rossz irány. Nézzük miért is.
1. Bizalmi válság. Amikor egy tanácsadót megkérdezik arról, hogy az adott feladatot mennyiért vállalja el, akkor a tanácsadó egy becslést ad arra vonatkozólag, hogy hány embernap alatt tudja megcsinálni a kitűzött feladatot, majd ezt beszorozza a napi díjaival. Ez az az összeg, ami fedi a költségeit (+ a hasznát). Ezért a Megrendelő elvárja, hogy a projekt ideje alatt a legjobb tudása szerint dolgozzon, és így a projekt végén a lehető legjobb eredményt szállítsa le. Igaz ez egy adattárházra, egy BI riportoló rendszerre, egy szoftverre vagy egy adatbányászati modellre. Amennyiben a Megrendelő megbízik az adatbányászban, akkor ez azt jelenti, hogy biztos lehet abban, hogy a projektre szánt erőforrások mellett a lehető legjobb modell jön ki a végén. Jómagam igen sok adatbányászt ismerek, de senkiről nem tudom elképzelni, hogy x nap alatt jobb modellt tudna elérni akkor, ha ezért több pénzt kapna. Ha így nézzük, a sikerdíjnak semmilyen hatása nem lesz az adatbányász munkájára.
2. Hogyan mérjünk? Tegyük fel, a sikerdíjas konstrukciót mégis el kell fogadni. Akkor is felmerül a "visszamérhetőség" kérdése. Az egyik legnagyobb gond itt nem is a bizalom, hanem a sikerkritériumok pontos megfogalmazása. Sok cég egy churn projekt során úgy szeretné meghatározni a sikerkritériumot, hogy "eddig 2% volt a churn rátánk, a projekt után megkapod a sikerdíjat, ha csak 1% lesz a churn ráta". Minden adatbányásznak jeleznie kell ilyenkor, hogy ilyen kritérium nem elfogadható számára. A részletekbe itt nem mennék bele, de azt látni kell, hogy a churn ráta egy jó churn modelltől még nem fog csökkenni, ehhez kell hozzá egy jól kialakított pro- és reaktív ügyfélmegtartási folyamat, aminek a kialakítása nem az adatbányászok feladata.
Zárás.
Az 50-es évekből Puskás Öcsinek tulajdonítják a következő mondatot, amikor egy elvesztett meccs után az okokra kérdeztek rá: "Kis pénz kis foci, nagy pénz nagy foci". Vegyük észre, hogy a sikerdíjas konstrukciók filozófiája éppen ez az elvet "szentesítené". Az Andego véleménye szerint azonban ez a hozzáállás nem jellemző az adatbányászokra, így a sikerdíjas konstrukciók valójában az ágazat jövedelmezőségét fogják csökkenteni, ami hosszabb távon a szakmai színvonal romlásával jár. És akkor a következő mondat lesz igaz: "Kis pénz kis foci, nagy pénz kis foci"!