Háttér
Az adatbányászoknak szóló KDnuggets oldalon egy igen érdekes kérdést tettek fel a szakembereknek: "Egy adatbányász vajon felelősségre vonható-e az előrejelzéseiért?". Az apropót az a világszerte nagy vihart kavart ügy adta, amikor is 7 olasz tudóst letartóztattak azért, mert nem jelezték előre a több ember halálát okozó földrengést.
Kommentár
Jómagam végig követtem a szavazást, sőt kimondottan kíváncsi voltam az eredményre. Először nézzük magának a szavazásnak az eredményét:
- 45% szerint nem kell felelősséget vállalnia az elemzőnek az elemzéseiért
- 13% nem tudja
- 37% szerint, amennyiben a helyes előrejelzésnél extra jutalomban részesül az elemző, abban az esetben hibás előrejelzésnél ez visszafizettethető,
- 5% szerint akár büntetőjogi felelősségre vonás is jogos lehet.
Nézzünk néhány kommentet:
- Roy Kamimura: "Modellek nem tökéletes leírásai a valóságnak". A tudós kötelessége, hogy erre felhívja a figyelmet, és ezután nem vonható felelősségre.
- Sereg Blanc (előző gondolat egy másik aspektusból): "Egy modell önmagában nem jelent semmit, csak a hiba tagokkal együtt". És egy másik fontos gondolat: "a tudós a döntéshozónak segít meghozni a döntést, de a döntés mégiscsak a döntéshozóé!"
- Charlie Kufs: amikor mindenki felelősségre vonható (politikus, bíró, üzletember), akkor miért pont az elemző maradjon ki ebből.
Jól láthatóan tehát a szakmát igen jelentősen megosztotta ez a téma. Illetve szerintem talán nem is annyira. Itt egyszerűen az történt, hogy a kérdés önmagában nem volt elég egzakt, ennek megfelelően a válaszok valójában különböző kérdésekre reflektáltak. Akkor ezt próbáljuk kicsomózni!
A kommentelők egy jelentős része felhívta a figyelmet arra, hogy egy elemzés végén az eredménytermék valójában két dolgot takar: 1. magát a modellt, és 2. a modell hibatagját.
Az egyszerűség kedvéért vegyünk egy churn modellt. Az elemző bemutatja hogy a churn modell az esetek 80%-ban pontos lesz. Most ne menjünk bele abba, hogy ez pl. egy 20% churn ráta esetén egy teljesen értékelhetetlen modellt is jelenthet (hisz ha mindenkire azt mondjuk hogy marad, akkor pont 80%-os pontosságú a modell). Maradjunk abban, hogy ez üzletileg hasznos modell. Ez azonban azt jelenti, hogy az esetek 20%-ában biztosan tévesen jelez előre. Nyilván egy ilyen téves előrejelzésnél az adatbányász nem vonható felelősségre, hiszen az általa leszállított modell pontosan úgy működik, ahogy Ő előre megmondta (azaz hogy az esetek 20%-ában nem lesz pontos az előrejelzés). Sokan írták, hogy az elemző egyértelmű felelőssége abban áll, hogy elmagyarázza a megrendelőnek, hogy a modell milyen hibákat fog a jövőben elkövetni. Ha ez megtörtént, akkor tehát nem vonható felelősségre. Ez eddig tiszta.
Azonban volt egy érdekes válasz lehetőség, ami miatt megnőtt a felelősségre vonók aránya. Ez pedig a "jóban-rosszban" filozófiát követi. Ha az elemző sikerdíjas, akkor teljesítményromlás esetén igenis vállaljon anyagi felelősséget.
Abba hogy ezzel ki ért egyet vagy ki nem, most nem mennék bele. Inkább felhívnám a figyelmet arra, hogy ez a válasz egy újabb kérdést hoz be: a tudós/elemző felelősségre vonható-e, ha romlik a modelljének a teljesítménye. Lehet erre mondani, hogy ez megállapodás kérdése (azaz ha az elemző garantálta, hogy a modell teljesítménye hosszú ideig nem változik, akkor egy esetleges romlás fellépésekor akár felelősségre is vonható). Azonban én azt mondom, hogy ez megint inkább kommunikáció kérdése. Az elemzőnek el kell mondania, hogy a jelenlegi ismereteink szerint a modell ilyen pontossággal működik, és ha nem változik az üzleti környezet, akkor a modell várhatólag nem romlik. De erre garancia nem adható!
Mindent összefoglalva, én a következőt gondolom:
- ha az elemző módszertanilag helyes elemzést készített,
- a modellt és a hibatagokat korrekt módon elmagyarázza a megrendelőnek,
- a modellre nem vállal teljesíthetetlen garanciákat (mivel a modell teljesítményére nem lehet garanciát vállalni!),
nos ebben az esetben szerintem az elemző nem vonható felelősségre.
Még akkor sem, ha ezek után nem sikerült egy földrengést előrejeleznünk!