Vraagvoorspelling: model of expert, wie weet het beter?

Hebben experts afgedaan? Volstaan wiskundige modellen en blijf je er beter af? Of kan je de nauwkeurigheid van modelvoorspellingen verbeteren door ze te combineren met menselijke beoordelingen of inschattingen (‘judgemental forecasts’)? Vragen waarop nog geen eenduidig antwoord bestaat. Ann Vereecke, professor in Operations en Supply Chain Management, Karlien Vanderheyden, professor in Organisational Behaviour, en Philippe Baecke, professor in Marketing Analytics, laten hun licht schijnen over wat we al wel weten en in welke richting het onderzoek zal worden voortgezet.

Het belang van goede forecasts – prognoses of voorspellingen – van de vraag kan moeilijk overschat worden. Zonder zo’n vraagvoorspelling weet een bedrijf niet wat het waar of wanneer moet aankopen, maken of leveren. Vroeger waren die prognoses gebaseerd op ervaring of buikgevoel van experts. Gaandeweg deden statistische modellen hun intrede. Vandaag beschikken bedrijven over steeds meer en betere gegevens. Big data en analytics zijn meer dan zomaar hypes en het arsenaal aan tools, technieken en modellen om patronen te herkennen en voorspellingen te maken, wordt alsmaar performanter.

Maar modellen kunnen niet alles voorspellen. “Modellen gebruiken gegevens uit het verleden en die zijn niet altijd zomaar te extrapoleren naar de toekomst, zelfs niet met gesofisticeerde modellen”, zegt Ann. “Er zijn factoren die niet af te leiden zijn uit de beschikbare gegevens die ervoor zorgen dat de toekomst anders zal zijn dan het verleden. En daarom zullen we steeds modellen moeten combineren met andere informatie, bijvoorbeeld uit gesprekken met klanten, of inzichten over hoe een bepaald product of ontwerp zou kunnen aanslaan in de markt.”

Broken leg cues

Karlien knikt: “Mensen kunnen, in tegenstelling tot modellen, rekening houden met wat we in jargon ‘broken leg cues’ noemen. Als je elke donderdagavond naar de bioskoop gaat, maar je breekt donderdagmiddag je been, dan zal een regressiemodel voorspellen dat je ook die avond naar de bioskoop zult gaan. Iemand die weet dat je je been gebroken hebt, zal – terecht – voorspellen dat je dit keer niet zult gaan. Zo hebben we onlangs onderzoek gedaan voor een bedrijf dat tijdschriften verdeelt. Hun model voorspelt nauwkeurig hoeveel magazines er elke week in de rekken moeten liggen, maar als er een gratis muziek-cd wordt meegeleverd, is het model minder accuraat. Dan kan een expert – op basis van die specifieke cd – beter inschatten hoeveel extra magazines er nodig zijn.”

“Zuivere statistische modellen kunnen moeilijk rekening houden met onverwachte gebeurtenissen, instabiele omgevingsfactoren of ontbrekende gegevens. De modellen zouden te complex worden”, legt Philippe uit. “Precies daarin ligt de toegevoegde waarde van ‘judgemental forecasts’. Experts kunnen de context interpreteren en rekening houden met veranderingen. Hoe ingewikkelder en volatieler de omgeving, des te groter de toegevoegde waarde van expertbeoordelingen kan zijn.”

Beter iets doen dan niets doen?

Mensen, en ook experts, zijn helaas niet onfeilbaar. Tot dusver werd er nog maar weinig veldonderzoek gedaan, maar uit experimentele studies met studenten en onderzoek van o.a. Goodwin, kunnen we volgens Karlien al wel een en ander afleiden: “Mensen hebben de neiging om in een willekeurige reeks gegevens patronen te zien, ook al zijn die er niet. Ze zijn ook vaak te optimistisch en zullen vraagvoorspellingen eerder naar boven bijstellen. Mensen overschatten het belang van hun eigen oordeel en gaan de uitkomst van een model dan aanpassen om te laten zien dat ze wel degelijk een bijdrage kunnen leveren. Uit onderzoek blijkt echter dat meestal kleine aanpassingen worden gemaakt, terwijl grote aanpassingen beter zijn omdat daaraan doorgaans een weloverwogen redenering ten grondslag ligt, terwijl kleine aanpassingen meestal worden gemaakt ‘om toch maar iets te doen’.”

De juiste motivatie

Iedereen is het erover eens dat de motivatie voor eventuele aanpassingen een van de grote problemen is. Ann verduidelijkt met een voorbeeld: “Sales en Operations zitten vaak niet op dezelfde golflengte. Als Sales wordt beloond op basis van het verkochte volume, dan zal die afdeling de vraag overschatten opdat Operations voldoende zou produceren zodat Sales kan leveren. Maar als Operations dan wordt beoordeeld op basis van de voorraad, zal die afdeling op haar beurt geneigd zijn om juist zo weinig mogelijk voorraad aan te leggen. Wordt de salesafdeling daarentegen beloond als de vraagvoorspelling wordt overschreden, dan zal ze de vraag systematisch onderschatten. Maar Operations baseert zich op die onderschatting en zal dan niet kunnen voldoen aan de reële vraag. Dat leidt dus tot conflicten. Als je mensen vraagvoorspellingen laat aanpassen, moet je goed weten hoe het incentivesysteem werkt.”

“De nauwkeurigheid van voorspellingen zou veel meer als KPI voor bonussen en incentives moeten worden gebruikt,” vindt Philippe, “maar zo’n systeem zie je nog niet vaak.”

Enkele tips

Verder veldonderzoek moet uitwijzen wanneer aanvullende input van experts een toegevoegde waarde heeft, welke de valkuilen zijn en hoe een en ander het beste wordt aangepakt.

Vooruitlopend op de resultaten van dat onderzoek, willen we toch al enkele tips meegeven:

  • Laat aanpassingen aan modelvoorspellingen steeds gebeuren door een groep van experts en gebruik het gemiddelde van hun aanpassingen. Houd wel rekening met de groepsdynamiek als je de aanpassingen laat maken tijdens een vergadering.
  • Vraag om elke aanpassing toe te lichten, te motiveren.
  • Geef feedback. Vergelijk de voorspelling van het model en de voorspelling na de aanpassingen door experts met de reële vraag.
Ontdek hoe je ook jouw forecasts kunt verbeteren

Elk bedrijf heeft belang bij een zo nauwkeurig mogelijke vraagvoorspelling: hoe nauwkeuriger de voorspelling, des te beter de leverbetrouwbaarheid.

Ons onlangs opgerichte Forecasting Research Centre brengt bedrijven uit verschillende sectoren samen met een multidisciplinair team van onderzoekers, geleid door Ann, Karlien, Philippe en Professor Marc Buelens. Marc heeft een jarenlange ervaring en deskundigheid op het gebied van ‘executive decision-making’.

In een eerste fase zal een ‘maturity assessment model’ worden ontwikkeld dat in kaart brengt hoe ver de leden van het onderzoekscentrum zelf staan. Zo’n model geeft een inzicht in de kwaliteit van hun forecastingproces en wat nog kan verbeteren. In een tweede fase zal worden onderzocht (1) wanneer ‘judgemental forecasting’ nuttig is, (2) wat de impact is van incentivesystemen, het motiveren van aanpassingen en feedback, (3) hoe het forecastingproces het beste kan worden geïmplementeerd en (4) op welke manier expertbeoordelingen kunnen worden ingebouwd in modellen.

Een van de onderzoekers nauw betrokken bij het Centre is Shari De Baets. In november is zij gestart met een doctoraal onderzoek over ‘judgemental forecasting’.

Lid worden van het onderzoekscentrum kan nog steeds. Interesse? Aarzel dan niet om ons te contacteren. 

 

 

Gerelateerd nieuws

  1. Operationele uitmuntendheid begint hier

    Datum: 18-09-2015
    Categorie: Nieuws over onderzoek
    “Zo resultaatgericht en doeltreffend mogelijk werken, dat is de essentie van operationele uitmuntendheid”, zegt Tom Van Steendam, research associate bij Vlerick. “Het eigenlijke plan van aanpak hangt af van uw strategische ambities.” Onze Operational Excellence Assessment Tool brengt de huidige operationele mogelijkheden van uw bedrijf in kaart en doet nuttige aanbevelingen voor verdere verbetering, op maat van uw strategie.
  2. Is uw vraagvoorspellingsproces geoptimaliseerd?

    Datum: 14-09-2015
    Categorie: Nieuws over onderzoek
    Hoewel statistische voorspellingsmodellen steeds ingenieuzer worden en software om het voorspellingsproces te ondersteunen makkelijk verkrijgbaar is, heeft onderzoek aangetoond dat vraagvoorspellingen slechts in 25% van de gevallen uitsluitend gebaseerd zijn op statistische modellen. In 75% van de gevallen steunen ze op menselijke inschattingen (25%), een statistisch model aangepast door de voorspeller(s) (33%) of een combinatie van statistische voorspellingen en menselijke inschattingen (17%). Menselijke beoordelingen spelen dus een belangrijke rol. Maar welke impact hebben ze op de nauwkeurigheid van voorspellingen? Tot nog toe is op dat gebied nog maar weinig empirisch onderzoek verricht. Het Vlerick Forecasting Research Centre wil deze leemte invullen.
Alle artikels