Cases
Financieel: Koersinformatie
Een bedrijf biedt een website waar men beleggingsfondsen dagelijks met elkaar kan vergelijken. Er is een zeer groot aanbod van beleggingsfondsen die worden aangeleverd door meerdere partijen. De leveranciers publiceren de actuele data altijd stipt op hun eigen websites, daarna wordt de data versterkt aan abonnementhouders. De aanlevering van data kent twee problemen:
1. Soms worden gegevens pas in de loop van de dag aangeleverd, dit schaadt de actualiteit en juistheid van de vergelijking op de website.
2. Iedere leverancier hanteert zijn eigen dataformaat en wijze van aanlevering, met als gevolg dat soms gegevens met de hand in de website moeten worden verwerkt.
Oplossing:
De benodigde data voor de vergelijkwebsite is aan het begin van de dag altijd beschikbaar op de websites van de leveranciers. Een web scraper / robot verzamelt iedere ochtend de actuele gegevens van de leverancierswebsite. De verzamelde gegevens worden in een vast gedefinieerd formaat opgeslagen en opgeschoond, zodat deze automatisch kunnen worden verwerkt in de vergelijkingssite.
Hiermee is de afhankelijkheid van de leveranciers sterk gereduceerd en zijn handmatige stappen uit het proces geëlimineerd. Daarnaast zijn de ontwikkelkosten aan de vergelijkingssite sterk afgenomen, omdat niet voor iedere leverancier een aparte invoer methodiek moet worden ontwikkeld en onderhouden.
Cases
Financieel: Koersinformatie
Een bedrijf biedt een website waar men beleggingsfondsen dagelijks met elkaar kan vergelijken. Er is een zeer groot aanbod van beleggingsfondsen die worden aangeleverd door meerdere partijen. De leveranciers publiceren de actuele data altijd stipt op hun eigen websites, daarna wordt de data versterkt aan abonnementhouders. De aanlevering van data kent twee problemen:
1. Soms worden gegevens pas in de loop van de dag aangeleverd, dit schaadt de actualiteit en juistheid van de vergelijking op de website.
2. Iedere leverancier hanteert zijn eigen dataformaat en wijze van aanlevering, met als gevolg dat soms gegevens met de hand in de website moeten worden verwerkt.
Oplossing:
De benodigde data voor de vergelijkwebsite is aan het begin van de dag altijd beschikbaar op de websites van de leveranciers. Een web scraper / robot verzamelt iedere ochtend de actuele gegevens van de leverancierswebsite. De verzamelde gegevens worden in een vast gedefinieerd formaat opgeslagen en opgeschoond, zodat deze automatisch kunnen worden verwerkt in de vergelijkingssite.
Hiermee is de afhankelijkheid van de leveranciers sterk gereduceerd en zijn handmatige stappen uit het proces geëlimineerd. Daarnaast zijn de ontwikkelkosten aan de vergelijkingssite sterk afgenomen, omdat niet voor iedere leverancier een aparte invoer methodiek moet worden ontwikkeld en onderhouden.