Methodiek
Een project verloopt vaak in herkenbare stadia. Hieronder volgt onze algemene aanpak.
1. Brainstorm
Doel van de brainstorm is om de scope van het project te bepalen. Wij denken graag mee en geven u graag een idee welke kansen er voor u op internet aanwezig zijn. Daarbij kijken we naar de informatie die u zelf al heeft en naar uw bedrijfsproces. U heeft waarschijnlijk al ideeën over welke webbronnen er voor u interessant zouden kunnen zijn. We delen graag onze ideeën die binnen uw branche voor u zouden kunnen opleveren.
Vervolgens maken we een projectplan en leggen vast (1) welke webpagina's worden verzameld; (2) welke data er van de webpagina's wordt verzameld; (3) wat het formaat is van de outputdata en (4) met welke frequentie er verzameld dient te worden.
2. Bouw web robots
De bouw van de web robots / scrapers gebeurt door Digital Architects. De robot moet natuurlijk z'n werk doen en foutloos werken. Daarnaast zijn er een aantal andere vaste aandachtspunten. Websites kunnen veranderen en een robot moet daar zo goed mogelijk mee om kunnen gaan. We programmeren zodanig dat kleine websitewijzigingen zo min mogelijk van invloed zijn op de werking van de robot. Daarnaast brengen we standaard foutdetectiemechanismen aan, zodat de robot zelfstandig kan signaleren bij foutieve input. De websites waar de data vandaan komt moeten zo min mogelijk worden belast om hun normale werking niet te verstoren. Ook daarvoor hebben we standaard mechanismen om de data gefaseerd te laten binnendruppelen.
3. In productiename
Bij in productiename moet de klant een keus maken. Ga ik zelf de robots hosten (bijv. om te kunnen integreren met eigen datasystemen), of wordt de hosting overgelaten aan Digital Architects?
Als u zelf robots gaat hosten, kunt u het onderhoud van de web robots bij ons afkopen voor een vast bedrag per jaar. We leveren de robots af als standaard Windows executables. U kunt daar dan zelf mee aan de slag.
Wij kunnen ook het hele proces uit handen nemen (full service). In geval van full service spreken we af op welke manier en in welke vorm u data van ons ontvangt. Wij hosten de web robots en zorgen voor uitvoering van de robots op de door u gewenste frequentie. Dit is een automatisch proces, die wordt gemonitord op fouten. Mocht een robot falen, dan wordt deze zo snel mogelijk gerepareerd. U dient natuurlijk de geleverde data altijd zelf ook nog te checken en bij fouten ons op de hoogste te stellen. We kijken dan zo snel mogelijk wat er aan de hand is.
Methodiek
Een project verloopt vaak in herkenbare stadia. Hieronder volgt onze algemene aanpak.
1. Brainstorm
Doel van de brainstorm is om de scope van het project te bepalen. Wij denken graag mee en geven u graag een idee welke kansen er voor u op internet aanwezig zijn. Daarbij kijken we naar de informatie die u zelf al heeft en naar uw bedrijfsproces. U heeft waarschijnlijk al ideeën over welke webbronnen er voor u interessant zouden kunnen zijn. We delen graag onze ideeën die binnen uw branche voor u zouden kunnen opleveren.
Vervolgens maken we een projectplan en leggen vast (1) welke webpagina's worden verzameld; (2) welke data er van de webpagina's wordt verzameld; (3) wat het formaat is van de outputdata en (4) met welke frequentie er verzameld dient te worden.
2. Bouw web robots
De bouw van de web robots / scrapers gebeurt door Digital Architects. De robot moet natuurlijk z'n werk doen en foutloos werken. Daarnaast zijn er een aantal andere vaste aandachtspunten. Websites kunnen veranderen en een robot moet daar zo goed mogelijk mee om kunnen gaan. We programmeren zodanig dat kleine websitewijzigingen zo min mogelijk van invloed zijn op de werking van de robot. Daarnaast brengen we standaard foutdetectiemechanismen aan, zodat de robot zelfstandig kan signaleren bij foutieve input. De websites waar de data vandaan komt moeten zo min mogelijk worden belast om hun normale werking niet te verstoren. Ook daarvoor hebben we standaard mechanismen om de data gefaseerd te laten binnendruppelen.
3. In productiename
Bij in productiename moet de klant een keus maken. Ga ik zelf de robots hosten (bijv. om te kunnen integreren met eigen datasystemen), of wordt de hosting overgelaten aan Digital Architects?
Als u zelf robots gaat hosten, kunt u het onderhoud van de web robots bij ons afkopen voor een vast bedrag per jaar. We leveren de robots af als standaard Windows executables. U kunt daar dan zelf mee aan de slag.
Wij kunnen ook het hele proces uit handen nemen (full service). In geval van full service spreken we af op welke manier en in welke vorm u data van ons ontvangt. Wij hosten de web robots en zorgen voor uitvoering van de robots op de door u gewenste frequentie. Dit is een automatisch proces, die wordt gemonitord op fouten. Mocht een robot falen, dan wordt deze zo snel mogelijk gerepareerd. U dient natuurlijk de geleverde data altijd zelf ook nog te checken en bij fouten ons op de hoogste te stellen. We kijken dan zo snel mogelijk wat er aan de hand is.