Boek/AartEtAl

BigData4Apps: Van Linked (Open Big) Data naar Contextualized Little Data

 

Auteurs

Chris van Aart (2CoolMonkeys)

Reind van Olst (2CoolMonkeys)

Michiel van Dijk (2CoolMonkeys)

 

Samenvatting

Dit artikel beschrijft ervaringen met het BigData4Apps platform: een platform dat in staat is om van (semi)gestructureerde data, mobile data te maken. Begin 2013 zijn er honderden Nederlandse data bronnen publiek beschikbaar en via App wedstrijden zijn er diverse App concepten bekend. Veel van deze apps maken gebruik van een of een aantal geïsoleerde (open)data bronnen. Met de belofte: is you build it, they will come (uit de film Field of Dream) zijn diverse dataregisters opgericht; waarbij you de data aanbieder is en they derde partijen zijn, de app bouwers die uit data waarde kunnen creëren. De derde partijen worden op dit moment geconfronteerd met gefragmenteerde en niet-gecontextualiseerde databronnen. Er kan pas waarde toegevoegd worden als de bronnen geharmonieerd, verrijkt en gecontextualiseerd zijn. App bouwers willen niet geconfronteerd worden met complexe datamodellen, vreemde opslagformaten en onbetrouwbare webservices, maar juist beschikking hebben over app componenten. Uit diverse professionele app projecten is de BigData4Apps platform ontstaan: een combinatie van gedistribueerde data-, semantic web-, agent-, geo- en mobiele technologie.

 

Inleiding

We leven in een tijd waarin transparantie van de overheid meer en meer de norm wordt. Steeds meer overheidsinstanties komen voor keuzes te staan: welke data maken we openbaar? Wat kan de burger ermee? En hoe kunnen we er voordeel uit behalen?

 

Open data hebben enorme potentie. Als ze op de juiste wijze ingezet worden, kunnen ze economische groei en ontwikkeling van de maatschappij stimuleren.

Data worden optimaal benut wanneer zij op maat worden geïmplementeerd. Mobiele applicaties, ofwel apps, zijn het ultieme middel om open data op een gerichte en gedoseerde wijze te verspreiden. Apps kunnen eenvoudig gevonden worden in app stores en op het moment dat een app op een toestel van een gebruiker staat, komt het open data gebruik tot leven. De grote uitdaging is: hoe maak je van al die heterogene grote databronnen een goede app?

 

BigData4Apps eco-systeem

In BigData4Apps kunnen data aanbieders, zoals overheden, hun data op diverse wijze publiceren. Dit kan via:

 

• platte tekst (zoals vraag en antwoord van Rijksoverheid.nl)
• tabellen (bijvoorbeeld statistiek van CBS Data)
• geodata (reisadvies van Buitenlandse zaken)
• topografisch informatie (de kadastrale kaart, BAG)
• procedurele kennis (welke stappen moet je doorlopen om een paspoort aan te vragen, gemeente Utrecht).

 

De technologie zet deze data om naar linked data en biedt deze vervolgens aan in een eenduidige component. In plaats van een webservice wordt aan de app bouwer een component in de vorm van bibliotheek aangeboden. De app bouwer hoeft zich niet druk te maken over connecties, protocollen, beveiliging, load balancing, etc. De communicatie tussen de app en de data wordt onderwater geregeld door de infrastructuur. De app bouwer kan zich bezig houden met het bouwen van functionele apps.

 

 

Het BigData4Apps eco-systeem bestaat uit vier onderdelen:

 

[opsomming getallen]

data-stekker

data-linker

query-agent

app-agent

 

De data-stekker koppelt met API's of leest data in via een centrale data repository. De data-linker verrijkt deze data met semantic web URI's en metadata. De query-agent leeft boven op de verrijkte data en onderhandelt met de app-agent, die op het target device leeft. De app-agent kent de taak van een gebruiker, bijvoorbeeld een archeoloog op zoek naar referentieopgravingen, een toerist op zoek naar een gerelateerd gebouw, een constructeur op zoek naar een leiding in de grond, een officier van dienst (brandweer) op zoek naar alle relevante gegevens van brandend pand, etc. De query-agent verzorgt in een compact en gecontextualiseerd formaat de gegevens naar de app-agent. De app-agent onderhandelt vervolgens met de app-software welke gegevens te tonen en te laten verwerken.

 

Apps zijn booming

Apps zijn ideaal om big/open data gedoseerd en gericht te verspreiden én ze zijn gigantisch populair. Uit cijfers blijkt dat smartphone-eigenaren ongeveer negen apps per maand downloaden, waarvan twee betaalde. iPod-bezitters downloaden zelfs zo’n twaalf apps per maand. In 2015 zal de wereldwijde app-omzet ruim 38 miljard dollar zijn. Er kan dus een groot publiek bereikt worden via apps.

 

Voorbeeld 1: De overheid in de broekzak van de burger

Overheidsinstanties kunnen mobiele applicaties gebruiken als extra service. Denk aan een app die de brandweer vliegensvlug inzage geeft in plattegronden van gebouwen. Of een variant die toeristen informeert over veiligheid in verschillende landen. Een ander voorbeeld is de bomenspotter (http://bit.ly/13O7gk7): deze app laat alle 180.000 bomen die door de gemeente Utrecht beheerd worden in een mobiele app. Naast het tonen van de bomen op een kaart, is elke boom verrijkt met een Wikipedia-pagina voor achtergrondinformatie.

 

 

Figuur 2: Voorbeeld toepassing BigData4Apps: gemeente Utrecht

 

Voorbeeld 2: Open Huis app

De Open Huis app (http://bit.ly/11jEqZ6 en http://bit.ly/Wl2335) is de eerste mobiele BAG-Viewer. De dataset BAG (Basisregistratie Adressen en Gebouwen ) bevat alle bouwvlakken en adressen van Nederland. Het is gebaseerd op de gegevens van de Basisregistratie Adressen en Gebouwen (BAG). Gemeenten zijn bronhouders van de BAG. Zij zijn verantwoordelijk voor het opnemen van de gegevens in de BAG en voor de kwaliteit ervan. Alle gemeenten stellen gegevens over adressen en gebouwen centraal beschikbaar via de Landelijke Voorziening. De Datastekker van BigData4Apps communiceert met de Landelijke Voorziening. De data is vervolgens verrijkt met de wijk- en buurtkaart (CBS ). Deze toont de digitale geometrie van de grenzen van de buurten, wijken en gemeenten.

 

De app geeft statistische, demografische en basisgegevens over panden, ook de WOZ. De app wordt gebruikt door makelaars, huizenzoekers, marketeers, bouwbedrijven en zonnepaneel leggers.

 

Voorbeeld 3: Monumenten App

Samen met Gemeente Nijmegen, het NIOD en het Netwerkinstituut van de Vrije Universiteit is de monumenten app ontwikkeld. Deze app laat ruim 3500 monumenten (http://semanticweb.cs.vu.nl/verrijktkoninkrijk/home) in Nederland zien. De BigData4Apps omgeving heeft hier geo- en achtergrondinformatie gecombineerd. De monumenten zijn o.a. verrijkt met geo-data en Wikipedia pagina’s. Via een cube navigatie heeft de gebruiker vier vrijheidsgraden: van boven naar beneden selectie tussen stad; van links naar rechts, selectie tussen de monumenten.

­

 

Bij selectie van gemeente Nijmegen wordt een kaart getoond van Nijmegen, met diverse open data kaartlagen, waaronder een oude militaire kaart (1910) en bombardementen uit de Twee Wereldoorlog.

 

 

Voorbeeld 4: Testaccio app

Testaccio (http://it.wikipedia.org/wiki/Testaccio) is een wijk in Rome waarin de oudste vuilnisbelt van de wereld ligt. De Monte Testaccio (http://it.wikipedia.org/wiki/Monte_Testaccio) bestaat uit resten van 53 miljoen kruiken achtergelaten door de Romeinen. Naast de vuilnisbelt bevinden zich diverse archeologische en architectonische objecten in deze wijk. Om al deze objecten inzichtelijk te maken, is de Testaccio app (http://bit.ly/11KBf9u) ontwikkeld, in opdracht van Koninklijk Nederlands Instituut Rome, het Netwerkinstituut en het SpinLab van de Vrije Universiteit. In deze app zijn meer dan 300 kaarten, 500 foto’s en metadata verwerkt. Voorheen bevond deze data zich in bibliotheken. De BigData4Apps omgeving heeft hier geo- en achtergrondinformatie gecombineerd, zodat de data ook offline beschikbaar is. Nu kunnen studenten, architecten en archeologen deze data onder hun arm in het veld meenemen.

 

C6-picture6.jpg

 

Bottom line

Met de belofte: is you build it, they will come (uit de film Field of Dream, http://en.wikipedia.org/wiki/Field_of_Dreams), waarbij you de data aanbieder is en they zijn diverse dataregisters opgericht; waarbij you de data aanbieder is en they derde partijen zijn, de app bouwers die uit data waarde kunnen creëren. De derde partijen worden op dit moment geconfronteerd met gefragmenteerde en niet gecontextualiseerde databronnen. Er kan pas waarde toegevoegd worden als de bronnen beschikbaar, geharmonieerd, verrijkt en gecontextualiseerd zijn. Linked (open)data als concept en uitwisselingsformaat (RDF) is bij uitstek geschikt voor het uitwisselen van heterogene (open) data. Semantic web technologie, zoals SPARQL, is geschikt voor complexe data manipulatie. Daarboven op kunnen app eco systemen, zoals BigData4Apps toegevoegde waarde leveren om van Big Linked Data, simple apps te ondersteunen.

Weergave van een feit, begrip of aanwijzing, geschikt voor overdracht, interpretatie of verwerking door een persoon of apparaat

Zie ook Ongestructureerde data.

Zie ook bij Data formaten en Uitwisselingsformaten.

Zie ook bij gedistribueerde omgevingen en bij gedistribueerde toepassingen.

Een gemeente is een groep van woonkernen (dorpen, steden) met het bijbehorende gebied die samen worden bestuurd door een politiek apparaat

Als in Transportprotocollen.

Weergave van een feit, begrip of aanwijzing, geschikt voor overdracht, interpretatie of verwerking door een persoon of apparaat

Een application programming interface (API) is een verzameling definities op basis waarvan een computerprogramma kan communiceren met een ander programma of onderdeel (meestal in de vorm van bibliotheken). Vaak vormen API's de scheiding tussen verschillende lagen van abstractie, zodat applicaties op een hoog niveau van abstractie kunnen werken en het minder abstracte werk uitbesteden aan andere programma's. Hierdoor hoeft bijvoorbeeld een tekenprogramma niet te weten hoe het de printer moet aansturen, maar roept het daarvoor een gespecialiseerd stuk software aan in een bibliotheek, via een afdruk-API.

Een Uniform Resource Identifier (URI), is een internet-protocolelement, gebaseerd op eerdere voorstellen van Tim Berners-Lee. Het is een unieke benaming van een bron, een stuk informatie, data of dergelijke.

Weergave van een feit, begrip of aanwijzing, geschikt voor overdracht, interpretatie of verwerking door een persoon of apparaat

Een gemeente is een groep van woonkernen (dorpen, steden) met het bijbehorende gebied die samen worden bestuurd door een politiek apparaat

Een gemeente is een groep van woonkernen (dorpen, steden) met het bijbehorende gebied die samen worden bestuurd door een politiek apparaat

Een gemeente is een groep van woonkernen (dorpen, steden) met het bijbehorende gebied die samen worden bestuurd door een politiek apparaat

Resource Description Framework (RDF) is een standaardmodel voor gegevensuitwisseling op het web. RDF heeft functies die het samenvoegen van gegevens vergemakkelijken, zelfs als de onderliggende schema's verschillen, en het ondersteunt specifiek de evolutie van schema's in de loop van de tijd zonder dat alle gegevensgebruikers moeten worden gewijzigd.

Simple Protocol And RDF Query Language (SPARQL) is een RDF zoektaal (Query Language) - die gebruikt wordt om RDF-gebaseerde data te bevragen middels zoekopdrachten (Query).

Linked Data is een internettechnologie waarmee je gestructureerde gegevens op een uniforme manier kunt beschrijven, modelleren, opslaan, publiceren en onderling kunt koppelen via het internet met behulp van RDF-gebaseerde open standaarden en URI's (bijv. W3C-aanbevelingen en vocabulaires).