Richtlijnen gegevensuitwisseling
Richtlijnen gegevensuitwisseling
Dit document is van toepassing in de volgende twee situaties:
1. In het kader van de opdracht die u heeft verkregen kunt u gebruik maken van gegevens van de Provincie Utrecht. Dit document beschrijft hoe u deze kunt verkrijgen;
2. In het kader van de opdracht die u heeft verkregen van de provincie Utrecht gaat u data verzamelen en/of genereren/bewerken. Deze data dienen bij oplevering van de opdracht te worden geleverd aan de provincie. Volgens de algemene inkoopvoorwaarden van de Provincie Utrecht vindt gegevensuitwisseling altijd plaats in een door de provincie aan te wijzen bestandsformaat en verzendmethode. Voor de meest voorkomende, vaak uitgewisselde (gestructureerde) gegevens vindt u de richtlijnen hiervoor in dit document.
Wilt u afwijken van deze richtlijnen en/of heeft u andere vragen over de uitwisseling van gegevens dan kunt u contact opnemen met uw contactpersoon bij de Provincie Utrecht.
Algemene begrippen
• Provincie: Provincie Utrecht.
• Opdrachtnemer: Degene die zich jegens een opdrachtgever verbindt tot het verrichten van werkzaamheden ter uitvoering van een overeenkomst van opdracht.
• Opdrachtgever: Medewerker van de Provincie Utrecht die de opdracht heeft verstrekt aan Opdrachtnemer
• Data: gegevens. We maken in dit document onderscheid tussen geografische data (GIS) en niet-geografische data.
1. Gegevenslevering door Xxxxxxxxx
1.1 Provinciale Open Data
Opdrachtnemer kan (geografische) gegevens van Provincie downloaden via xxx-xxxxx.xxxxxxxxx-xxxxxxx.xx, xxx.xxxxxxxxxxxxxxxxxxxx.xx of xxxxx://xxxx.xxxxxxxx.xx/
Veel van onze Mobiliteitsdata zijn beschikbaar via xxxxx://xxx.xxx.xx/
1.2 Gegevens van derden
Provincie kan gegevens van andere instellingen, organisaties en bedrijven waarop de Provincie een gebruiksrecht heeft, slechts aan Opdrachtnemer uitleveren voor provinciale opdrachten. Provincie zal deze gegevens uitleveren als Opdrachtnemer een Gebruiksovereenkomst voor het tijdelijk gebruik van digitale gegevens en webapplicaties heeft getekend. Enkele gegevens dienen direct bij de bron opgevraagd te worden. Provincie geeft de opdrachtnemer bij de opdracht aan welke gegevens dit betreft.
1.3 Overige provinciale gegevens
Gegevens van de provincie, niet zijnde open data, kunnen in overleg met Provincie en na afstemming met Opdrachtgever op verzoek mogelijk aangeleverd worden.
1.4 Geleverde gegevens
Bij het leveren van gegevens kunt u van Provincie het volgende verwachten:
• De gegevens worden zonder kosten geleverd;
• Het converteren van bestanden naar andere dan hieronder genoemde bestandsformaten is de verantwoordelijkheid van Opdrachtnemer;
• Als gedurende de opdracht een nieuwe versie van geleverde gegevens beschikbaar komt, beslist Provincie in overleg met Opdrachtgever of deze nieuwe versie van de gegevens doorgevoerd zal worden en of de al vervaardigde producten op basis van deze nieuwe gegevens aangepast dienen te worden.
1.4a Specificaties gegevens1:
• Gegevens worden geleverd als xlsx of csv;
• Alle gegevens worden inclusief beschikbare meta-informatie geleverd. De meta-informatie is opgesteld conform het metadatamodel in xml-formaat.
1 Niet zijnde geografische gegevens, zoals tabellen en lijsten.
1.4b Specificaties geografische gegevens:
• Geografische gegevens worden geleverd als shape, gml, (ESRI) file geodatabase of geopackage;
• Alle geografische gegevens worden inclusief beschikbare meta informatie geleverd. De meta informatie is opgesteld conform ISO:19115 Nederlands Profiel in xml-formaat;
• Geografische gegevens worden uitgeleverd conform het Rijksdriehoekstelsel (RD New; EPSG 28992). De eenheden zijn in meters (x, y). Een eventuele verticale component (z) wordt uitgeleverd conform NAP (EPSG 5709). Gml-bestanden worden uitgeleverd conform WGS84 (EPSG 4326);
• Van veel geografische gegevens beschikt de provincie over legendabestanden (layerfiles (.layx)). Provincie kan deze op verzoek leveren.
2. Gegevenslevering aan Provincie
2.1 Reikwijdte richtlijnen voor teruglevering
Ter afsluiting van een (provinciale) opdracht dient Opdrachtnemer aan Xxxxxxxxx terug te leveren:
• alle in het kader van de opdracht opgestelde werkdocumenten, -rapporten en nota’s;
• alle (geografische) gegevens die door Opdrachtnemer voor de opdracht zijn vervaardigd of aangepast, conform de hieronder vermelde eisen bij paragrafen 2.2 en 2.3;
• meta-informatie bij alle (geografische) gegevens conform de eisen hieronder vermeld bij paragrafen 2.2 en 2.3;
• alle PowerBI dashboards die het resultaat zijn van de opdracht, conform de eisen vermeld bij paragraaf 2.4;
• alle gegevensvisualisaties die in werkdocumenten, rapporten en nota’s zijn gebruikt zoals tabellen en grafieken, conform de eisen vermeld bij paragraaf 2.5;
• alle kaarten (kaartbestanden) die door Opdrachtnemer zijn vervaardigd en onderdeel zijn van de voor de opdracht opgestelde werkdocumenten, -rapporten en nota’s, conform de eisen vermeld bij paragrafen 2.6 en 2.7;
• alle webapps of andere online toepassingen die het resultaat zijn van de opdracht, conform de eisen hieronder vermeld bij paragraaf 2.8;
• een methodologische toelichting met hierin minimaal een omschrijving van de gebruikte bronnen, de toegepaste analysemodellen, weegmethodes of algoritmen, en de operationalisering van (indien van toepassing) de onderzoekspopulatie of het onderzoeksgebied en samengestelde indicatoren.
Provincie en Opdrachtnemer stemmen de inhoud van de visualisaties onderling af. Visualisaties (inclusief bijbehorende (geografische) gegevens) dienen door Provincie altijd volledig gereproduceerd te kunnen worden met de door Provincie gebruikte software (ArcGIS, PowerBI, Python). Opdrachtnemer levert minimaal één versie in concept op, alvorens het eindproduct wordt opgeleverd.
2
Aan de terug te leveren gegevens worden de volgende eisen gesteld:
• spreadsheets in zowel csv- als xlsx-formaat, tenzij anders afgestemd;
• voorzien van een logische en begrijpelijke benamingen, die verwijzen naar de inhoud;
• beschrijving en overdracht van het datamodel dat is gebruikt met gelijke naam als het bijbehorende bestand;
• omschrijving van het databestand inclusief kwaliteitsbeschrijving, gebruik van bronbestanden met peildata en eventuele populatie-afbakening;
• indien van toepassing de methode van dataverzameling;
• bij toepassing van algoritmen of modellen een beschrijving hiervan;
• beschrijving van de variabelennamen in het bestand, inclusief eventuele operationalisering bij samengestelde of berekende variabelen;
• codeboek van de variabelen. Missing values worden bij voorkeur niet weergegeven als een lege cel;
• terugleveren van de data gebeurt op een met de opdrachtgever af te stemmen wijze (afhankelijk van privacy- gevoelige inhoud);
• alle gegevensbestanden dienen voorzien te zijn van meta-informatie conform het metadatamodel in xml-formaat. Provincie kan een template hiervoor beschikbaar stellen. De meta-informatie dient minimaal te bevatten:
o Naam van de provinciale opdracht
o Peildatum (actualiteit van de gegevens)
o Omschrijving / definitie van de gebruikte coderingen
o Beschrijving van de wijze waarop de gegevens tot stand zijn gekomen, inclusief verwijzing naar bronbestanden
2 Niet zijnde geografische gegevens, zoals ruwe verzamelde data, grafieken, tabellen en lijsten.
o Contactgegevens opdrachtnemer (inclusief e-mailadres)
2.3 Specifiek voor geografische gegevens geldt:
• Als shape, gml, (ESRI) file geodatabase of geopackage.
• voorzien van meta-informatie conform ISO:19115 Nederlands Profiel in xml-formaat. Provincie kan een template hiervoor beschikbaar stellen. De meta-informatie dient minimaal te bevatten:
o naam van de (provinciale) opdracht
o gebruikte gegevensmodel
o bij ontbreken van een gegevensmodel per attribuutveld een duidelijke omschrijving van wat in het betreffende attribuutveld is beschreven
o coördinatenstelsel (zie paragraaf d.)
o omschrijving / definitie van de gebruikte coderingen (als dit van toepassing is; zie paragraaf e.)
o beschrijving van de wijze waarop de geografische gegevens tot stand zijn gekomen, inclusief verwijzing naar bronbestanden
o peildatum (actualiteit van de gegevens)
o naam en contactgegevens van de opdrachtnemer, inclusief e-mailadres
• Conform het Rijksdriehoekstelsel (RD New; EPSG 28992). De eenheden zijn in meters (x, y). Een eventuele verticale component (z) conform NAP (EPSG 5709). Gml-bestanden conform WGS84 (EPSG 4326).
• In het attribuutveld naast de gebruikte codes van de verschillende objecten / elementen, tevens één omschrijving
/ definitie van deze code. Als er voor de gegevens een gegevensmodel bestaat (bijvoorbeeld IMRO, IMNAB of IMWA) dan dient dit gebruikt te worden. Afwijkingen worden slechts geaccepteerd als Opdrachtnemer voor aanvang van de opdracht toestemming heeft gekregen om van het bestaande gegevensmodel af te wijken, en dienen volledig gedocumenteerd te zijn.
• Digitaliseren dient te geschieden op basis van de TOP10NL, op een schaal van minimaal 1 : 10.000.
• De gegevens dienen topologisch correct te zijn. In bijlage A staan de standaard topologieregels beschreven waaraan gegevens dienen te voldoen. Omdat de topologieregels voor iedere opdracht kunnen verschillen kan Opdrachtnemer afwijkende regels overeenkomen met Provincie. Als uitzonderingen op de topologieregels worden overeengekomen, dient Opdrachtnemer de reden hiervan op te nemen in de meta-informatie.
• Het terug leveren van alle geografische gegevens en producten aan Provincie dient digitaal te geschieden via e- mail of file transfer. Hierbij dient duidelijk te worden aangegeven om welke opdracht en oplevering het exact gaat, inclusief naam en contactgegevens (inclusief e-mailadres) van Opdrachtnemer en Opdrachtgever.
2.4 Interactieve dashboards
Voor het maken en ontsluiten van interactieve dashboards maakt de provincie gebruik van PowerBI. We verwachten dat Opdrachtnemer interactieve dashboards ook in een PowerBI omgeving ontwikkelt, tenzij anders met Provincie wordt overeengekomen. Bij een oplevering dient:
• gebruik te worden gemaakt van de provinciale huisstijl;
• onderliggende data terug te worden geleverd conform de specificaties zoals genoemd onder paragraaf 2.2;
• een beschrijving van de gebruikte en gemaakte formules voor visualisaties en analyses mee te worden geleverd;
• een beschrijving te worden geleverd over transformaties/formules met daarin benoemd wat er is gewijzigd aan de data om deze werkende te krijgen in het interactieve dashboard;
• waar afwijkingen zijn van provincie-standaarden, een uitleg aangeleverd te worden.
2.5 Grafieken en tabellen
Voor het opleveren van tabellen en grafieken (ook als deze in een rapport zijn gebruikt) dient:
• iedere grafiek en tabel zelfstandig leesbaar te zijn, inclusief een bijschrift. In dit bijschrift staat het nummer van de tabel of grafiek, de titel en de overige informatie die nodig is om het te kunnen begrijpen.
• gebruik te worden gemaakt van de provinciale huisstijl;
• onderliggende data terug te worden geleverd conform de specificaties zoals genoemd onder paragraaf 2.2;
• een legenda of labels meegeleverd te worden;
• assen met eenheden benoemd te zijn.
2.6 Kaarten
Provincie en Opdrachtnemer stemmen de inhoud van de kaarten onderling af. Kaarten (inclusief bijbehorende geografische gegevens) dienen door Provincie altijd volledig gereproduceerd te kunnen worden met de door Provincie gebruikte software (ArcGIS). Opdrachtnemer levert minimaal één kaartversie in concept op, alvorens het eindproduct wordt opgeleverd.
Iedere digitale kaart (kaartbestand, bijvoorbeeld een aprx-bestand) dient voorzien te zijn van de kaartlagen (layers) die Provincie en Opdrachtnemer zijn overeengekomen. Provincie en Opdrachtnemer stemmen onderling af op welke schaalniveaus de kaartlagen worden gepresenteerd. De verwijzingen naar de gegevensbronnen dienen in een kaartbestand relatief te worden opgeslagen, zodat Provincie de digitale kaart op basis van de bijbehorende gegevens
probleemloos kan reproduceren. Van iedere kaart dient tevens een afbeelding terug geleverd te worden als pdf- bestand. De naam van de afbeelding dient gelijk te zijn aan de naam van de kaart.
2.7 Kaartlagen en legendabestanden
Alle kaartlagen (layers) dienen voorzien te zijn van een legendabestand (layerfile). De legendabestanden dienen dezelfde naam te hebben als de bijbehorende kaartlaag en het bijbehorende bestand. Als de kaartlagen zijn gecombineerd in een group layer, dient de group layerfile te worden terug geleverd. Als dezelfde gegevens op verschillende wijze gepresenteerd worden op de kaarten, dienen er evenzoveel legendabestanden terug geleverd te worden.
2.8 Webapps
Voor het maken en ontsluiten van webapps maakt de provincie gebruikt van een ArcGIS Online en ArcGIS Enterprise Portal omgeving. We verwachten dat Opdrachtnemer webapps ook in een ArcGIS omgeving ontwikkelt, tenzij anders met Provincie wordt overeengekomen. Bij een oplevering dienen:
• alle items die onderdeel uitmaken van de webapp te worden overgehaald naar de provinciale Online of Portal omgeving. Provincie stelt hiervoor tijdelijk een account ter beschikking aan de opdrachtnemer. Opdrachtnemer dient een werkende omgeving op te leveren;
• alle werkende aprx-bestanden aangeleverd te worden die gebruikt zijn om items aan te maken;
• alle data, naast in de Online/Portal omgeving, ook als los bestand (shape, gml, (ESRI) file geodatabase of geopackage) te worden geleverd;
• alle items en data te worden voorzien van een beschrijving. Bij items hanteren we hiervoor de standaard item beschrijving binnen Online/Portal. Voor data geldt dat meta-informatie moet worden geleverd conform de eisen vermeld bij paragraaf 2.2 en/of 2.3.
BIJLAGE A
Topologieregels polygonen
De volgende topologieregels zijn van toepassing op polygoon (polygon) feature classes:
• “must not overlap”
• “must not overlap with”
• “must not have gaps”, bij feature classes waarin de features aaneengesloten dienen te zijn.
Topologieregels lijnen
De volgende topologieregels zijn van toepassing op lijn (line) feature classes:
• “must not overlap”
• “must not intersect”
• “must not overlap with”
• “must not self-overlap”
• “must not self-intersect” (Aandachtspunten: 1. Is overlap toegestaan? 2. Moeten kruisende lijnen een gezamenlijk knooppunt hebben? 3. Dit kan alleen bepaald worden als de toepassing van de feature class bekend is).
Topologieregels punten
De volgende topologieregels zijn van toepassing op punt (point) feature classes:
• Topologieregels die controleren op dubbele punten in een feature class: slechts toepassen als de provincie aangeeft dat deze regel toegepast dient te worden.
• Topologieregels die controleren op topologierelaties tussen een punt feature class en een andere feature class (polygoon of lijn): slechts toepassen als de provincie aangeeft dat deze regel toegepast dient te worden.