Datový sklad a. Umožňuje ukládání dokumentů v centrálním datovém skladu a jejich distribuci do navigačních přístrojů.
Datový sklad. Hlavní část datového skladu je provozována v databázi Microsoft SQL Server 2008 ve struktuře SDE geodatabáze. Geodatabáze obsahuje vektorová data a část rastrových dat. Některá rastrová data jsou uložena ve formě souborů ve svých zdrojových formátech.
Datový sklad. Primárním zdrojem dat pro datový sklad bude implementovaný pasportizační systém a stávající systémy uvedené v kapitole 2.4, bod (4). Datový sklad se bude skládat z jednotlivých vrstev:
Datový sklad. Open data Celkem realizace – 1. část
Datový sklad. V datovém skladu bude probíhat transformace dat ze Stage pomocí Azure Data Factory do dimenzionální struktury, umožňující jednoduchou analýzu a reporting.
Datový sklad. V datovém skladu budou data ze Stage transformována do dimenzionální struktury, umožňující jednoduchou analýzu a reporting. Data v dimenzionální struktuře budou organizována ve formě: • Dimenzí – tabulek s daty, podle kterých jsou analyzována čísla • Faktů – tabulek s čísly, která jsou analyzována • Můstků – tabulek obsahující složitější N:N vazby mezi dimenzemi a fakty, pokud takové vazby existují • Agregačních tabulek obsahujících předpočítané hodnoty pro zrychlení reportingu a analýzy dat. Datový sklad bude podporovat: • Historizační procesy. • Vytváření vlastních uživatelských reportů a analýz. Veškeré datové struktury budou pojmenovány a zdokumentovány v potřebné míře detailu. • Všechny komponenty datového skladu budou maximálně optimalizovány pro dosažení optimální výkonnosti a snížení zátěže zdrojových systémů. • V průběhu načítání dat budou vybraná data anonymizována s možností následného propojení s původními daty. • Uživatelé budou k datovému skladu přistupovat primárně prostřednictvím BI aplikací, které obsahují vlastní integrované zabezpečení. Přímý přístup uživatelů bude probíhat přes zabezpečenou vrstvu databázových pohledů. • Celý proces vývoje bude řízen metadatovým modelem, z něhož bude možné generovat kód na vytváření jednotlivých databázových objektů. Řešení bude umožňovat také automatické generování ETL pipeline a datasetů.
Datový sklad. V roce 2008 probíhal další rozvoj datového skladu na základě požadavků uživatelů. Byla prováděna pravidelná aktualizace a rozšíření všech tří složek datového skladu: o relační datové vrstvy, o multidimenzionální databázové vrstvy, o klientských nástrojů pro přístup k datovým zdrojům.
Datový sklad. Základním prvkem Řešení DWH/BI ŘSCP prostředí je datový sklad. Datový sklad naplněný relevantními daty. Datový sklad bude obsahovat vyčištěná, transformovaná, historizovaná, konzistentní, konsolidovaná data ve strukturách dle datového modelu, která jsou připravena pro využití při pokrývání informačních potřeb uživatelů. Datový model je pouze jeden, je definován byznys logikou dat a je zcela nezávislý na všech zdrojových systémech (tím se nepopírá fakt, že některá data mohou být z některých systémů nedostupná). Model datového skladu bude složen a naimplementován ze tří vrstev, tj. model bude vždy třívrstvý: L0 Stage: obsahuje aktuální snímek surových dat načtených ze zdrojových (provozních) systémů bez jakéhokoli čištění, transformací a kontroly integrity. Tato vrstva modelu není přístupná koncovým uživatelům (konzumentům výstupů). L1 Jádro: někdy nazývaná Core vrstva, je plněna na základě dat obsažených ve Stage vrstvě a obsahuje vyčištěná, transformovaná a sumarizovaná data uložená podle zvolených historizačních pravidel odpovídajících požadavkům business uživatelů. Tato vrstva modelu představuje souvislou logickou strukturu dle logického datového modelu. L2 Vrstva datamartů: vrstva modelu, která je postavena na základě logických struktur Jádra a umožňuje přístup k datům a informacím za použití business termínů. Model Sémantické vrstvy představuje business prezentaci datového modelu logických struktur. Tato vrstva modelu se skládá z jednotlivých datových tržišť (datamartů – DM), která obsahují data odpovídající konkrétním potřebám jednotlivých skupin business uživatelů. Tím se zároveň vymezují možnosti přístupu jednotlivých skupin uživatelů k případným citlivým datům. Požadavky na definici skupin jsou implementačními požadavky a budou předmětem analytické fáze projektu. Důvodem třívrstvého datového modelu je účel jednotlivých vrstev s ohledem na jejich správu, rozšiřitelnost, výkon a bezpečnost. Z pohledu použití Systému, licenčních a technických požadavků, vstupní a výstupní rozhraní na napojení těchto systémů je součástí nabídky uchazeče dle standardních licenčních podmínek výrobců standardního software. Podmínkou je, že rozhraní bude realizováno přes jeden ze vstupních kanálů, který je součástí tohoto dokumentu. Komponenta datového skladu bude pokryta SQL Server Database Engine. Vlastní datový model bude vytvořen v SAP PowerDesigner a následně bude nasazen do databáze datového skladu.
Datový sklad. (1) Primárním zdrojem dat pro datový sklad bude implementovaný pasportizační systém a stávající systémy uvedené v kapitole 2.4, bod (4).
(2) Datový sklad se bude skládat z jednotlivých vrstev:
(a) Relační vrstva L0 – „Stage“ (stg) slouží pro přesun dat z primárních datových zdrojů. Jednorázově bude využita také pro iniciální load (prvotní načtení historických dat). Pravidelná denní aktualizace pak bude obsahovat pouze ta data, u kterých lze předpokládat, že došlo k jejich aktualizaci na zdroji.
(b) Relační vrstva L1 „Konsolidovaná databáze“ (dwh) - základní relační vrstva, která plní především archivační funkci.
(c) Relační vrstva L2 „Datové tržiště“- jedná se o vrstvu, která slouží jako podklad pro analytickou úroveň datového skladu. Mezi vrstvou L1 a L2 bude docházet ke značné míře transformace dat. V principu tato vrstva obsahuje tabulky faktů a číselníky pro dimenze.
(d) Analytická databáze (multidimenzionální databáze, OLAP atp.) – data zde budou uložena v tzv. multidimenzionálních objektech, tzv. „datových kostkách“ (či na obdobně fungujícím způsobu ukládání dat). Role databáze tohoto typu je v tom, že umožňuje rychlou analýzu dat, tvorbu multidimenzionálních dotazů, různé pohledy na data, a především rapidní zrychlení jak analytické práce s daty, tak běžné rutinní práce např. s tabulkovým kalkulátorem. Tato vrstva je zdrojem pro „prezentační vrstvu“ a veškeré analytické nástroje v ní obsažené.
Datový sklad. IAM bude napojeno na datový sklad s následující funkcionalitou:
a) inicializační načtení dat
b) správa lokálních identit
c) správa oprávnění pro jednotlivé uživatele ve formě přiřazení skupin nebo rolí