Hvordan ser et cloud-datalager ud?

Hvordan AI og big data kan reducere for tidlige fødsler Karen Roby lærte, hvordan Kentucky-baserede Lucina Health bruger AI til at afgøre, om en kvinde er i fare for en for tidlig fødsel.

Traditionelt indsamler et datavarehus alle de strukturerede data fra hele din virksomhed, så du kan integrere dem i en enkelt datamodel, køre analyser og få business intelligence - uanset om det er til udvikling af nye produkter eller markedsføring af eksisterende tjenester til kunder. Det kaldes tidligere 'big data', men alle virksomheder har nu store mængder data, der kommer fra kilder som f.eks. E-handelswebsteder, IoT-enheder og sensorer, så et moderne datavarehus skal håndtere strukturerede, ustrukturerede og streaming af data og tilbyde realtid analyse såvel som BI og rapportering.

Julia White, Azure corporate vice-president at Microsoft.

" data-credit="Image: Microsoft" rel="noopener noreferrer nofollow">

Julia White, Azure koncerndirektør hos Microsoft.

Billede: Microsoft

Virksomheder gør det i stigende grad i skyen for højere hastighed og lavere omkostninger. Flere og flere af disse data er muligvis allerede i skyen såvel som de tjenester, du vil bruge disse data med, påpeger Azure-koncerndirektør Julia White. "I stigende grad når data sidder i og flytter til skyen, hvad enten det er fra SaaS-applikationer eller applikationer, der bare flytter til skyen; de operationelle data er der, og kunderne spørger 'hvorfor skulle jeg tage mine operationelle data og fjerne dem fra sky til' -præmier bare for at gøre mine analyser? ' Det giver bare ikke mening. " (Der er stadig masser af data lokalt, og der vil være mere, når kantberegningen vokser, men mange kunder flytter nogle af eller alle disse data til skyen alligevel, siger White, afhængigt af overholdelsesproblemer.)

Hver virksomhed undersøger AI, "og de er meget hurtigt klar over, at analytics er grundlaget for det, " bemærker White. "De begynder at spørge 'hvad er status for min analyse og mit datalager?', Og det er ofte ikke godt nok."

Populariteten af ​​Power BI skubber også flere Microsoft-kunder til skyanalyse. "Når de har fået disse kraftige datavisualiseringer, begynder de at stille spørgsmålstegn ved deres analysefunktioner - 'Jeg vil vide, hvad der foregår bag min datavisualisering: Jeg elsker Power BI, og jeg ville ønske, at mine analyser var mere interessante', " siger White.

Mere sofistikerede kunder søger at analysere deres egne Office Graph-data (som du kan kopiere til Azure Data Lake ved hjælp af Azure Data Factory) eller drage fordel af Open Data Initiative (ODI) mellem Microsoft, Adobe og SAP (som er bygget på Azure Data) Lake og vil til sidst integrere data fra mange flere softwareleverandører). "Azure Data Lake er meget tæt koblet med Azure Data Warehouse, og kunderne bruger Azure Data Warehouse for at få mere indsigt og bygge det moderne datavarehus ovenpå, " siger White.

Hvilken datatjeneste?

Microsoft har en række skytjenester, som alle ligner lidt et datavarehus, hvor det mest indlysende er Azure SQL Data Warehouse eller 'DW', som Microsoft ofte kalder det), men der er også Azure Data Factory, Azure Data Lake, Azure Databricks, Power BI og Azure Machine Learning plus flere pakkerede tjenester som AI salgsværktøjer i Dynamics 365.

Måden at give mening af dem er at se ikke kun på de værktøjer, de tilbyder, men også hvilke brugere, de betjener, og hvordan de arbejder sammen. Det skyldes, at de data, en virksomhed har, ofte er fragmenteret på tværs af flere datalagre, og det første trin med at oprette et moderne datavarehus er at integrere alle disse siloer. Jo flere af disse forskellige datalagre, der er på Azure, jo lettere bliver forbindelserne - hvilket er en af ​​grundene til, at Microsoft tilbyder så mange forskellige datatjenester. Den anden, siger White, er, at kunder ikke er på udkig efter et enkelt værktøj, der kan gøre alt: "Der er et sæt nuancerede valg, og du vil virkelig vælge og vælge og optimere det, du bruger til dine egne scenarier. "

Mere om Windows

  • Sådan bruges God Mode i Windows 10
  • Windows 10 PowerToys: Et snyderi
  • Microsofts største flopper i årtiet
  • 10 tricks og tweaks til tilpasning af Windows 10 (gratis PDF)

Azure DW er til dataingeniører, der arbejder med kuraterede data. Det kan være data fra en SQL Server-database, men det kan også være data, der stammer fra en pipeline bygget af disse dataingeniører, der bruger Databricks eller Spark og .NET til at forberede data fra en kilde som Azure HDInsight.

Azure Data Factory er en anden service til dataingeniører, der udfører indtagelse af data, transformation og orkestrering. Tænk på det som et cloud-skala ETL-værktøj, som du kan bruge gennem et træk-og-slip-interface (under dækkene, det er faktisk Logic Apps) eller med Python, Java eller .NET SDK, hvis du foretrækker at skrive kode for at gøre datatransformationen og styre de forskellige trin i datapipeline gennem Databricks eller HDInsight, til Azure Data Lake eller ud til Power BI.

Power BI kan også udføre datatransformation ved hjælp af Dataflows (også kodefri), men det er beregnet til at være en selvbetjeningsfunktion for forretningsanalytikere. Dataingeniører eller BI-analytikere på fuld tid kan muligvis gøre de semantiske modeller, som forretningsbrugere arbejder med, og Microsoft tilføjer mere integration med Azure DW til Power BI.

Power BI-brugere kan tilføje AI til deres visualiseringer og rapporter. Noget af det bruger muligvis Microsofts forudbyggede kognitive tjenester til ting som billedgenkendelse og følelsesanalyse. Men de bruger muligvis også brugerdefinerede AI-modeller, som dataingeniører har bygget til dem i Azure Machine Learning-tjenesten, ved at bruge alle de virksomhedsdata.

A modern data warehouse brings together data at any scale, delivering insights via analytical dashboards, operational reports, or advanced analytics.

" data-credit="Image: Microsoft" rel="noopener noreferrer nofollow">

Et moderne datavarehus samler data i enhver skala og leverer indsigt via analytiske dashboards, driftsrapporter eller avanceret analyse.

Billede: Microsoft

Et lager nær søen

Kompleksiteten af ​​disse scenarier er, hvorfor linjen mellem datalager og datasøer begynder at se lidt mudret ud i skyen. Et traditionelt datalager giver dig mulighed for at tage data fra flere kilder og bruge ETL-transformation til at placere disse data i et enkelt skema og en enkelt datamodel i software, der er designet til at besvare spørgsmål, du planlægger at stille igen og igen.

Disse kilder behøver ikke at være strukturerede, relationelle data: PolyBase- og JSON-understøttelsen i SQL Server og Azure DW betyder, at du kan forbinde data fra ikke-relationelle butikker som HDFS, Cosmos DB, MySQL og MongoDB samt Oracle, Teradata og PostgreSQL. Det betyder, at et datalager (eller endda en SQL Server) kan ligne mere på en datasø.

Datasøer giver dig mulighed for at tage flere datalagre, både strukturerede og ustrukturerede, indtage dem og gemme dem i enten deres oprindelige format eller noget tæt på det format, så du har flere datamodeller og flere dataskemaer og fleksibiliteten til at stille nye spørgsmål fra samme data. (SQL-varianten, der bruges til Azure Data Lake-forespørgsler, kaldes U-SQL, ikke kun fordi det er den næste version efter T-SQL, men fordi du muligvis har brug for en U-båd til at gå ned i din datasø og finde ud af, hvad der er skjult i de grise dybder.)

Når du har et spørgsmål, du vil stille gentagne gange (som salgsanalyse eller overvåge leveringstider til et instrumentbræt), kan du oprette et datavarehus fra de relevante datadele. Men hvis spørgsmålet ændrer sig over tid, eller du har brug for at stille nye spørgsmål, kan du gå tilbage til datasøen, hvor du opbevarer de originale data og opretter et andet datalager for at besvare disse spørgsmål.

Kombinationen af ​​de to er, hvad Microsoft mener med en moderne datalagerinfrastruktur. Du kan tage alle slags data fra forskellige steder, arbejde med dem i datasøen til ting som realtidsanalyse eller bruge maskinlæring til at opdage mønstre, der fortæller dig, hvilken indsigt du kan få fra dataene og kombinere dem med det velkendte datalagerværktøjer til at besvare disse spørgsmål effektivt.

Microsoft har ikke en enkelt tjeneste til alt det. Du kan gøre forskellige dele af det med de forskellige Azure-tjenester, hvilket betyder, at du kan vælge og vælge de dele, du har brug for. Men det betyder også, at du skal have dataekspertise for at opbygge dit eget specifikke system.

Microsoft ugentlig nyhedsbrev

Vær din virksomheds Microsoft-insider ved hjælp af disse Windows- og Office-tutorials og vores eksperters analyser af Microsofts virksomhedsprodukter. Leveres mandage og onsdage

Tilmeld dig i dag

Mere om Power BI og Microsoft

  • Power BI og Azure som fremtiden for virksomhedsanalyse (TechRepublic)
  • Microsofts Power BI Premium leverer funktioner i enterprise-grade og bulk-rabatter (ZDNet)
  • Opkøb af Datazen kunne bringe Microsoft Power BI til iOS og Android (TechRepublic)
  • Opbygning af en bank, der kan overraske og glæde med Power BI (TechRepublic Resource Library)
  • Opret datavisualisering og analyse med Google Fusion Tables (TechRepublic)
  • Microsoft Office 365: Vejledning til smart person (TechRepublic)

© Copyright 2020 | mobilegn.com