8 Big Data trend per il 2017, da tenere sott’occhio

I dati sono il vero tesoro di questi anni, una nuova materia prima, ecco perché bisogna tenere sott’occhio i big data trend per il 2017. Saranno moltissime le opportunità per la data community nel corso del prossimo anno.

Ecco gli 8 Big Data Trend per il 2017

1. Sempre più data scientist inizieranno ad utilizzare il deep learning

Nel corso del 2016 abbiamo assistito a dei progressi importanti del deep learning (è stato uno dei principali Big Data trend del 2016) e il rilascio di nuovi strumenti ha reso il deep learning più semplice e immediato, di pari passo questi strumenti si sono integrati alle piattaforme big data. Ma il deep learning si rende indispensabile in moltissimi altri ambiti tra i quali vi ricordiamo: serie temporali e data event, rilevamento di anomalie, IoT e riconoscimento vocale.

2. Le competenze in data engineering saranno sempre più richieste

Nel 2012, la rivista Harvard Business Review ha eletto i data scientist come la categoria con il “lavoro più sexy del 21esimo secolo”. Nel 2017 ci si aspetta che la richiesta di data scientist accresca ulteriormente, ma la mancanza di talenti potrebbe essere arginata grazie agli ingegneri informatici. Le società sono alla ricerca di esperti di coding in grado di mettere mano ai sistemi di produzione, con la promessa di salari gratificanti.

3. Sempre più società utilizzeranno servizi gestiti nel cloud

Secondo una ricerca della O’Reilly nel momento in cui una società inizia ad avvalersi delle soluzioni offerte dai big data nel cloud, sarà propensa ad estenderne l’utilizzo in sempre più ambiti.
Le società hanno accesso a servizi gestiti di storage, elaborazione dati, visualizzazione, analitica e AI, opzioni sempre più popolari che fanno sì che i provider di questo tipo di servizi gestiti riescano a concentrarsi su problemi individuali e contestualizzati sulla base degli strumenti che mettono a disposizione di un’azienda. Questa operazione non è immediata e richiede una progettazione e realizzazione di applicazioni per il cloud.

4. Ma non tutto si muoverà verso il cloud pubblico

I sistemi legacy, i dati sensibili, la sicurezza, la conformità e i problemi di privacy richiederanno un mix di cloud, on-premise e applicazioni ibride. Ci saranno anche le applicazioni che utilizzano cloud provider specializzati o anche privati, come Predix per l’IoT industriale o Amazon Web Services CIA cloud. Le organizzazioni avranno bisogno di architetture strategiche che sappiano come sfruttare al meglio sia la dimensione di cloud privata e pubblica.

5. La democratizzazione dei dati: strumenti più semplici semplificheranno molti compiti

Nuovi strumenti di analitica self-service hanno semplificato lo svolgimento di numerosi compiti di analisi dei dati. Alcuni di questi non richiedono alcun tipo di programmazione, mentre altri strumenti rendono più semplice unire la programmazione, le visualizzazioni e i testi nello stesso flusso di lavoro. Ciò consente di impiegare in queste mansioni anche chi non è esperto in statistica nella supervisione dell’analisi dei dati, consentendo agli esperti di dati di potersi dedicare a compiti e progetti più complessi.
Microsoft Azure fa proprio questo, democratizza l’analitica avanzata, consentendo l’ingestione di flussi di dati su larga scala e accrescendo le competenze del machine learning.

6. La separazione tra calcolo e storage verrà accelerata

Il progetto AMPLab dell’Università di Berkeley – che si è concluso lo scorso novembre – che ha visto una partecipazione attiva dei team che lavorano ad Apache Spark e Alluxio, sono ben lungi dall’essere gli unici a evidenziare la separazione tra storage e di calcolo, un modello che sono sempre più a richiedere.

7. I “notebook” Big Data e i flussi di lavoro continueranno ad evolversi

Il servizio Jupyter è usato ampiamente dai data scientist perché offre un’architettura ricca di elementi che possono essere usati e riadattati per un’ampia gamma i problemi, incluso quello di pulizia dei dati e i trasformazione degli stessi, ma anche simulazioni numeriche, modelli statistici e machine learning. Risulta utilissimo per i team che si occupano di dati, perché consente di creare e condividere documenti che contengono programmazione live, equazioni, visualizzazioni e testi con spiegazioni. Connettendo Jupiter a Spark è possibile codificare Phyton con un’interfaccia semplificata rispetto a quella di Linux.

I professionisti dei dati si avvalgono di un’ampia varietà di strumenti. I notebook Beaker supportano molti linguaggi di programmazione e ci sono sempre più notebook che puntano alla community di Spark (Spark Notebook, Zeppelin di Apache e Cloud di Databricks). Ciò nonostante non tutti gli esperti di dati utilizzano un notebook, perché questi sono inadatti alla gestione di data pipeline complessi. Chi si occupa di dati preferisce avvalersi degli strumenti che utilizzano anche gli sviluppatori di software.

8. La community dei Big Data insisterà sulla tutela della privacy e del rispetto dell’etica

Con il divenire sempre più popolare del machine learning e fonti dei dati sempre più varie e gli algoritmi sempre più complessi, la trasparenza è sempre più difficile da tutelare. Un importante Big Data trend sarò conseguimento dell’equità, della trasparenza nelle applicazioni di dati, ma è un compito impegnativo più che mai. Nel corso 2017 ci si aspetta di vedere sempre più discussioni politiche per rispondere a queste preoccupazioni e una crescente consapevolezza per evitare risultati distorti, perché sempre di più la realtà sarà valutata in base ai dati che la rappresentano.