Maiale Un ambiente di programmazione DataFlow per l'elaborazione di file molto grandi
Scarica ora

Maiale Classifica e riepilogo

Maiale Tag

analizzare processi Ambiente di programmazione dataset. Dataset Analyzer. Processore del set di dati

Maiale Descrizione

Un ambiente di programmazione del dataflow per l'elaborazione di file molto grandi Pig è una piattaforma open source e gratuita per l'analisi di set di dati di grandi dimensioni costituito da un linguaggio di alto livello per esprimere programmi di analisi dei dati, accoppiati con infrastrutture per valutare questi programmi. La proprietà saliente dei programmi di suino è che la loro struttura è suscettibile di una sostanziale parallelizzazione, che a turno consente loro di gestire set di dati molto grandi. Nel tempo presente, il livello di infrastruttura di Pig's è composto da un compilatore che produce sequenze di programmi di mappa, per Quali implementazioni parallele su larga scala esistono già (ad esempio, il sottoprogetto Hadoop). Il livello del linguaggio di Pig è attualmente costituito da un linguaggio testuale chiamato maiale latino, che ha le seguenti proprietà chiave: · Facilità di programmazione. È banale ottenere esecuzione parallela di attività di analisi dei dati semplici "imbarazzantemente paralleli". Compite complesse composte da più trasformazioni di dati interrelate sono esplicitamente codificate come sequenze di flusso di dati, rendendole facili da scrivere, capire e mantenere. · Opportunità di ottimizzazione. Il modo in cui le attività sono codificate permette il sistema di ottimizzare automaticamente la loro esecuzione, consentendo all'utente di concentrarsi sulla semantica piuttosto che sull'efficienza. · Estensibilità. Gli utenti possono creare le proprie funzioni per eseguire un'elaborazione speciali. Requisiti: · Java 1.6.x o successiva · Ant. · Hadoop 0.18.x. Cosa c'è di nuovo in questa versione: · L'obiettivo principale di questa versione è il supporto multicologia che consente di ottimizzare più query all'interno dello stesso script che condividono un calcolo.

Maiale Software correlato