Hadoop. Sviluppare facilmente app che sono in grado di elaborare grandi quantità di dati
Scarica ora

Hadoop. Classifica e riepilogo

Hadoop. Tag

processi sviluppare elaboratore di dati Sviluppo del cluster grappolo Map Graduce Development.

Hadoop. Descrizione

Sviluppare facilmente app che sono in grado di elaborare grandi quantità di dati Hadoop è una piattaforma software che consente di scrivere facilmente ed eseguire applicazioni che elaborano grandi quantità di dati. Implementi di dati Mapreduce, utilizzando il file system distribuito Hadoop (HDFS). MapuDuce dividerà le tue applicazioni in molti piccoli blocchi di work.hdfs crea più repliche di blocchi di dati per affidabilità, posizionandoli su nodi di calcolo attorno al cluster. MapuDuce può quindi elaborare i dati in cui si trova ..HADOOP è stato dimostrato su cluster con nodi 2000. L'obiettivo di progettazione corrente è di 10.000 cluster per nodi. Ecco alcune caratteristiche chiave di "Hadoop": · Scalabile: Hadoop può archiviare in modo affidabile ed elaborare i petabyti. · Economico: distribuisce i dati e la lavorazione tra cluster di computer comunemente disponibili. Questi cluster possono numero nelle migliaia di nodi. · Efficiente: distribuendo i dati, Hadoop può elaborarlo in parallelo sui nodi in cui si trova i dati. Questo lo rende estremamente rapido. · Affidabile: Hadoop mantiene automaticamente più copie di dati e ridistribuisce automaticamente le attività di elaborazione basate su guasti. Cosa c'è di nuovo in questa versione: · Attività secondaria · - Rimuovere la dipendenza da Commons a Commons-CLI2 · Insetto · - Il collegamento API in Forrest Doc dovrebbe indicare la stessa versione di Hadoop. · - Hadoop FS -Help dovrebbe elencare informazioni sulla guida dettagliata per i seguenti comandi: test, testo, coda, stat e touchz · - documentare la configurazione di JobInitializationPoller nella documentazione per la documentazione della funzione Scheduler. · - Documenta la funzionalità di gestione della memoria del tasktracker e la pianificazione basata sulla memoria di CapacityScheduler. · - Ridurre i progressi dell'attività mostra> 100% quando la dimensione totale delle uscite della mappa (per un singolo riduttore) è elevata · - Bzip2CompressionOutputStream NullPointerException · - Quando la dimensione richiesta per un percorso è -1, localdiralocator.getLoCalPathFerWrite fallisce con un diskCheckerexception quando il disco seleziona è cattivo. · - La durata del recupero indicata sulla pagina Web di JobTracker è imprecisa · - o.a.h.mapred.merger non mantenendo la compressione della mappa fuori sui file intermedi · - il lavoro è lasciato nello stato di corsa dopo un killjob · - Possibile NPE nel memorymatcher di CapacityScheduler · - Le testquececapacities sta fallendo test Hudson per le ultime build · - Non è in grado di generare gridmix.jar sulla versione già compilata di hadoop · - TestruplicationPolicy. fallisce su java.net.bindexception. · - TestMRServerports fallisce su java.net.bindexception · - HFTPPILESYSTEM.GetCheckcksum (..) non funziona per i percorsi con schema e autorità · - org.apache.hadoop.mapreduce.Reducer non dovrebbe essere astratto. · - Cambia file Namenode Chiudi Registro per informazioni · - Lo scheduler di capacità non dovrebbe verificare la presenza della coda predefinita durante l'avviamento. · - I lavori non riusciti durante l'initalizzazione del lavoro non vengono mai rimossi dallo scheduler di capacità Elenco d'attesa · - Aggiorna la documentazione di capacità di capacità di apprendimento per riflettere le ultime modifiche · - Errori incontrati in mroputthread dopo che l'ultima mappa / riduzione della chiamata può andare inosservata · - La pipeline di scrittura DFS non rileva correttamente il dataNode difettoso in alcuni casi (Hadoop-3339) · - Utilizzare il percorso assoluto per Mapred.Local.dir di JobTracker in minimrcluster · - Mappa / Riduci non esegue lavori con 0 mappe · - Merared Metrics mostra il conteggio negativo delle mappe di attesa e dei riduci · - testqueuecapacitisues.apache.org/jjira/browse/hadoop-op-6017] - Namenode e secondarynamenode non riescono a riavviare a causa di nomi anormali. · - multipli bug con archivi di hadoop · - Messaggio di guida incompleto viene visualizzato per le opzioni RM e RMR. · - Hadoop 0.20 ramo "Test-Patch" è rotto · - Nessun messaggio di errore per l'eliminazione di file o directory non esistenti. · - Fix GenericPtionParser per affrontare -D con '=' nel valore · Miglioramento · - Rimuovere il pre-empore dalla base del codice della pianificazione della capacità · Nuova caratteristica · - nuovo formato file binario · - Metrica per mostrare il numero di chiamate fs.exists (o numero di getfileinfo) · - Gestione della spazzatura con quota

Hadoop. Software correlato