MDP. Toolkit modulare per la libreria di elaborazione dei dati
Scarica ora

MDP. Classifica e riepilogo

MDP. Tag

Libreria Python. Kit di strumenti modulare dati elaborazione dati Toolkit modulare.

MDP. Descrizione

Toolkit modulare per la libreria di elaborazione dei dati MDP (Toolkit modulare per l'elaborazione dei dati) è una libreria di algoritmi di elaborazione dei dati ampiamente utilizzati che possono essere combinati in base a un'analogia di pipeline per costruire un software di elaborazione dei dati più complesso. Dal punto di vista dell'utente, il MDP è costituito da una raccolta di algoritmi di apprendimento supervisionati e non furi e altre unità di elaborazione dati (nodi) che possono essere combinate in sequenze di elaborazione dati (flussi) e architetture di rete di avanzamento di avanzamento più complesse. Dato un insieme di dati di input, il MDP si prende cura di una formazione successiva o nell'esecuzione di tutti i nodi nella rete. Ciò consente all'utente di specificare algoritmi complessi come serie di passaggi di elaborazione dei dati più semplici in modo naturale. La base di algoritmi disponibili è costantemente aumentando e include, da nominare, ma la più comune analisi dei componenti principali (PCA e Nipali), diversi indipendenti Algoritmi di analisi dei componenti (Cubica, Fastica, TDSep, Jade e XSFA), analisi delle caratteristiche lente, classificatori gaussiani, macchina da Boltzmann limitata e incorporazioni localmente lineare. La cura lineare è stata presa per rendere i calcoli efficienti in termini di velocità e memoria. Per ridurre i requisiti di memoria, è possibile eseguire l'apprendimento utilizzando lotti di dati e definire i parametri interni dei nodi per essere singola precisione, il che rende possibile l'utilizzo di dati molto grandi. Inoltre, il subpackage 'parallelo' offre un'implementazione parallela dei nodi e dei flussi di base. Dal punto di vista dello sviluppatore, il MDP è un quadro che rende l'implementazione di nuovi algoritmi di apprendimento supervisionati e non supervisionati facili e semplici. La classe base, "nodo", si prende cura dei compiti noiosi come il controllo numerico del tipo e della dimensionalità, lasciando lo sviluppatore libero di concentrarsi sull'attuazione delle fasi di apprendimento ed esecuzione. A causa dell'interfaccia comune, il nodo si integra automaticamente con il resto della libreria e può essere utilizzato in una rete insieme ad altri nodi. Un nodo può avere più fasi di allenamento e persino un numero indeterminato di fasi. Ciò consente l'attuazione di algoritmi che necessitano di raccogliere alcune statistiche sull'intero input prima di procedere con la formazione effettiva e altri che devono integrare su una fase di formazione fino a quando non è soddisfatto un criterio di convergenza. La capacità di addestrare ogni fase usando i blocchi di dati di input viene mantenuto se i blocchi vengono generati con iteratori. Inoltre, il recupero di crash è disponibile opzionalmente: in caso di fallimento, lo stato attuale del flusso viene salvato per ispezione successiva. MDP è stato scritto nel contesto della ricerca teorica nelle neuroscienze, ma è stato progettato per essere utile in qualsiasi contesto dove Vengono utilizzati algoritmi per l'elaborazione dei dati addestrabili. La sua semplicità sul lato utente insieme alla riutilizzabilità dei nodi implementati rende anche uno strumento educativo valido. Requisiti: · Python. · Numpy. · Scipy. Cosa c'è di nuovo in questa versione: · 2009-06-30: Aggiunto rilevamento online di backend numerico, supporto parallelo Python, backend Symeig e backend numerico all'uscita dei test dell'unità. Dovrebbe aiutare nel debug. · 2009-06-12: integrazione dei nodi di taglio e istogramma. · 2009-06-12: corretto bug nel flusso parallelo (gestione delle eccezioni). · 2009-06-09: corretto bug nel llenode quando output_dim è un galleggiante. Grazie a Konrad Hinsen. · 2009-06-05: corretti bug in flusso parallelo per più scheduler. · 2009-06-05: fisso un bug in strato inverso, grazie ad Alberto Escalante. · 2009-04-29: aggiunto un linearregressire. · 2009-03-31: Pcanode non si lamenta più quando Covariacce Matrix ha eigenvalue negativo IFF SVD == Vero o Riduci == Vero. Se Output_Dim è stato specificato ha una varianza desiderata, gli eigenvalue negativi vengono ignorati. Messaggio di errore migliorato per SFanode In caso di eigenvalue negativi, ora suggeriamo di premere il nodo con un pcanode (svd = true) o pcanode (Riduci = true). · 2009-03-26: migrato dal vecchio pacchetto thread al nuovo threading. Aggiunta flag per disabilitare la memorizzazione nella cache nello scheduler del processo. Ci sono alcuni cambiamenti di rottura degli scheduler personalizzati (la formazione o l'esecuzione del flusso parallelo non è influenzata). · 2009-03-25: Supporto di tracciamento di revisione SVN aggiunto. · 2009-03-25: rimosso il flag COPY_CALLAbile per lo scheduler, questo è ora completamente sostituito dal biforcazione dei taskmantable. Questo non ha alcun effetto per la comoda interfaccia parallelflow, ma gli scheduler personalizzati si spezzano. · 2009-03-22: memorizzazione nella cache implementata nel processo di processo. · 2009-02-22: Make_parallel ora funziona completamente sul posto per salvare la memoria. · 2009-02-12: metodi di container aggiunti a Flownede. · 2009-03-03: Aggiunto Crosscovariancematrix con test. · 2009-02-03: aggiunto identitynode. · 2009-01-30: Aggiunta una funzione Helper in HINET per visualizzare direttamente una rappresentazione HTML di flusso. · 2009-01-22: Consentire output_dim nel livello di essere impostato pigramente. · 2008-12-23: aggiunto Total_variance al nodo dei NAPALS. · 2008-12-23: Sempre Sempre spiegato_variance e totale_varianza dopo l'allenamento in PCanode. · 2008-12-12: Modificato Symrand per restituire veramente le matrici simmetriche (e non solo positive definite). Adattato GaussianclassificENode per conto di quello. Adattato Symrand per restituire anche matrici eremiti complesse. · 2008-12-11: risolto un problema in PCanode (quando Output_Dim è stato impostato su Input_Dim La varianza totale è stata trattata come sconosciuta). Risolto il parametro VAR_PART in parallelpcanode. · 2008-12-11: Aggiunta funzione VAR_PART a PCANODE (filtro in base alla varianza relativa alla varianza AbSoUte). · 2008-12-04: ARG Asse mancante fisso nella chiamata Amax nel tutorial. Grazie a Samuel John! · 2008-12-04: fisso la gestione del iteratore dei dati vuoti in parallelcuow. Aggiunti anche i controlli iteratori vuoti nel flusso normale (solleva un'eccezione se il iteratore è vuoto). · 2008-11-19: nodi PCA e SFA modificati per verificare la presenza di eigenvalue negativi nelle matrici Cov · 2008-11-19: Symeig integrato in Scipiy, il MDP può usarlo da lì ora. · 2008-11-18: aggiunto parallelfdanode. · 2008-11-18: aggiornato il treno richiaci per Parallelflow per supportare argomenti aggiuntivi. · 2008-11-05: riscrittura del codice effettuatore parallelo, ora supporta strutture HINET. · 2008-11-03: riscrittura del creatore del ripetitore HINTET HTML. Sfortunatamente questo interrompe anche l'interfaccia pubblica, ma i cambiamenti sono piuttosto semplici. · 2008-10-29: chiudere gli avvertimenti provenienti da processi remoti in Processscheduler · 2008-10-27: problema fisso con sovrascrittura kwargs nel metodo Init di parallelclow. · 2008-10-24: Bug di nodi pretraines fisso in hinet.flowrowned. · 2008-10-20: Bug di importazione critica fissa nel pacchetto parallelo quando è installato PP (Parallel Python Library).

MDP. Software correlato