Webgraph. Webgraph è un framework per studiare il grafico web.
Scarica ora

Webgraph. Classifica e riepilogo

Webgraph. Tag

struttura quadro web. studia studiare il grafico web grafico web WebGraph

Webgraph. Descrizione

Webgraph è un quadro per studiare il grafico web. Webgraph è un quadro per studiare il grafico web. Webgraph fornisce semplici modi per gestire grafici molto grandi, sfruttando le moderne tecniche di compressione. Più precisamente, è attualmente fatto di: 1. Una serie di codici piatti, chiamati codici, che sono particolarmente adatti per la memorizzazione di grafici web (o, in generale, numeri interi con distribuzione della legge sulla legge in una certa gamma esponente). Il fatto che questi codici funzionino bene possono essere facilmente testati empiricamente, ma cerchiamo anche di fornire un'analisi matematica dettagliata. 2. Algoritmi per la compressione dei grafici Web che sfruttano la compressione del gap e il rendimento (? La link), l'intervallizzazione e i codici per fornire un elevato rapporto di compressione: ad esempio, il grafico Webbase (crawl 2001) è compresso a 3.08 bit per collegamento e un'istantanea Di circa 18.500.000 pagine del dominio .uk raccolto da Ubicrawler è compresso a 2.22 bit per collegamento (le figure corrispondenti per i grafici trasposti sono 2.89 bit per collegamento e 1.98 bit per collegamento). Gli algoritmi sono controllati da diversi parametri, che forniscono diversi compromessi tra la velocità di accesso e il rapporto di compressione. 3. Algoritmi per accedere a un grafico compresso senza effettivamente decomprimerlo, utilizzando tecniche pigre che ritardano la decompressione fino a quando non è effettivamente necessaria. 4. Un'attuazione completa e documentata degli algoritmi sopra in Java, contenuta nel pacchetto IT.UNIMI.DSI.Webgraph. Oltre all'API chiaramente definita, il pacchetto contiene diverse classi che consentono di modificare (ad esempio, trasporre) o ricomprimere un grafico, quindi sperimentare con varie impostazioni. Il pacchetto si basa su FastUtatil per un framework di collezioni ad alte prestazioni specifico di tipo, su MG4J per I / O a livello bit, sulla distribuzione del Colt per algoritmi pronti all'uso e ad un efficiente e su GNU GetOPT per il parsing del comando di linea. 5. Set di dati per grafico molto grande (ad esempio, un miliardo di collegamenti). Questi sono raccolti da fonti pubbliche (come Webbase) o prodotti da Ubicrawler.it alla fine, con il webgraph è possibile accedere e analizzare un grafico web molto grande, anche su un PC con un minimo di 256 Mbyte di RAM. L'utilizzo di WebGraph è facile come installazione di alcuni file JAR e scaricando un set di dati. Ciò rende studiando fenomeni come PageRank, distribuzione di proprietà del grafico del grafico web, ecc. Molto facile. Cosa c'è di nuovo in questa versione: · Un nuovo costrutto "Compone" consente di comporre grafici (con etichetta).

Webgraph. Software correlato