Ricerca
Articoli peer-reviewed del team tusKANNy, dedicati alla approximate nearest neighbor search su rappresentazioni dense, sparse e multi-vettore.
Franco Maria Nardini, Luca Rizzo, Cosimo Rulli, Rossano Venturini
Presenta layout di indice compatti per il learned sparse retrieval che riducono l'occupazione di memoria preservando efficienza e accuratezza delle query.
Francesco Gargiulo, Rossano Venturini
Introduce OnPair, un algoritmo di compressione basato su dizionario per stringhe corte che costruisce il dizionario in un'unica passata cache-friendly e comprime ogni stringa in modo indipendente, eguagliando i rapporti di compressione di BPE con un addestramento molto più veloce e accesso casuale a grana fine.
Silvio Martinico, Franco Maria Nardini, Cosimo Rulli, Rossano Venturini
Descrive come la libreria kANNolo e l'indice Seismic condividano una base comune, mostrando come combinarli per un retrieval approssimato efficiente su rappresentazioni sparse apprese.
Matteo Attimonelli, Alessandro De Bellis, Franco Maria Nardini, Claudio Pomo, Cosimo Rulli, Rossano Venturini, Tommaso Di Noia
Rende sparsi gli embedding multimodali universali pre-addestrati dopo l'addestramento, abilitando retrieval efficiente con indici sparsi senza riaddestrare il modello.
Francesco Benocci, Leonard Dahlmann, Francesco Gargiulo, Tobias Heuer, Silvio Martinico, Franco Maria Nardini, Cosimo Rulli, Rossano Venturini
Introduce schemi di compressione lossless per indici a grafo di prossimità (es. HNSW) che riducono la dimensione dell'indice senza alterare l'accuratezza della ricerca.
Angelo Savino, Rossano Venturini
Presenta RISE, una libreria Rust che copre l'intero stack degli indici invertiti, dalla costruzione e compressione delle posting list (Elias-Fano, PEF, Interpolative, Stream VByte) al query processing con WAND, MaxScore e varianti Block-Max, con speedup fino a 2x rispetto allo stato dell'arte.
Andrew Yates, Carlos Lassance, Cosimo Rulli, Eugene Yang, Sean MacAvaney, Siddharth A.K. Singh, Thong Nguyen, Yibin Lei
Tutorial di mezza giornata sul learned sparse retrieval: fondamenti (modelli in stile SPLADE, addestramento, valutazione, framework), indicizzazione efficiente, estensioni multilingue e multimodali e retrieval ibrido denso-sparso, con notebook pratici.
Silvio Martinico, Franco Maria Nardini, Cosimo Rulli, Rossano Venturini
Propone TACHIOM, un sistema di retrieval multi-vettore che utilizza il Token-Aware Clustering (TAC) per un clustering dei token accurato e scalabile. Combinando l'indicizzazione gerarchica con un layout di Product Quantization ottimizzato per MaxSim, TACHIOM offre un clustering fino a 247x più veloce rispetto al k-means standard e offre una velocità di retrieval fino a 9.8x superiore rispetto allo stato dell'arte.
Leggi il PDFThong Nguyen, Cosimo Rulli, Franco Maria Nardini, Rossano Venturini, Andrew Yates
Sparton è un kernel Triton per la testa del Language Model nei modelli di Learned Sparse Retrieval che fonde moltiplicazione tra matrici tiled, ReLU, log1p e max-reduction in un singolo kernel GPU, ottenendo fino a 4.8x di speedup e una riduzione di un ordine di grandezza del picco di memoria rispetto alle baseline PyTorch.
Leggi il PDFSebastian Bruch, Martino Fontana, Franco Maria Nardini, Cosimo Rulli, Rossano Venturini
Introduce DotVByte, una tecnica di compressione ottimizzata per il calcolo del prodotto interno che riduce significativamente lo spazio mantenendo l'efficienza del retrieval sparse.
Leggi il PDFSilvio Martinico, Franco Maria Nardini, Cosimo Rulli, Rossano Venturini
Dimostra che sostituire le fasi gatherer a livello di token con learned sparse retrieval consente oltre 24x di speedup rispetto ai sistemi di retrieval multi-vettore allo stato dell'arte.
Leggi il PDFAndrew Yates, Carlos Lassance, Cosimo Rulli, Eugene Yang, Sean MacAvaney, Siddharth A.K. Singh, Thong Nguyen, Yibin Lei
Tutorial di mezza giornata sul learned sparse retrieval: fondamenti (modelli in stile SPLADE, addestramento, valutazione, framework), indicizzazione efficiente, estensioni multilingue e multimodali e retrieval ibrido denso-sparso, con notebook pratici.
Leonardo Delfino, Domenico Erriquez, Silvio Martinico, Franco Maria Nardini, Cosimo Rulli, Rossano Venturini
Una libreria di ricerca ANN basata su Rust che combina indicizzazione allo stato dell'arte per vettori densi e sparsi con quantizzazione vettoriale, progettata per una prototipazione semplice.
Leggi il PDFSebastian Bruch, Franco Maria Nardini, Cosimo Rulli, Rossano Venturini, Leonardo Venuta
Confronta metodi di retrieval sparse basati su grafi e su indici invertiti sul dataset MS MARCO v2 da 138 milioni di passaggi, evidenziando sfide di scalabilità e compromessi di efficienza.
Leggi il PDFFranco Maria Nardini, Thong Nguyen, Cosimo Rulli, Rossano Venturini, Andrew Yates
Propone Li-LSR, che sostituisce il query encoder con una lookup table veloce apprendendo in training un punteggio di rilevanza statico per token, raggiungendo retrieval sparse inference-free allo stato dell'arte e superando SPLADE-v3-Doc di 1 punto mRR@10 su MsMarco e 1.8 punti nDCG@10 su BEIR.
Leggi il PDFAndrew Yates, Carlos Lassance, Cosimo Rulli, Eugene Yang, Sean MacAvaney, Siddharth A.K. Singh, Thong Nguyen, Yibin Lei
Tutorial di mezza giornata sul learned sparse retrieval: fondamenti (modelli in stile SPLADE, addestramento, valutazione, framework), indicizzazione efficiente, estensioni multilingue e multimodali e retrieval ibrido denso-sparso, con notebook pratici.
Sebastian Bruch, Aditya Krishnan, Franco Maria Nardini
Studia il routing delle query nella ricerca del massimo prodotto interno basata su clustering e, seguendo il principio dell'ottimismo di fronte all'incertezza, propone un framework che usa i momenti della distribuzione dei prodotti interni in ogni shard per stimarne il massimo e decidere quali shard esplorare.
Silvio Martinico, Franco Maria Nardini, Cosimo Rulli, Rossano Venturini
Studia la fattibilità della ricerca ANN su un Raspberry Pi, un dispositivo da due a tre ordini di grandezza più economico dei server tipicamente usati, attraverso esperimenti preliminari con due librerie ANN allo stato dell'arte su dati densi e sparsi, identificando le sfide principali per la ricerca ANN in ambienti a risorse limitate.
Leggi il PDFSebastian Bruch, Franco Maria Nardini, Cosimo Rulli, Rossano Venturini
Migliora Seismic con l'integrazione di grafi k-NN e un'ipotesi di clustering, ottenendo quasi 2.2x di speedup rispetto a Seismic standard mantenendo l'accuratezza.
Leggi il PDFSebastian Bruch, Franco Maria Nardini, Cosimo Rulli, Rossano Venturini
Presenta Seismic, una nuova organizzazione di indice invertito che abilita retrieval veloce su embedding sparso appreso, competitiva con il retrieval denso sui benchmark BigANN.
Leggi il PDFFranco Maria Nardini, Cosimo Rulli, Rossano Venturini
Introduce EMVB, un framework di retrieval denso multi-vettore che accelera la ricerca basata su centroidi in stile PLAID con pre-filtraggio tramite bit vector, calcolo dei centroidi colonna per colonna con SIMD, Product Quantization e filtraggio dei termini per documento, ottenendo query fino a 2.8x più veloci e 1.8x meno memoria senza perdita di accuratezza.
Sebastian Bruch, Franco Maria Nardini, Amir Ingber, Edo Liberty
Mostra che il clustering in stile IVF, sviluppato per vettori densi, è una soluzione efficiente per la ricerca del massimo prodotto interno su vettori sparsi, reinterpreta IVF come tecnica di pruning dinamico per indici invertiti e propone un framework unificato per vettori ibridi densi-sparsi robusto rispetto alla distribuzione delle query.
Sebastian Bruch, Franco Maria Nardini, Amir Ingber, Edo Liberty
Introduce Sinnamon, un algoritmo approssimato di retrieval top-k per vettori sparsi a valori reali in streaming e con distribuzione arbitraria, con compromessi regolabili tra memoria, latenza e accuratezza, supportato da un'analisi teorica dell'errore e da una valutazione empirica su diverse piattaforme hardware.