RAG che non funziona? Forse stai usando i vettori sbagliati.

Abbiamo visto sistemi RAG costati decine di migliaia di euro produrre risultati inutili. Il problema non era l'LLM. Era a monte.

Il mercato è pieno di gente che vende RAG (Retrieval-Augmented Generation) come la soluzione a tutto. Butta dentro i tuoi documenti, fai una domanda, e l'AI ti darà la risposta. Peccato che la maggior parte delle volte, la risposta è sbagliata, incompleta o semplicemente allucinata. Perché? Perché si sono dimenticati il pezzo fondamentale: il retrieval non è magia, è un lavoro sporco di pertinenza. E la pertinenza dipende da come rappresenti l'informazione. Da come la trasformi in vettori.

La forza bruta contro il cecchino: vettori densi vs. sparsi

Per anni abbiamo lavorato con i **vettori densi**. Pensa a loro come a un riassunto super-compresso del significato di un testo. Potenti per capire il contesto, l'intento, la semantica. Il problema è che sono, appunto, riassunti. Si perdono i dettagli, le parole chiave esatte, i termini tecnici che fanno la differenza tra un documento e un altro. È qui che abbiamo ricominciato a usare i **vettori sparsi**. Roba vecchia scuola, tipo TF-IDF o SPLADE, che fa una cosa semplice ma brutale: conta le parole. O meglio, pesa l'importanza di ogni singola parola. Un vettore sparso è un cecchino: se cerchi "Decreto Legge 19/2024", lui trova esattamente quella stringa, non un'interpretazione vaga. Non gli interessa il "contesto", gli interessa la corrispondenza esatta. Uno è la forza bruta del significato, l'altro è la precisione chirurgica della parola chiave. Usarne solo uno significa lavorare con un braccio legato dietro la schiena.

Basta accrocchi: Qdrant e la ricerca ibrida come si deve

Per un po', la soluzione era un accrocchio: due sistemi separati. Uno per la ricerca keyword (Elasticsearch) e uno per la ricerca vettoriale (Faiss, Milvus). Un incubo da mantenere, sincronizzare e interrogare. Un giro del fumo che faceva perdere tempo e creava solo complessità. Poi è arrivato Qdrant e ha messo ordine. La sua capacità di gestire vettori densi e sparsi *nativamente* nello stesso database ha cambiato le regole. Finalmente potevamo smettere di mettere pezze e iniziare a costruire un sistema di retrieval coerente. La vera svolta è la ricerca ibrida, e in particolare l'uso di algoritmi di fusione come il **Reciprocal Rank Fusion (RRF)**. Invece di mescolare i punteggi di similarità (che sono calcolati su scale diverse e non sono confrontabili), RRF lavora sui *ranking*. Prende la classifica dei risultati dalla ricerca densa e quella dalla ricerca sparsa e le fonde in una nuova classifica, più intelligente e robusta. Non è una media, è una strategia. python # Esempio di codice. Attenzione: questo è il concetto, non copia-incolla. # L'implementazione vera richiede di gestire errori, timeout e il caffè. from qdrant_client import QdrantClient, models client = QdrantClient() # La query dell'utente, poverino, non sa cosa sta per scatenare. query_text = "Quali sono le specifiche tecniche del nuovo drone subacqueo?" # 1. Ottieni il vettore denso (per il significato) query_vector_dense = dense_model.encode(query_text).tolist() # 2. Ottieni il vettore sparso (per le parole chiave) query_vector_sparse = sparse_model.encode(query_text) # Assumiamo un modello come SPLADE # Esegui la ricerca ibrida su Qdrant. È qui che la magia (sudata) accade. search_result = client.search( collection_name="documentazione_tecnica", query_vector={ "dense": query_vector_dense, "sparse": models.SparseVector( indices=query_vector_sparse['indices'].tolist(), values=query_vector_sparse['values'].tolist(), ), }, limit=10, # Qui gli dici di fondere i risultati, non solo di accostarli. # 'fusion': models.Fusion.RRF, # Non ancora in libreria Python, ma il concetto è questo ) # Il risultato non è più un'ipotesi, è una lista di candidati molto più pertinenti. print(search_result)

Allora, qual è la morale?

Che non esiste una soluzione magica. La tecnologia RAG è potente solo se chi la progetta capisce la materia prima: l'informazione. Qdrant ci dà gli strumenti giusti per smettere di improvvisare e iniziare a lavorare con metodo, fondendo il meglio di due mondi che per troppo tempo abbiamo tenuto separati. Se il tuo RAG dà risposte deludenti, la prossima volta, prima di dare la colpa all'LLM, chiediti: come sto cercando i miei documenti? Potresti scoprire che stavi cercando di avvitare una vite con un martello.