TRASPARENZA: Questo articolo contiene link di affiliazione. Se acquisti tramite questi link potremmo ricevere una piccola commissione senza costi aggiuntivi per te. Questo ci aiuta a mantenere il sito gratuito e indipendente. Le nostre opinioni rimangono imparziali.

DuckDuckGo sta costruendo un proprio indice del web. Lo hanno annunciato il fondatore Gabriel Weinberg e il CTO Caine Tighe in un episodio del loro podcast interno, spiegando le ragioni tecniche e strategiche dietro una scelta che arriva quasi vent’anni dopo la nascita del motore di ricerca.

// affiliato ▸ Hetzner Cloud · €20 di credito in omaggio · Ricevi il credito →

La storia è curiosa: DDG aveva già iniziato a indicizzare il web nei suoi primissimi anni, quando Weinberg lavorava da solo. Poi aveva abbandonato l’idea, preferendo appoggiarsi a indici di terze parti, Bing su tutti, e concentrarsi su quello che aggiungeva valore sopra: risposte istantanee, knowledge graph, ricerca locale. Una scelta pragmatica per una piccola realtà che non poteva permettersi l’infrastruttura di un grande motore di ricerca.

Oggi le cose sono cambiate, e la spinta principale viene dall’intelligenza artificiale. Search Assist, il sistema di risposte automatiche integrato nei risultati di ricerca, e Duck.ai, il chatbot dell’azienda, hanno bisogno di accedere a contenuti web freschi e controllati direttamente. Avere un indice proprio significa poter alimentare questi strumenti senza dipendere da dati di terzi, con un ciclo di feedback molto più stretto: i milioni di utenti che usano DDG ogni giorno diventano, in forma anonimizzata, un segnale continuo sulla qualità dei risultati.

Tighe descrive la pipeline tecnica in modo abbastanza dettagliato: c’è un crawler che rispetta le preferenze dei siti (chi vuole essere indicizzato e chi no), un sistema di rendering che esegue anche il JavaScript delle pagine per estrarne il contenuto reale, e un motore di ricerca semantica basato su embeddings (rappresentazioni matematiche del significato dei testi) che usa un database chiamato Vespa. L’indice è già attivo su una parte del traffico e, secondo quanto dichiarato, sta crescendo giorno per giorno.

Vale la pena notare che questa è comunicazione aziendale e le motivazioni dichiarate sono credibili, ma il fatto che l’AI sia il motore principale della decisione merita una lettura attenta: DDG si è sempre posizionata come alternativa rispettosa della privacy, e costruire un indice proprio per alimentare prodotti AI è una direzione che porta con sé domande legittime su come quei dati vengono usati internamente. Per ora non ci sono ragioni per dubitare della coerenza con la loro politica di non tracciamento, ma è un’evoluzione da seguire.

Chi usa un motore di ricerca che non vuole essere tracciato da Google o Bing, e magari abbina già una VPN come Proton VPN per proteggere il traffico di rete, ha interesse a capire come si muovono i player alternativi. DDG che riduce la dipendenza da Microsoft è, sulla carta, una buona notizia. Quanto questa indipendenza si traduca in qualcosa di concreto per gli utenti lo vedremo nei prossimi mesi e anni.