Perché il web crawler di AI Assist potrebbe non riuscire a eseguire la scansione di alcuni siti.
Il web crawler di AI Assist scansiona il tuo sito web pubblico per apprendere dai tuoi contenuti e rispondere alle domande dei clienti in modo più efficace. Se il crawler non riesce ad accedere al tuo sito, AI Assist potrebbe perdere dettagli importanti o fornire risposte incomplete.
Questa guida spiega le cause più comuni dei problemi con il crawler, come risolverli e le soluzioni alternative.
Soluzione rapida: inserire il crawler nella whitelist
In molti casi, i problemi di accesso sono causati da impostazioni del firewall o di sicurezza che bloccano il traffico automatizzato.
Per permettere la scansione:
Inserisci in whitelist questo user-agent: Tawktobot-AIAssistant/1.0
Se utilizzi un CDN o un WAF (ad esempio Cloudflare), aggiungi una regola che salti o permetta questo user-agent.
Attendi 24-48 ore affinché il crawler riesamini il tuo sito.
Per saperne di più, consulta questa guida:
Come inserire in whitelist il crawler bot AI Assist di tawk.to
Motivi comuni per cui AI Assist non riesce a scansionare il tuo sito
Ecco le cause più frequenti, con le soluzioni suggerite:
Sito che richiede login o contenuti protetti
I crawler non possono accedere alle pagine che richiedono nome utente e password. Fornisci versioni pubbliche delle pagine chiave, carica documenti (CSV/PDF/TXT) o collega un’API per dati privati.robots.txt o blocco esplicito del crawler
CAPTCHA o protezioni anti-bot
Rendering pesante lato client (JavaScript/SPA)
Limitazione della frequenza o blocco IP
Sessioni, cookie o loop di redirect
Il crawler non gestisce l’accesso basato su sessione o redirect infiniti. Fornisci una versione semplice e statica delle pagine importanti.Offuscamento o crittografia dei contenuti
Il crawler non può leggere testo nascosto o criptato. Offri alternative in testo semplice o fornisci i dati tramite API.Alternative se non è possibile inserire il crawler in whitelist
Se non puoi inserire il crawler in whitelist:
Carica documenti
Aggiungi file CSV, PDF o TXT contenenti informazioni sui prodotti, FAQ o dettagli delle policy.Per saperne di più consulta questa guida: Comprendere le fonti di dati di AI Assist
Usa integrazioni API
Fornisci ad AI Assist l’accesso diretto a dati in tempo reale, come il tracciamento degli ordini e l’inventario.
Per saperne di più consulta questa guida:
Come configurare un’integrazione API personalizzata con AI Assist
Passaggi per la risoluzione dei problemi
Visualizza in anteprima le risposte di AI Assist nelle impostazioni di AI Assist della tua proprietà. Controlla l’elenco delle fonti dati per vedere quali contenuti sono stati utilizzati.
Per saperne di più consulta questa guida:
Come correggere le risposte errate fornite da AI Assist
Controlla i log del server/firewall
Cerca le richieste dallo user-agent Tawktobot-AIAssistant/1.0.
Aggiorna le fonti dati
Rimuovi file o pagine obsolete e sostituiscili con contenuti aggiornati.
Usa fonti alternative
Carica documenti o collega API se alcuni contenuti risultano ancora inaccessibili.
Mantieni accessibili le informazioni chiave
Posiziona le informazioni importanti in pagine renderizzate dal server o in documenti caricati, così che AI Assist possa accedervi in modo affidabile.
Mantieni aggiornate le fonti dati
Rivedi regolarmente le fonti dati e sostituisci le informazioni obsolete con contenuti attuali e accurati.
Usa API per tipi di dati specifici
Collega un’API per dati in tempo reale, privati o che cambiano frequentemente, così AI Assist avrà sempre le informazioni più aggiornate.
Consenti l’accesso al crawler sulle pagine pubbliche
Assicurati che lo user-agent del crawler non sia bloccato sulle pagine pubbliche, così AI Assist può leggere ed elaborare i contenuti.
Privacy e sicurezza
AI Assist può lavorare solo con le informazioni a cui ha accesso. Proteggi i dati sensibili o privati e usa un’API sicura con autenticazione per qualsiasi dato che non vuoi rendere pubblico.
Ingestione solo di testo
Il crawler legge solo il testo visibile sulla pagina. Non può elaborare immagini, video o elementi interattivi, quindi assicurati che le informazioni importanti siano scritte in testo semplice.
Siti dinamici
Se il tuo sito usa molto JavaScript per caricare contenuti, il crawler potrebbe non vederli. Usa il rendering lato server, pagine prerenderizzate o carica i contenuti con altri metodi affinché AI Assist possa accedervi.
Se hai commenti su questo articolo o hai bisogno di ulteriore assistenza:
Contattaci via live chat
Prenota una chiamata con il nostro team
Visita la nostra community