No, a robot. txt non è richiesto per un sito web. Se un bot arriva sul tuo sito Web e non ne ha uno, eseguirà la scansione del tuo sito Web e delle pagine dell'indice come farebbe normalmente. … il file txt è necessario solo se desideri avere un maggiore controllo su ciò che viene scansionato.
Cosa succede se non hai robots txt?
robot. txt è completamente opzionale. Se ne hai uno, i crawler conformi agli standard lo rispetteranno, se non ne hai nessuno, tutto ciò che non è vietato negli elementi HTML-META (Wikipedia) è scansionabile. Il sito sarà indicizzato senza limitazioni.
Posso eliminare i file txt dei robot?
Devi rimuovere entrambe le linee dai tuoi robot. file txt. Il file robots si trova nella directory principale della cartella del tuo hosting web, normalmente si trova in /public_html/ e dovresti essere in grado di modificare o eliminare questo file usando: FTP usando un client FTP come FileZilla o WinSCP.
Il robots txt è sicuro?
I robot. txt file non è di per sé una minaccia alla sicurezza e il suo corretto utilizzo può rappresentare una buona pratica per motivi non di sicurezza. Non dovresti presumere che tutti i web robot rispetteranno le istruzioni del file.
Perché robots txt non è valido?
Semplice aggiunta di un elenco di URL destinati a essere privati per un robot. txt è uno dei modi peggiori per cercare di mantenere nascosti gli URL e, nella maggior parte dei casi, risulta in esattamente l'opposto del risultato previsto.
