Não, a robots. txt não é necessário para um site. Se um bot chegar ao seu site e não tiver um, ele apenas rastreará seu site e indexará as páginas como faria normalmente. … o arquivo txt só é necessário se você quiser ter mais controle sobre o que está sendo rastreado.
O que acontece se você não tiver robots txt?
robôs. txt é completamente opcional. Se você tiver um, os rastreadores compatíveis com os padrões irão respeitá-lo, se você não tiver nenhum, tudo o que não é permitido em elementos HTML-META (Wikipedia) é rastreável. O site será indexado sem limitações.
Posso deletar robots txt?
Você precisa remover ambas as linhas do seu arquivo robots. arquivo txt. O arquivo robots está localizado no diretório raiz da sua pasta de hospedagem, normalmente pode ser encontrado em /public_html/ e você deve poder editar ou excluir este arquivo usando: FTP usando um cliente FTP como FileZilla ou WinSCP.
O robots txt é seguro?
Os robôs. txt arquivo não é em si uma ameaça à segurança, e seu uso correto pode representar uma boa prática por motivos não relacionados à segurança. Você não deve presumir que todos os robôs da web seguirão as instruções do arquivo.
Por que robots txt é ruim?
Simplesmente adicionando uma lista de URLs destinados a serem privados a um arquivo robots. txt é uma das piores maneiras de tentar manter URLs ocultos e, na maioria dos casos, resulta em exatamente o oposto do resultado pretendido.
