Gerador e testador de robots.txt

Não. Ele impede o rastreamento, não a indexação. Uma URL bloqueada pode continuar aparecendo na busca, só que sem descrição, quando outros sites apontam para ela. Para tirar do índice, use a meta tag robots com noindex na própria página e deixe a URL liberada aqui, senão o Google nunca chega a ler a meta tag.

Não é obrigatório. Sem o arquivo, os robôs entendem que tudo está liberado e o site continua sendo indexado normalmente. Ainda assim vale ter: é nele que se declara o sitemap, se bloqueiam áreas administrativas e se decide quais robôs de IA podem ler o conteúdo.

Sempre na raiz do domínio, na mesma pasta da página inicial, acessível em seusite.com.br/robots.txt. Um arquivo dentro de uma subpasta é ignorado. Cada subdomínio precisa do seu próprio arquivo, e a versão com www e sem www são endereços diferentes para essa finalidade.

Depende do objetivo. Os robôs de busca com IA alimentam respostas que citam o seu site com link, e bloqueá-los significa sumir dessas citações. Já os robôs de treinamento apenas coletam texto para treinar modelos, sem devolver visita nenhuma, e bloqueá-los é uma decisão de negócio que não afeta a busca. A ferramenta separa os dois grupos.

O Googlebot guarda o robots.txt em cache por cerca de 24 horas. Depois de publicar o arquivo novo, a mudança costuma valer no dia seguinte. Em caso de urgência, peça a releitura pelo relatório de robots.txt do Search Console.