Os rastreadores de busca geram tráfego e ajudam os criadores a monetizar seu conteúdo, se quiserem, tornando seus sites mais fáceis de encontrar.
Por Redação, com Europa Press – de São Francisco
A Cloudfare anunciou novas ferramentas para que os clientes gerenciem o acesso de rastreadores de IA a seus sites, buscando restringir o acesso ou monetizar esse acesso mediante o pagamento de uma taxa.
Os sites podem usar o arquivo robots.txt para impedir que os rastreadores dos mecanismos de pesquisa indexem todo ou parte de seu conteúdo, mas esse é um recurso “subutilizado”, de acordo com a Cloudfare, pois apenas 37% dos 10 mil principais domínios o possuem.
Os rastreadores de busca geram tráfego e ajudam os criadores a monetizar seu conteúdo, se quiserem, tornando seus sites mais fáceis de encontrar. No entanto, recentemente, surgiu um tipo de rastreador que coleta dados para treinar modelos de IA que quase não gera tráfego.
De acordo com a Cloudfare, desses 37%, “poucos incluem políticas de desativação para os principais bots de IA mais populares”, incluindo os da OpenAI, Anthropic, Google e Perplexity, conforme explicado em seu blog oficial.
“Os proprietários de sites devem ter controle sobre a atividade dos bots de IA em seus sites”, diz a Cloudfare, referindo-se a uma situação enfrentada por criadores que tiveram o cuidado de criar conteúdo original e facilitar sua indexação, mas não querem que ele seja usado para treinar modelos de IA.
Cloudfare
A Cloudfare forneceu a seus clientes um novo botão que ativa o arquivo robots.txt para gerenciar o tráfego de bots de IA, que pode ser configurado para restringir o acesso ou permitir que os rastreadores acessem determinadas partes e bloqueiem, por exemplo, apenas onde os anúncios são exibidos.
Os clientes da Cloudfare também poderão cobrar dos rastreadores de IA pelo acesso ao seu conteúdo. “Em vez de bloqueio geral ou acesso aberto sem compensação, queremos capacitar os proprietários de conteúdo a monetizar seu conteúdo em escala na Internet”, explica a empresa de tecnologia.
O Pay-per-track é integrado à infraestrutura da Web para criar uma estrutura para acesso a conteúdo pago. Atualmente, ele está em uma fase de desenvolvimento beta privada.
