Dominando a Geração de Textos com LLMs: Um Guia para Escritores e Pesquisadores

Chegou a hora de discutir a geração de textos com LLMs. Afinal, são dois dos meus temas favoritos: redes neurais e "como escrever artigos". Além disso, minha caixa de entrada está constantemente lotada de conteúdo genérico que "autores" tentam apresentar como suas próprias pesquisas.

Direto ao ponto: não sou contra as redes neurais. Elas oferecem um excelente impulso para escritores iniciantes, e usar LLMs no trabalho é possível e necessário. No entanto, por enquanto, isso deve ser feito em áreas estritamente limitadas, onde o custo do erro é baixo e o conteúdo genérico não prejudica um artigo de qualidade.

Em geral, nos textos do "Hacker", o componente técnico sempre foi importante, e quanto ao estilo literário, nossa recomendação é simples: "escreva de forma que seja compreensível". Piadas e requintes estilísticos são um bônus, que inicialmente não é preciso perseguir. E, aparentemente, as LLMs fazem exatamente o que é necessário: aprimoram o texto técnico. Infelizmente, se usadas sem critério, o resultado será o oposto: onde era "charmosamente desajeitado" (o que é facilmente corrigível, e muitas vezes sem perder o charme), tornar-se-á cinza e sem alma.

Portanto, se você quer cobrir uma pesquisa valiosa com conteúdo genérico, vá em frente, mas, por favor, não envie o resultado para o "Hacker" (preferimos algo imperfeito, mas nosso). Se você está pronto para aplicar LLMs de forma eficaz, vou explicar como.

O que funciona bem

• Ajudar a pensar em uma ideia: Quando você está planejando um artigo, pode discuti-lo imediatamente com qualquer LLM. Não é garantido que ela dará recomendações particularmente úteis, mas dará algumas, e isso ajudará na pesquisa do tema. Sinta-se à vontade para fazer perguntas como "liste exemplos de frameworks para isso", ou "quais são os problemas atuais nesta área", ou simplesmente "avalie a ideia do artigo". Mesmo que ela apenas elogie (essas bajuladoras sempre elogiam), sem oferecer nada concreto, será agradável e motivador.

• Encontrar erros factuais: Insira o artigo inteiro em uma LLM e peça para verificar erros técnicos. Sim, ChatGPT, Claude e seus semelhantes são muito propensos a se apegar a detalhes, mas mesmo que apenas 20-30% das descobertas sejam úteis, isso ajudará a melhorar o artigo. Geralmente, falhas, erros de digitação e inconsistências sempre existiram. Mesmo quando o autor domina o assunto, ao transferir uma ideia de um caso real para um exemplo, erros frequentemente surgem. Portanto, dar um guia técnico para uma rede neural é agora uma etapa obrigatória. Aspas e parênteses extras, comandos perdidos ou incorretos e outros detalhes semelhantes serão facilmente encontrados. Em alguns casos, você pode descobrir algo completamente novo (por exemplo, quando usou um termo interessante sem entendê-lo completamente).

• Encontrar onde explicar com mais detalhes: Às vezes, é difícil para o autor entender o que o leitor sabe e o que precisa ser contado. Alguns escrevem como se estivessem falando consigo mesmos, sem imaginar que o leitor pode ter pouco conhecimento sobre o assunto. As LLMs captam essas coisas perfeitamente e até ajudam com as explicações em si, embora seja necessário reescrevê-las com suas próprias palavras depois. O método de trabalho é o mesmo: envie todo o texto e peça para encontrar os pontos que podem ser obscuros.

• Ajudar a reformular: Se você não gosta de uma frase, chegou a um beco sem saída ou quer explicar melhor, a rede neural pode fazer isso sem esforço e até oferecer uma dúzia de opções para escolher. Eu não recomendaria fazer isso para cada parágrafo, mas para trechos difíceis, que não fluem ou causam procrastinação, é totalmente justificável. A arte principal aqui é aprender a distinguir os casos em que a formulação não sai bem dos casos em que faltou informação no texto. Uma LLM pode apontar isso ou adicionar algo por conta própria, ou simplesmente ajudar a mascarar a falta de ideias. Portanto, experimente e tente diferentes prompts. Pode muito bem acontecer que, pensando no problema mais uma vez, você encontre a solução sozinho.

• Resumir: Se parecer que você escreveu muito e o sentido se perdeu na massa de texto, a LLM ajudará. Muitas vezes, ela nem introduz seu estilo característico, porque a fonte são suas próprias palavras.

• Dar polimento: Aqui é importante não deixar a rede neural reescrever o texto. Formule o prompt de forma que ela procure apenas os locais com erros estilísticos (por exemplo, estrutura quebrada) ou problemas triviais de ortografia e pontuação. Você pode até especificar diretamente: "não mude nada se tudo estiver em ordem". Porque um bom texto autoral pode ser facilmente destruído por um prompt muito agressivo. É melhor inserir o artigo para isso um parágrafo de cada vez ou em pequenas partes, caso contrário, a rede neural terá uma grande tentação de resumi-lo, perdendo algo aqui e ali. Ao mesmo tempo, a LLM ainda cometerá erros estilísticos e lógicos: o nível, mesmo dos modelos de ponta, ainda não atinge o de um editor experiente nesta área, mas ainda é superior ao de um autor médio de artigos técnicos. O resultado será um sólido "quatro".

Infelizmente, os casos em que as LLMs podem ser aplicadas sem restrições sérias terminam aqui.

O que funciona mal

• Criar um plano de artigo: Qualquer plano escrito por uma LLM moderna se parece com isto:
  1. Uma coisa geralmente óbvia, detalhada mais do que o necessário.
  2. Coisas ainda mais óbvias.
  3. Um tópico para pesquisa aprofundada.
  4. Um tópico para um livro.
  5. Algo óbvio novamente.
  6. Palavras gerais.

Um artigo escrito com base em tal plano ou se expande infinitamente, ou reduz os pontos 3 e 4 para coisas óbvias e palavras gerais. Portanto, se você escrever sozinho, terá dificuldades, e se gerar todo o texto, o resultado será um lixo inútil. Por outro lado, tais planos são bons se você não quiser perder algo superficial no artigo. Assim, você pode gerar vinte planos, enquanto pensa na imagem futura do artigo. E então você reúne seus pensamentos e escreve sua versão final.

• Escrever o texto final: Esta é a principal coisa que os modelos de linguagem não conseguem fazer. Ou melhor, conseguem, mas de uma forma que seria melhor gerar um delírio febril no estilo do GPT-3 (pelo menos ele era incomum às vezes). A enorme tentação é enviar para a IA um relatório técnico, notas ou a transcrição de uma gravação de áudio e pedir para reescrever. Às vezes, o resultado é útil como um rascunho, mas há uma armadilha: a LLM reescreverá, mas em seu estilo muito reconhecível. E os próprios autores muitas vezes não percebem isso, considerando o texto bastante convincente. Se a LLM não escreveu "isso não é aquilo, é isto" ou "isso não é simplesmente algo, é algo mais", então serve. E listas, emojis, negrito e outras marcações podem ser removidas manualmente, certo? Não. O olho humano, que viu muitos desses textos, não se prende apenas a isso. O principal problema é o estilo característico, que lembra uma tradução ruim de correspondência comercial em inglês (na verdade, as LLMs visam exatamente isso). Frases incompletas, tempo presente em vez de passado ou futuro e – ó céus – essas palavrinhas!

"Subestimado", "intuitivamente", "cuidadosamente", "ruído", "dor", "vive" no sentido de "está localizado" e muitas outras coisas desse tipo não serão perceptíveis se não forem usadas como de uma espingarda. Talvez, agora, apenas editores exigentes estejam atentos a isso, mas a capacidade de ver o conteúdo genérico pode ser desenvolvida por qualquer pessoa. Basta ler muito e, às vezes, interagir com LLMs, e você já distinguirá perfeitamente onde o autor trapaceou.

O que não funciona: conduzir pesquisa

Aqui há uma ressalva importante: uma LLM serve como o Dr. Watson, que acompanha Holmes (esse é você!) e responde às suas ideias geniais com banalidades. No entanto, mesmo elas nem sempre são inúteis. Mas em um texto totalmente gerado, não haverá nada de fundamentalmente novo simplesmente por definição. Qualquer pessoa pode fazer suas próprias perguntas à rede neural e, em seguida, obter um resultado que se ajuste às condições específicas. Ler artigos para isso não é mais necessário. Se você está fazendo algo valioso para a humanidade, então uma LLM pode ser útil de várias maneiras. Coletar parâmetros para um comando, escrever um script para teste, até mesmo preparar o ambiente ou testar algo simples e redigir um relatório. Mas verificá-lo e integrá-lo à narrativa – isso já é seu trabalho.

Conclusão

Usar LLMs como um guia de referência, um motor de busca, um conselheiro para várias questões é normal. Sim, há o risco de encontrar "alucinações", e é importante verificar as fontes, mas, em geral, é apenas uma maneira moderna de trabalhar.

Extrair completamente um artigo do ChatGPT é uma ideia terrível. Não se surpreenda se a redação nem responder quando você o enviar.

Pegar seu próprio texto e pedir a uma LLM para reescrevê-lo de forma mais bonita também é uma má ideia. O texto perderá os tons do estilo autoral, e para o editor, depois, será apenas mais difícil limpar a ideia do conteúdo genérico aderido.

Em geral, espero ter convencido você de que, dessa forma, você apenas desvalorizará seu trabalho: realizou uma pesquisa incrível e depois a dissolveu em um nevoeiro neural de tal forma que ninguém mais poderá dizer com certeza onde você trabalhou e onde a LLM lançou palavras gerais.