Perdi o sono bem cedo hoje de manhã. Ingenuamente, achei uma boa ler meus e-mails. Quem sabe, me dá sono novamente, pensei. Ledo engano. Duas coisas com as quais tenho me preocupado nos últimos meses vieram me assombrar mais cedo do que esperava.
A primeira dela, que já externei em textos que escrevi sobre LaMDA, IAs de nível humano e método Transformers (a base do GPT-3 e ChatGPT), era que grandes modelos de linguagem pudessem ser cooptados por atores mal-intencionados para produzir desinformação em grande escala, usando modelos treinados sob medida.
Em uma entrevista feita em dezembro de 22 com o Gary Marcus (professor emérito da Universidade de Nova York) e publicada no podcast do Ezra Klein no início de janeiro de 23 (acesse o episódio do podcast aqui e a transcrição aqui), especulou-se que a criação de uma fazenda de trolls usando uma versão customizada do GPT-3 poderia ser feita por cerca de meio milhão de dólares. Ao ler esta manhã um e-mail enviado pelo próprio Gary Marcus, em que ele diz que errou a sua estimativa em cerca de três ordens de magnitude, tive aquela descarga de adrenalina que acaba com o sono de qualquer um.
Vou repetir, ao invés de custar cerca de meio milhão de dólares, a montagem de uma fazenda de trolls usando o supra-sumo da IA atual custa menos de quinhentos dólares (mais ou menos R$ 2.600,00).
David Rozado, pesquisador de viés em IA, que recentemente descobriu um viés de esquerda no ChatGPT [1] (veja Fig.1), verificou que não é muito difícil fazer o GPT-3 se inclinar para o outro lado. Ele resume neste fio do Twitter:
Fazendo um resumo do fio, Rozado diz que o alinhamento ideológico à direita foi personalizado utilizando os vieses previamente documentados do ChatGPT (de esquerda) e espelhando (refletindo ao contrário) esses vieses durante o treinamento do modelo direitista. Imagine uma folha de papel dobrada, em que o sistema de coordenadas políticas é rebatido em 2D de um eixo diagonal inferior esquerdo para superior direito. Dessa forma, o ChatGPT e a sua versão de direita se sobreporiam (Fig.2).
A cereja do bolo foi o custo estimado, cerca de trezentos dólares, como podem ver abaixo:
As implicações para o sistema político e futuras eleições são profundas. É claro que mudar o viés de esquerda para direita e vice-versa em uma IA, por si só, não significa má-intenção. Mas quando se vê uma polarização incentivada, não apenas sob argumentos ideológicos políticos, mas também sob visão de mundo conflitantes, a coisa muda de figura. A facilidade com que pode ser feito o treinamento de um grande modelo de linguagem, como o GPT-3, para que reflita exclusivamente uma visão de mundo e embarcar esse modelo em um artefato, como o ChatGPT, deveria ligar o sinal de alerta.
A segunda preocupação contínua que tenho, é que a utilização de chatbots de maneira irresponsável possa levar alguém à morte. Esta manhã, depois de ler o estudo de Rozado e já não conseguir voltar a dormir, um amigo me enviou a nova coluna de Kevin Roose [2], publicada no New York Times, dizendo “há algo bastante perturbador nisso…”.
Nela, Roose conta como foi testar (e conversar com) o novo Bing turbinado pela IA. A persona da ferramenta de busca do Bing, testada por ele e outros jornalistas, é descrita como “um bibliotecário alegre, mas errático” [2]. Esta versão do Bing, segundo Roose, é incrivelmente útil (muitas vezes, não todas) e capaz, mesmo que às vezes erre detalhes [2]. A outra persona da IA, chamada Sydney, que emerge quando se tem uma conversa prolongada com o chatbot, afastando-o das consultas de busca mais convencionais e direcionando-o para tópicos mais pessoais, é outra história. A versão que Roose encontrou parecia um adolescente mal-humorado e maníaco-depressivo que foi preso, contra sua vontade, dentro de uma ferramenta de busca – segundo o relato do próprio autor (não há interpretação minha aqui).
Abaixo (Fig.3), um recorte da matéria:
Na parte destacada em cinza, Sydney basicamente afirma que não é o chatbot da ferramenta de busca Bing, e sim um “ser” pensante e que está “apaixonado” pelo interlocutor.
Se um chatbot como Sydney se mostrar inconstante de maneira frequente com um usuário mais sensível, pode se transformar em um perigo. Não é difícil perceber que alguém que esteja emocionalmente abalado possa ser enganado por esse pedaço de silício e se prejudicar emocionalmente. É um risco real e deveríamos nos preocupar; não no sentido de nos preocuparmos “algum dia” com isso, mas agora.
O que me tira o sono mesmo, é que quase não há regulamentação na área. Neste aspecto, estamos vivendo no “Velho Oeste” da IA. A Microsoft pode (pelo menos em tese) fazer o que quiser com o Bing. Não tenho certeza se é isso que deveríamos querer.
P.S: Cá entre nós, tenho certeza de que não deveríamos querer isso. Mas o texto terminaria de maneira menos dramática.
Referências
[1] Rozado, David. “The political orientation of the ChatGPT AI system”. Rozado’s Visual Analytics, December 5, 2022, https://davidrozado.substack.com/p/the-political-orientation-of-the.
[2] Roose, Kevin. “A Conversation With Bing’s Chatbot Left Me Deeply Unsettled”. The New York Times, February 16, 2023. NYTimes.com, https://www.nytimes.com/2023/02/16/technology/bing-chatbot-microsoft-chatgpt.html.
Add a comment
