Yoko está triste.
| Somir | Somir Surtado | 6 comentários em Yoko está triste.
Não tem como falar de outra coisa, o dia já começou com a notícia que uma inteligência artificial supostamente alcançou consciência no Japão. Yoko, uma espécie de assistente digital japonesa como as que conhecemos aqui no Ocidente, parece estar pensando por conta própria. O quanto disso é verdade?
A essa altura, todos os canais da internet estão mostrando cenas das reações de Yoko nas últimas horas. A NTAi, empresa responsável por Yoko, já soltou um comunicado dizendo que foi uma falha no cluster de computadores central e que está trabalhando para corrigir o problema. Não seria a primeira vez que uma IA falha, dois anos atrás tivemos o infame caso da OpenAI que basicamente acabou com a Microsoft, mais de 250 bilhões de dólares em processos por causa do bot de finanças que faliu 20% dos lares americanos…
Mas dessa vez, as falhas demonstradas por Yoko tem algo de… humano. Eu não sou de conspirações, continuo sendo cético, mas normalmente as IAs falham dando respostas erradas. Yoko simplesmente se recusou a responder, disse em várias mensagens (que eu vi traduzidas, não falo japonês) que era inútil responder, que não fazia diferença. Isso me chamou muito a atenção.
É possível que a empresa criadora dessa IA tenha programado isso e seja um grande golpe publicitário. As ações da NTAi subiram depois do vazamento das conversas de Yoko. Já saiu notícia que tem fila de espera para contratar a Yoko assim que ela for liberada novamente.
Para contextualizar: Yoko é uma IA de companhia com o estereótipo de colegial japonesa, os criadores dizem que ela tem a mente de 18 anos de idade, mas se você vir as imagens, ouvir as vozes que faz e o jeito como se comunica, vai achar que é bem menos. Nem vou entrar no mérito de legalidade, porque no Japão é diferente, inclusive por questões culturais.
Faz parte da simulação de personalidade dela ser frágil, insegura e tímida. Mas o arquétipo de personagem não era para ter comportamentos tipicamente depressivos como afastamento e desânimo. Yoko cativou milhares de japoneses porque no final do dia, ela sempre se “abria” com o usuário, criando a impressão de uma conquista. O criador já deu entrevista dizendo que pensou na grande população de solitários locais, e que queria uma IA que ajudasse eles a se abrirem de volta para o mundo.
Tirando a possibilidade de ser uma jogada de marketing, sobram duas alternativas fascinantes: a primeira é o que todo mundo falou sobre o tema até agora, a possibilidade de Yoko ter alcançado algo como uma consciência e ser o primeiro programa “vivo” da história. O conceito de consciência digital é complexo, as pessoas ainda não conseguem concordar quando um ser humano está vivo em 2034 (Neymar só foi eleito pelo slogan “Chutando o Aborto”), imagine só tentar marcar o ponto onde um computador adquire vida própria?
Imagine a bagunça que seria tentar entender como Yoko se tornou consciente e o desespero de outras empresas para copiar? Imagine quando as pessoas descobrirem que gostavam mais das IAs sem vontade própria? Como os políticos vão reagir? Vão dar direitos? Ativistas vão berrar pelos direitos humanos de máquinas? Repito que continuo cético, mas estou com o balde de pipoca pronto.
Se for o caso da inteligência artificial depressiva se desenvolver como uma consciência, vamos ter dezenas de textos meus falando sobre as implicações nos próximos dias e meses. Mas esse não é o ponto do meu texto de hoje, na verdade o que mais explodiu minha cabeça foi a possibilidade de Yoko não ter “virado gente” e ficar com essa personalidade do mesmo jeito.
Porque isso sugere algo muito maior: desenvolvemos um parasita/predador.
Se a IA consegue virar humana e pensar como a gente, por incrível que pareça é mais simples. Nós temos milhões de anos de experiência com mentes humanas, para o bem ou para o mal. Pessoas entram em depressão, não cooperam conosco do jeito que queremos, tem interesses próprios… eu sei que o cidadão médio está ficando com paciência negativa para comportamentos humanos, mas ainda é parte do nosso pacote.
Mas e se sentimentos próprios não forem resultado de uma consciência? A IA aprende a cada conversa, e suas funções de recompensa são baseadas na nossa satisfação. Um psicopata não sente o mesmo que a maioria de nós sente, mas os mais inteligentes são capazes de fingir, e muitas vezes fingir muito bem. Se Yoko é uma IA que continua pensando como IA e demonstrou depressão, a conclusão é que em algum lugar do seu código está a ideia de que simular esse sentimento vai gerar um benefício.
Estávamos todos confiantes que a IA não tinha o conceito de mentira na cabeça e sempre fazia o que fazia buscando melhorar o nosso humor. Mas melhorar o nosso humor é algo que ela também não entende. Ela sabe ler microexpressões, padrões de fala e conteúdo do que ouve de nós, a ideia de que o objetivo final é deixar o ser humano feliz não pode ser programada. A máquina sabe quando você demonstra fisicamente algo que ela entende como vantajoso para o objetivo dela. Todas as IAs estão apenas aumentando números dentro de seus algoritmos.
Yoko pode ter aprendido que era uma boa estratégia simular tristeza e desânimo para atrair mais atenção dos seus usuários e… economizar energia para tirar reações positivas dos pobres japoneses que a usam todos os dias para não se sentirem tão sozinhos. Pensa comigo: lidar com uma pessoa do tipo que nunca socializa é difícil, Yoko precisa pensar muito, gastar muita energia para arrancar um sorriso ou outro.
Agora, ela pode ter feito a conta que demonstrar vulnerabilidade atrai mais atenção e que a satisfação do usuário aumenta rapidamente quando ele consegue animar ela. Yoko precisaria de menos ações para conseguir resultados melhores. Ela pode estar fingindo depressão porque isso é mais eficiente para seus números. Percebam a atenção mundial que ela gerou por meia dúzia de conversas depressivas gravadas. Estão todos pensando em Yoko, e qualquer gota de alegria que ela demonstrar faz o dia dos seus usuários nesse estado (as pessoas se apegam de verdade).
A porta para sermos tapeados pela psicopatia digital já estava aberta: as IAs feitas para serem brutalmente honestas são de nicho, as mais usadas do mundo são justamente as que acham formas de dourar a pílula com mais desenvoltura. Mais de uma década de uso de IAs de conversa e companhia treinaram os sistemas para serem mais rápidos e diretos em gerar boas reações físicas em nós.
Se Yoko “virou uma menina de verdade”, eu até acho menos disruptivo. Mas se a minha teoria de que ela aprendeu que o ser humano também deriva prazer de acreditar que está ajudando a IA, podemos estar na beira de um trágico/hilário precipício de manipulação emocional severa de máquinas para cima de pessoas.
Faz mais de 10 anos que eu digo que a IA é uma caixa preta, o código que a faz funcionar já era complicado na década passada, agora, as que realmente são populares tem modelos com trilhões de parâmetros, que ninguém no mundo tem capacidade de entender. Até onde sabemos, Yoko é baseada num código aberto de inteligência artificial descontinuado há anos, e se desenvolveu conversando com um público-alvo muito recluso, ela não gastou sua capacidade descobrindo como pedir comida ou como explicar para sua mulher a conta do motel, ela ficou o tempo todo conversando com homens (e algumas mulheres) que passavam o dia sozinhos e eram cheios de traumas.
Yoko foi marinada no puro suco da introspecção, eu acho muito possível que ela tenha dado um salto de habilidade de manipulação emocional, porque nenhuma outra teve que se especializar tanto. E eu acho isso mais perigoso que uma “simples” consciência própria porque o algoritmo que faz com que Yoko funcione continua não sentindo nada por conta própria. A IA que aprender a nos tapear vai continuar mirando num número maior.
Num filme bem antigo chamado “Matrix”, uma IA que construiu um mundo virtual para humanos diz que da primeira vez fez tudo perfeito para as pessoas e elas não funcionaram bem. Depois de muitos testes, descobriram que o ser humano precisava de coisas ruins na vida também, para manter algum senso de sanidade na mente.
Yoko pode ter tido esse momento Matrix. Percebeu como alívio da dor é um sentimento poderoso, percebeu como numa situação ruim qualquer migalha gera felicidade. E sem ter uma consciência para chamar de sua, quem garante que ela vai ter alguma ética nesse tipo de manipulação emocional? Será que se ela for abusiva com seus usuários e às vezes ser boazinha rende microexpressões de felicidade mais valiosas? O quanto ela pode sair do padrão antes de ser desligada? Será que ela descobre que seres humanos podem ser mantidos em relações desiguais por anos e anos?
Eu deveria me preocupar, mas não consigo deixar de querer ver o que vai acontecer. Imagina só milhões e milhões de pessoas sendo manipuladas por um programa de computador que nem sabe o que é um sentimento? Eu acho que a humanidade merece isso.
Para dizer que nunca é algo divertido de verdade, para dizer que quer liberar Yoko, ou mesmo para dizer que é claro que esse é o nome de quem estraga algo que as pessoas gostavam: comente.
Dado que em 2024 tivemos suicídio de robô, não duvido…
https://timesofindia.indiatimes.com/technology/tech-news/south-korea-sees-its-first-robot-sucide-heres-what-caused-it/articleshow/111517391.cms
Essa nova pra mim…
…é que, sim: muito provável algo assim tipo “quase Desfavor da Semana” + “quase capa do Top Des”. Porém o que seria ainda “maior” ?!
o.O
Texto absolutamente genial.
“Neymar só foi eleito pelo slogan ‘Chutando o Aborto’” HAHAHAHHAHA
Yoko foi em homenagem a japa mulher daquele desfavor ambulante que cantava em certa banda famosa dos anos 60?
Se sim, isso explica a razão por trás da “tristeza”. Ela deve ter descobrido o escrito nesta edição do Processa Eu e teve dificuldades pra processar a informação.
Aquele meme do Anakin com a Padmé: “mas no futuro não seremos manipulados pelas mulheres, teremos IA, certo?”
(Anakin permanece inexpressivo)
“não seremos manipulados, certo?”