No limite

Facebook abre as portas da moderação de conteúdo para mostrar quem decide o que é certo ou errado na rede

Fabiana Uchinaka Do UOL, em Barcelona (Espanha)* Renato Dangelo

Para muita gente, parece quase óbvio pensar que todo trabalho de moderação de conteúdo de uma rede social do tamanho do Facebook é feito por computadores e uma inteligência artificial --nem sempre tão inteligente assim. Uma IA que implica com mamilos, não entende obras de arte com pelos pubianos ou fotos históricas de crianças no Vietnã.

Então, não me surpreenderia se você achasse chocante o fato de que 15.000 pessoas revisam 24 horas por dia, sete dias por semana, os conteúdos reportados. E só agora, em 2019, o Facebook tenha achado um caminho para filtrar automaticamente (ou seja, via machine learning) mais de 98% de certos tipos de conteúdos com precisão aceitável.

Casos de bullying e discurso de ódio ainda estão muito longe de serem moderados com essa eficiência. Para interpretar contextos de denúncias subjetivas, os humanos ainda são essenciais --isso significa que, em emergências, as respostas podem ser intoleravelmente lentas. Foi o que aconteceu durante o massacre da Nova Zelândia.

Renato Dangelo

Após fechar 2018 envolvida em um escândalo de privacidade atrás do outro e em denúncias de manipulação de eleições ao redor do mundo, a rede social começou 2019 sendo acusada, desta vez, de falhar gravemente na moderação de seus conteúdos.

Essa história já vinha rolando há tempos, mas ganhou força com o espaço que deu para páginas conspiratórias como o InfoWars, depois com o retardo em agir diante das ondas de violência sectárias em Mianmar e no Sri Lanka e chegou ao limite em março com o massacre em Christchurch, na Nova Zelândia.

O Facebook admitiu que seu sistema de inteligência artificial para detectar conteúdo não permitido ainda não é capaz de agir na hora de reconhecer o vídeo transmitido ao vivo do atentado terrorista.

InfoWars

Após anos de polêmicas, o radialista Alex Jones e sua página InfoWars foram banidos do Facebook em maio. Seguido por 1 milhão de pessoas, ele era o cara que espalhava boatos e negava fatos históricas -- nega o Holocausto e os ataques de 11/9 e diz que o tiroteio na escola Sandy Hook foi uma encenação das crianças (o que gerou ameaças de morte às famílias das vítimas).

Ler mais

Sri Lanka

O país virou exemplo de como o Facebook pode ser usado para o mal. Uma onda de boatos sobre uma conspiração muçulmana para destruir a maioria budista se espalhou, alimentou o ódio e os linchamentos. Em abril, o governo desligou Facebook, WhatsApp e Instagram para conter a violência e as notícias falsas, mas houve ataques, agressões e mortes.

Ler mais

Mianmar

Em Mianmar, o Facebook pode ser toda a internet. Ativistas denunciam há anos que a rede é usada para promover ódio e limpeza étnica contra muçulmanos rohingya. Mas, até pouco tempo, a presença de moderadores no país era nula, não havia quem entendesse a língua local e as máquinas não sabiam interpretar o birmanês para identificar insultos raciais.

Ler mais

Nova Zelândia

O ataque contra mesquitas de Christchurch foi pensado para se espalhar pelas redes sociais: a transmissão ao vivo pelo Facebook com câmera presa no capacete do atirador virou um vídeo que circulou e foi visto por milhares de pessoas. O Facebook disse que, 24 horas depois, havia bloqueado 1,5 milhão de tentativas de compartilhar o vídeo.

Ler mais

Quando o mundo debatia como o Facebook deveria ter filtrado melhor a live do atirador, a empresa mal tinha assimilado uma leve rebelião interna, com cartas de reclamações dos moderadores terceirizados vindo a público, e as pesadas denúncias que o site The Verge havia feito em fevereiro sobre o trabalho de moderação.

A reportagem ouviu uma dúzia de funcionários e ex-funcionários da empresa Cognizant, que presta esse serviço para a rede social, para mostrar como o trabalho pode causar uma forma de transtorno de estresse pós-traumático, e, quando não chegava a tanto, como a questão psicológica podia ser agravada por falta de apoio psicológico e muita pressão corporativa.

Alguns trabalhadores, por exemplo, relatam pesadelos, crises de choro, pânico, falta de suporte emocional... Outros contam que colegas passaram a acreditar em teorias da conspiração. O clima seria de sexo, drogas e álcool, para "aguentar o tranco".

"Os funcionários estão desenvolvendo sintomas semelhantes aos do Transtorno de estresse após deixarem a empresa", diz o texto do The Verge. "Os moderadores lidam contando piadas obscuras sobre como cometer suicídio, depois fumam maconha durante os intervalos para entorpecer suas emoções."

É dentro deste contexto que o Facebook abriu as portas do seu principal centro de moderação de conteúdo em Barcelona, na Espanha, para três jornalistas brasileiros.

O UOL Tecnologia fazia parte do grupo que visitou em 30 de maio as instalações e conversou brevemente com seis dos 800 moderadores terceirizados da CCC (Competence Call Centre) que trabalham ali. São alguns dos muitos brasileiros acionados cada vez que alguém daqui do Brasil clica em "reportar" um post da rede social.

O que eu vi, como era de se esperar, não é o cenário retratado nas denúncias --nem nesta nem nas outras tantas que já foram publicadas ao longo de anos. As revistas Time e Wired reportaram as condições horripilantes desse trabalho de revisão lá em 2010 e 2014, respectivamente.

Pelo contrário. O que mais me chamou a atenção foi a diferença gritante entre o que dizem que acontece e o que o Facebook fez questão de mostrar. Isso me fez pensar que os dois lados soam exagerados.

Já houve denúncias de que havia uma pressão para que metas altíssimas fossem cumpridas, de que benefícios de bem-estar (yoga, ping pong, pintar mandalas, jogar video game...) eram limitados a curtos intervalos e de que o atendimento psicológico nem sempre estava disponível. Aos jornalistas, claro, só mostraram como tudo funciona bem.

Quando perguntei aos moderadores brasileiros, que não podem ser identificados, como eles se sentiam fazendo aquele trabalho, as respostas foram positivas:

"Se você é policial, você também tem pressão"
"Me devolveu a fé na humanidade, porque eu vejo mais coisas boas"
"Eu posso ajudar a salvar pessoas do suicídio"

É no mínimo intrigante que estas sejam as respostas de quem diariamente analisa conteúdos de violência explícita, decapitações, abuso sexual infantil, assassinatos, massacres... Para ficar em alguns.

Além de analisar um grande volume de posts, esse exército de moderadores precisa aplicar consistentemente um conjunto de regras, que muda semanalmente, e garantir uma métrica de acertos acima de 98%.

O Facebook até tenta melhorar a ferramenta de revisão (software SRT, de Single Review Tool), dando mais contexto, mas soa quase impossível garantir tanta precisão. Fiz um teste rápido por lá e posso dizer que o trabalho é extremamente difícil. Por exemplo, não consegui perceber no tempo esperado que um meme do apresentador Ratinho segurando uma lâmpada fluorescente (sequer vi que era uma lâmpada) era um claro discurso de ódio. Trata-se de um incentivo aos ataque feitos contra gays na avenida Paulista, em 2010.

Os moderadores contam que podem discutir possíveis erros com os supervisores, e isso acontece com frequência. Cada denúncia é revisada por dois moderadores e, em alguns casos, um terceiro pode ser acionado.

Renato Dangelo Renato Dangelo

Número cresce de 2018 para 2019 (compara o primeiro trimestre de cada ano):

  • Posts punidos por violar as regras do Facebook: de 3,4 milhões para 33,6 milhões
  • Posts punidos por discursos de ódio: de 2,5 milhões para 4 milhões
  • Posts punidos por propaganda terrorista: de 1,9 milhão para 6,4 milhões


O que não pode, de forma geral:

  • nudez
  • imagens de violência extrema
  • suicídio ou automutilação
  • vendas não autorizadas (armas e drogas)
  • mensagens de apoio a causas ou grupos terroristas
  • discurso de ódio (ataque que mira pessoas, desumaniza ou exclui, baseado em caraterísticas como gênero, orientação sexual, raça, etc)

Clima de facul

Quando você entra no andar da moderação, todas as suas convicções sobre como aquilo deveria parecer são desfeitas. Essa é a intenção do Facebook com a visita: desconstruir a imagem do call center abarrotado de computadores, distribuídos por cubículos asfixiantes. O que vemos são grandes mesas bem espalhadas num amplo e iluminado espaço com o jeitinho "Vale do Silício" de ser.

Nos computadores, estão sentados jovens descolados, que param de trabalhar enquanto circulamos --o software de moderação contém informações pessoais dos usuários da rede que não podem ser vistas pelos jornalistas. O clima é de hora do lanche num campus universitário.

Todos os moderadores que ouvimos, sob condição de anonimato, possuíam graduação, falavam duas ou três línguas e entendiam bem os limites morais e as questões filosóficas do trabalho que desempenham. Demonstravam muito orgulho do que fazem e defendiam bem a "missão" que receberam.

Difícil não notar, porém, que eles estão sendo observados por assessores de comunicação e supervisores da CCC.

Renata Dangelo/UOL Renata Dangelo/UOL

Veja abaixo parte da conversa que rolou com eles (ela foi editada para melhor entendimento):

Pergunta: Quanto tempo demora para vocês ficarem bons na moderação? Nós testamos e vimos que é bem difícil...

- Você passa por um processo de graduação. Faz duas semanas de treinamento inicial para saber as políticas gerais do Facebook, o que para eles é certo e errado. Você aprende simulando em casos reais que já foram discutidos. Nessa fase, não pegamos os casos do nosso mercado, já que a gente trabalha só com conteúdo brasileiro. Depois, você vai para a floor [como eles chamam o trabalho em tempo real].

- Lá, você precisa manter o acerto em 98%. Estamos ao vivo, então tem que ser muito rigoroso. O Facebook não quer que a gente interfira na capacidade de as pessoas discutirem livremente as coisas. Então o nível de qualidade que o Facebook exige da gente é alto, porque a gente trabalha com debate público. Não podemos ficar livres para tomar as decisões e apagar coisas de acordo com o que eu acredito. Nosso trabalho é muito interpretativo e, por isso, precisamos justificar a ação e manter o nível alto.

- Quem tem métricas melhores, acaba ganhando mais responsabilidade e recebendo tickets mais sensíveis, de alta prioridade.

Pergunta: Como isso é medido? Vocês podem pedir ajuda?

- Tem um controle de qualidade. Há um supervisor sempre revisando as nossas decisões, e recebemos um retorno das decisões que não batem com as da revisão. Mas sempre podemos argumentar cada decisão num campo [do SRT] e isso é analisado. Tem muito conteúdo que, como vocês podem imaginar, é ambíguo, cada pessoa leva para um lado. Nosso papel é sempre manter o debate dentro das políticas do Facebook. A gente pede ajuda e trabalha muito em grupo.

Pergunta: Vocês podem dar um exemplo de conteúdo ambíguo que fez vocês errarem?

- Às vezes, é questão de região. Eu sou do interior de Goiás e vejo coisas de forma diferente de quem mora em São Paulo, a vivência é diferente, as expressões são diferentes. Às vezes, são questões gramaticais, erro ortográfico, falta de vírgula. Você tem que se colocar no lugar da pessoa e entender o que ela quer falar. Isso pode ser super tranquilo ou super difícil.

Pergunta: O que acontece se vocês baixam o nível de 98%? Algum de vocês já baixou?

- Sim, sempre. É uma média mensal, então depende mais de quão regular é isso. Se você mantém sempre uma média muito baixa, os gerentes oferecem ajuda e treinamento. Tem treinamentos específicos para algumas diretrizes, então você pode fazer. Eles não avaliam número pequenos, é uma conta maior. Nós trabalhamos como um time.

Pergunta: Alguém já foi demitido por isso?

- Não, até onde a gente saiba.

Pergunta: Como vocês foram escolhidos?

- Você manda o currículo e é chamado para entrevista. Não pedem nenhuma especialidade, o mais importante é você demonstrar que tem conhecimento sobre a cultura brasileira e comprovar o idioma [português e inglês]. Não precisa ter ensino superior, mas todo mundo aqui tem. A grande maioria é muito qualificada, muita gente com mestrado. Não é fácil encontrar fora do seu país uma equipe como essa. As formações são muito variadas, mas precisa saber outra língua, tem que saber escrever... Isso ajuda a manter o nível de qualidade.

Pergunta: No que vocês são formados?

- Sociologia
- Arquiteto
- Rádio e TV e parei o Direito para vir para cá
- Relações Internacionais
- Aeromoça
- Servidor público na área de educação física

Pergunta: Vocês sentem esse clima que foi reportado pelo The Verge?

- No meu WhatsApp, eu recebo a mesma coisa que vejo aqui, uma porrada de porcaria. Se você está na internet, está sujeito ao que a gente vê aqui.

Pergunta: Mas vocês recebem assassinato, pornografia infantil no WhatsApp? Vocês, com certeza, recebem coisas aqui que a gente não recebe...

- Pornografia infantil não, mas pornografia...

- Eu, ainda bem, não tenho esse tipo de grupo no meu WhatsApp. Mas eu vejo aqui vídeo de assassinato, de gente executando pessoas. A gente precisa se prender à parte técnica do trabalho: tem uma política e temos que aplicá-la. O fato de eu saber ou não que tem uma coisa ruim acontecendo não impede que ela aconteça. Aqui, obviamente, a gente está vendo, mas eu tenho de ser prática. Eu tenho a sorte (ou azar, dependendo da pessoa) de ter as ferramentas para impedir que essas coisas fiquem ali ou não.

- É como policial. Ele está vendo um monte de coisas, mas alguém precisa fazer esse trabalho.

- Ou como um cirurgião que fica vendo o dia todo corpo aberto, mas ele está ajudando.

- Eu sou da periferia de Belo Horizonte, já tive amiga assassinada. Talvez uma pessoa do norte da Europa não tivesse a capacidade de trabalhar com conteúdo brasileiro. Mas a gente não veio da Noruega, a gente sabe o que é o Brasil.

- Na entrevista, a gente conversa com psicólogo. Então, se a gente está aqui é porque consideram que a gente é capaz de lidar com as coisas que vemos.

Pergunta: Você já chegou em casa e chorou?

- Não.

- A gente tem suporte de psicólogo o tempo inteiro, mas eu saio daqui e esqueço o que eu vi. Nunca chorei por algo que vi aqui.

- Se amanhã eu vou ficar abalada com algum conteúdo eu não sei, mas até hoje eu não fiquei.

- Eu chorei uma vez com um vídeo de um menino que ficou cego. Mas ele não tinha uma violação, era só uma história triste.

- Você não é obrigado a ficar vendo um conteúdo. Você pode sair, procurar o psicólogo, o wellness [sala de bem-estar]...

Pergunta: Vocês acham que ficaram insensíveis?

- Não acho que fiquei insensível ou fria.

- Eu fiquei mais cuidadoso e medroso. Ando de bicicleta com mais cuidado. Antes eu trabalhava com obra, hoje eu não faço nada sem capacete porque eu sei o que um fio pode fazer com a minha cabeça. Fiquei mais consistente das coisas. Acho isso até bom para mim. Estou ficando mais preparado.

- A gente aprende a separar, senão não vive. Por outro lado, fica mais sensível com o outro. Você aprende a enxergar as situações e sabe que pode ajudar. Bullying, por exemplo. Eu passei a reagir diferente a uma pessoa que fala que está com depressão, hoje eu sei a que isso pode levar. Você se torna mais cuidadoso.

- A questão é trazer o pessoal para o trabalho. Se você teve um pai que levou um tiro e vê um vídeo disso, pode ficar abalado. Já vi casos assim. O lance são os gatilhos.

- Tem dias que a gente modera mais a netinha que reportou o post da avó, porque ficou com vergonha. Em outros a gente trabalha muito porque acontecem eventos que afeta muito a mídia, como o massacre de Suzano ou as eleições.

Pergunta: Vocês perderam um pouco da fé na humanidade?

- Eu acho que reconstruí a fé na humanidade. De 50 conteúdos que as pessoas reportam, 40 são coisas bacanas. A gente vê muita coisa boa também em meio a conteúdos difíceis.

- É que as pessoas têm liberdade de reportar o que quiserem.

- Ah, eu perdi um pouco a fé na humanidade. A gente se choca com as coisas que as pessoas podem publicar, sem precisar da mídia. É um poder... As pessoas se sentem livres para fazer coisas que a minha geração consideraria absurdas. Pelo menos aqui conseguimos barrar.

- Aqui a gente pode ajudar alguém que está pensando em suicídio. Eu encaro o trabalho como uma forma de ajudar as pessoas. Se eu consigo mandar um alerta para uma pessoa que está pensando em suicídio, eu estou ajudando.

Pergunta: Vocês acham que um robô vai fazer o que você fazem?

- Nunca que um robô vai fazer nosso trabalho! Nosso trabalho é muito analítico, depende de contexto...

- Ah, acho que uma parte eles vão fazer...

Renata Dangelo/UOL Renata Dangelo/UOL

Você deve estar se perguntando se os moderadores ganham bem. O custo dessa limpa no seu feed é de 26.500 euros por ano para cada um -- ou 2.208 euros por mês. Segundo dados divulgados pelo próprio Facebook em 2017, seus contratados recebem em média US$ 240 mil por ano, o que daria US$ 20 mil por mês.

Os moderadores terceirizados não recebem os benefícios do Facebook, o que vira e mexe é motivo de críticas e denúncias. Uma reportagem do The Post detalha queixas de trabalhadores que dizem que são tratados como cidadãos de segunda classe e ganham muito menos que a média dos funcionários do Facebook. Mark Davidson, diretor de gerenciamento de parcerias do Facebook, explica que todos recebem plano de saúde privado e ganham quase o dobro do piso da categoria na Espanha.

CCC, Cognizant e Accenture são algumas das empresas que fornecem o serviço 24/7 para a rede social em 10 centros. No centro de Barcelona, por exemplo, moderadores de várias línguas e nacionalidades trabalham para atender seus países de origem.

Ao todo, a moderação cobre 50 línguas, com moderadores nativos do país e que dominam o inglês. Isso serve para que eles entendam as nuances culturais e políticas do conteúdo analisado.

Davidson afirma que o modelo espacial visitado é o típico exigido para todos os prestadores de serviço, com espaços para espairecer e fazer pausas. Mas isso ainda não é auditado, então não há garantias de que seja assim em todos os centros pelo mundo. O Facebook já se comprometeu a começar essas auditorias.

Não dá pra negar que alguns dos funcionários vão sentir o impacto do trabalho, mas o número é muito baixo. Este trabalho não é para todo mundo. Somos bem abertos e honestos sobre isso para garantir que nossos parceiros recrutem as pessoas certas e elas entendam o que vão fazer

Mark Davidson

Fabiana Uchinaka/UOL Fabiana Uchinaka/UOL

Para ajudar a diminuir o trabalho dos moderadores humanos, o Facebook tem investido pesado em tecnologia de classificação por machine learning, ou seja, numa inteligência artificial que detecta automaticamente e proativamente conteúdo que vão contra as diretrizes da rede social.

Hoje, as máquinas já vasculham os posts e derrubam automaticamente a maioria dos conteúdos inadequados em milissegundos. A revisão humana acontece para conteúdos manualmente reportados pelo usuário. Mas, isso quer dizer que eles ainda não têm como prever comportamentos nocivos, como no caso do massacre, especialmente em novos formatos como ao vivo, Stories e bate-papos.

"Adoraria estar nesse ponto da máquina de aprendizado, para poder detectar antes em vídeos e lives. Ainda precisamos do trabalho conjuntos das três áreas: tecnologia, revisão humana e reporte de usuários, que podem responder a isso rapidamente", diz Simon Cross, gerente de integridade da comunidade do Facebook.

As máquinas são boas em algumas coisas e humanos são bons em outras. É ótima para fotos. Em vídeos, já funciona bem. Mas estamos trabalhando no resto

O objetivo, enfatiza Cross, é reduzir prevalência de conteúdos inadequados proativamente e com poucos erros.

"Queremos fazer automaticamente e sem ter que contar e esperar com o reporte das pessoas. Atingir isso é muito complexo e difícil. Sempre cometeremos erros, tecnologia e revisão humana cometem erros. Nosso trabalho é minimizar esses erros e dar ferramentas para as pessoas apelarem", diz.

Ele não fala isso claramente, mas dá a entender que prefere que a máquina erre pelo excesso. Ao comentar o bloqueio à icônica foto "Napalm Girl", de uma menina correndo nua durante a Guerra do Vietnã, defende que "a nossa machine learning fez certo de derrubar a foto. Para isso temos a apelação, para detectar exceções."

Segundo ele, a máquina já aprendeu sobre imagens artísticas ou históricas como essas.

Por mais louvável que pareça o esforço que eles fazem para responder às demandas crescentes e urgentes dessa comunidade gigantesca, global e absolutamente diversa, parecem sempre atrasados, tentando achar maneiras de apagar incêndios. "A gente gostaria de mostrar como nosso trabalho é difícil", também é uma das frases mais ouvidas nos corredores da empresa.

Chocou-me especialmente perceber o quanto a moderação era precária até 1,5 ano atrás, algo inimaginável para uma empresa com tanto poder e dinheiro. Esta é a primeira vez em 15 anos que eles apresentam resultados reais e volumosos de prevenção e proatividade. É muito tempo de espera.

Enquanto isso novas demandas já surgem. Quando estive na primeira conferência de imprensa do Facebook sobre desinformação para jornalistas estrangeiros na sede de Menlo Park (EUA), no ano passado (sim, demorou tudo isso para acontecer também), ouvi da cúpula da empresa que o futuro eram os vídeos, os Stories e as transmissões ao vivo. Não deu um ano, vimos um massacre ser transmitido ao vivo pela plataforma.

A real é que o machine learning é incrivelmente ágil e eficaz para detectar conteúdos em fotos e textos. Mas começa a mostrar precisão impressionantes somente hoje, quando a comunicação já partiu para formatos muito mais elaborados e pouco escrutináveis.

Eles dizem que as políticas para comunidade do Facebook servem para todas as plataformas da empresa, como Instagram, Messenger e WhatsApp, mas são aplicadas de formas diferentes. Como é aplicado no WhatsApp? Não sabem. O que acontece se eu colocar pornografia infantil no Status do WhatsApp, vocês detectam? Não sabem. Tudo isso só pode ser respondido pela equipe do mensageiro, que quase nunca fala com a imprensa.

Perguntei para Simon Cross qual era o plano para moderar conteúdo nessas novas frentes, e ele me respondeu um sonoro: "Não tenho uma resposta que irá satisfazer, mas estamos melhorando. Não somos bons em detectar antes, porque discurso de ódio normalmente precisa de contexto. Ainda depende de reporte do usuário."

Se teve uma coisa que o Facebook aprendeu às duras penas em 2018, quando precisou dar explicações públicas de sua atuação como nunca antes havia feito, é que ele precisa ser transparente. A palavra "transparência" também aparece recorrentemente no discurso de todos os seus representantes --eles também admitem que falharam e que não têm todas as respostas, em alguns casos, inclusive, parecem baratas tontas com o volume de responsabilidade que precisam carregar. Ou cegos em meio a um tiroteio de acusações feitas por todos os lados do globo.

Não é fácil administrar 2,3 bilhões de pessoas, realmente. Mas este é o preço a se pagar quando você faz questão de acumular tanto poder e lucra com esse volume de dados.

Renato Dangelo/UOL Renato Dangelo/UOL
Topo