junho 27, 2022

DigiBrasil

Especialistas em software

Sua empresa deveria colocar uma recompensa em algoritmos distorcidos?

Sua empresa deveria colocar uma recompensa em algoritmos distorcidos?

Sua empresa deveria colocar uma recompensa em algoritmos distorcidos?

Em julho passado, o Twitter anunciou o primeiro desafio de recompensas tendenciosas. O desafio único foi postado no HackerOne, um popular tabuleiro de recompensas de bugs. Seguiu o mesmo padrão geral de um programa público de recompensa de bugs, onde as empresas oferecem recompensas monetárias àqueles que identificam e relatam falhas de segurança em seus sites e sistemas. O objetivo da recompensa do Twitter: identificar danos potenciais causados por seu algoritmo de captura de imagem, que usa um modelo de saliência.

Oito dias depois, Bogdan Kulynych, estudante de doutorado no Laboratório de Engenharia de Segurança e Privacidade do Instituto Federal Suíço de Tecnologia em Lausanne, ganhou o primeiro lugar na competição e pagou a recompensa de US$ 3.500. Sua apresentação foi sobre o ajuste das aparências de 16 rostos fotorealistas que ele gerou com StyleGAN2-ADA para ser mais destacado de acordo com o algoritmo de corte do Twitter. Kulynych mostrou que o algoritmo preferia imagens de pessoas com tom de pele mais claro ou mais quente, pele mais lisa e que parecem mais femininas, mais jovens e mais magras.

Embora o Twitter tenha sido o primeiro a oferecer uma recompensa pública por preconceitos, ele não será o último. Um porta-voz da HackerOne confirmou que “uma mão-cheia” de empresas de tecnologia que já hospedam recompensas de bugs na plataforma está explorando o potencial de oferecer “recompensas que buscam encontrar falhas nos sistemas AI ou ML”.

Considerações sobre a recompensa de insetos para pequenas empresas

Depois que o Twitter ofereceu a primeira recompensa por preconceito em 2021, as empresas menores estão agora considerando seguir o exemplo. Isso permitiria a essas empresas identificar rapidamente o viés algorítmico através de modelos de crowdsourcing e melhorar os serviços aos clientes. Embora as principais preocupações permaneçam em torno de falhas de segurança expostas involuntariamente, ou a exposição de dados de clientes ou propriedade intelectual que possam ser roubados.

Além disso, em seu Relatório de Previsões de 2022, Forrester descobriu que “pelo menos cinco grandes empresas introduzirão recompensas tendenciosas em 2022”. Nomeou especificamente o Google e a Microsoft como prováveis candidatos.

Não são apenas as grandes empresas que estão – ou deveriam – considerar a possibilidade de oferecer recompensas tendenciosas para melhorar seus produtos e serviços baseados em IA como um smodin. As empresas menores e mais novas também estão considerando a possibilidade de oferecer recompensas tendenciosas em 2022. Uma atração é o potencial para identificar rapidamente problemas algorítmicos e melhorar seus produtos ou serviços. A capacidade de melhorar a confiança do cliente e fazer a coisa certa é outra. Mas as pequenas empresas que pensam em recompensas tendenciosas não estão sem reservas.

Mais sobre CybersecurityWhite Hat Hackers: Dentro do mundo do hacking ético

A terceirização em massa leva a uma rápida melhoria

Para as empresas menores e mais novas que oferecem serviços baseados em tecnologia, a criação de recompensas tendenciosas as ajuda a melhorar rapidamente os serviços para seus usuários.

As recompensas tendenciosas modeladas em recompensas de bugs, como foi o caso do Twitter, têm a vantagem de identificar rapidamente os problemas através do poder de crowdsourcing. Foi apenas oito dias desde quando o Twitter anunciou sua recompensa até quando a proposta de Bogdan foi nomeada como vencedora. Embora ele tenha expressado algumas preocupações sobre o que essa linha do tempo poderia significar para o rigor de uma investigação, a velocidade permitida por generosidades tendenciosas, de acordo com Bogdan, poderia ser uma coisa boa.

“Se isto evoluir da mesma forma que os bugs de segurança, esta seria uma situação muito melhor para todos”, ele tweeted, após o anúncio do Twitter de sua submissão vencedora. “O software malicioso não estaria lá durante anos até que sejam reunidas provas rigorosas de danos”.

Para muitas empresas, a oferta de recompensas tendenciosas em um esforço para reduzir o viés algorítmico em seus sistemas simplesmente faz sentido para os negócios. Até mesmo o sentido legal.

“Qualquer forma de discriminação sistemática ou impacto díspar sobre uma classe protegida pode resultar em uma reivindicação de discriminação”. Portanto, há valor em qualquer metodologia que ajude a reduzir esta possível exposição”.

LEER mas   Smodin e WordPress, experimente de graça! Uma plataforma única para a criação de conteúdo. O guia completo de 2022

Peter Cassat, sócio da Culhane Meadows PLLC, um escritório de advocacia nacional de serviço completo, salientou que quando uma empresa passa de processos e sistemas tradicionais para processos e sistemas automatizados, baseados em IA, ainda é a empresa que finalmente toma decisões – e pode ser responsabilizada.

“Há riscos associados ao viés de IA que podem ser considerados riscos legais”, disse ele, falando por experiência de trabalho com clientes. “Qualquer forma de discriminação sistemática ou impacto díspar sobre uma classe protegida pode resultar em uma reivindicação de discriminação”. Portanto, há valor em qualquer metodologia que ajude a reduzir esta possível exposição”.

Para Ruben Gamez, CEO e fundador da SignWell, uma empresa de assinatura eletrônica de documentos, oferecer recompensas tendenciosas é mais sobre o relacionamento entre a empresa e seus clientes do que uma estratégia de redução de riscos. Ele a descreveu como uma espécie de exercício de construção de confiança com seus clientes e base de usuários, particularmente à medida que a empresa cresce.

“Dependemos principalmente de nossos sistemas de IA para a automação simples e para decisões complexas orientadas por dados”, disse ele. “Será emocionante ver os usuários identificarem quaisquer falhas. Isto nos dará a oportunidade de aproveitar nossos conjuntos de dados de entrada e redefini-los para serem mais diversificados”.

Leia mais sobre a AI Music: Empresas e aplicações a conhecer

Existem preocupações com o viés de tamanho para as pequenas empresas

Mas nem todos estão completamente a bordo, com tendência para o tamanho. Jared Stern, fundador e CEO da Uplift Legal Funding, uma empresa de empréstimos em processo judicial, disse que sua firma não está considerando a possibilidade de oferecer uma tendência de tamanho num futuro próximo, embora isso possa ser algo que ele considere mais adiante. Enquanto sua empresa emprega a IA em suas operações, ela ainda está no processo de otimizar seus conjuntos de dados, tornando prematuro o enviesamento de recompensas.

“Eu não acho que [as recompensas tendenciosas] sejam um movimento produtivo, especialmente para as empresas que ainda estão assumindo suas operações com AI”, disse ele.

Além do potencial de que as recompensas tendenciosas sejam inadequadas à situação de uma determinada empresa, as pequenas empresas têm a preocupação de abrir seu funcionamento interno ao público, como fez o Twitter. Quando publicou sua recompensa, o Twitter deu aos potenciais caçadores de preconceitos acesso ao código que havia usado em suas pesquisas sobre a justiça da imagem, que descobriu que seu algoritmo tendia a cultivar rostos negros.

“Vai ser difícil garantir que você proteja a confidencialidade dos dados que, de certa forma, você quer limpar, mas ao mesmo tempo, você precisa ter certeza de não violar nenhum direito de privacidade de um de seus funcionários ou clientes”.

Cassat apontou que existem duas áreas principais de risco para as empresas que realizam preconceitos semelhantes aos do Twitter: expor os clientes a ameaças potenciais, convidando as pessoas a descobrir falhas que poderiam não descobrir e o potencial de expor a propriedade intelectual pertencente à empresa ou a seus parceiros.

“Por exemplo, se usamos SAP no espaço de RH e as pessoas vêm ver como estamos fazendo recrutamento e contratação e promoção dentro de nossos sistemas de RH usando algoritmos automatizados, estamos expondo algumas informações confidenciais da SAP que não estamos autorizados a expor”, disse ele.

LEER mas   Smodin e WordPress, experimente de graça! Uma plataforma única para a criação de conteúdo. O guia completo de 2022

O sigilo do cliente em uma situação em que a abundância de preconceitos pode exigir o uso de dados ao vivo é outra preocupação. “Vai ser difícil ter certeza de que você está protegendo a confidencialidade dos dados que você meio que quer limpar, mas ao mesmo tempo, você precisa ter certeza de que não está violando os direitos de privacidade de nenhum de seus funcionários ou clientes”, disse Cassat.

Mais sobre o viés de aprendizagem de máquinas6 maneiras de combater o viés de aprendizagem de máquinas

Leia nosso artigo sobre A inteligência artificial é uma boa carreira?

Encontrar o equilíbrio entre a segurança e o combate ao preconceito

As pequenas empresas têm algumas estratégias potenciais para evitar os riscos de abertura ao público que elas podem considerar. Um deles é contratar codificadores de terceiros para atuar como editores tendenciosos que poderiam rever os algoritmos de uma empresa. Isto teria a vantagem de perspectivas externas, mas sem muitos dos riscos de se tornar público, como fez o Twitter.

Segundo Cassat, os esforços internos para identificar o viés algorítmico é outra forma de as empresas contornarem as preocupações com as recompensas públicas. Isto poderia ser tão simples quanto ter um sistema de relatórios tendenciosos ou oferecer recompensas aos funcionários que os identificam e os denunciam, para modelar a caça ao viés de hackathons de segurança em vez de recompensas de bugs.

Esta abordagem “red-teaming” para lidar com o viés na IA foi abordada em um relatório de 2020 por pesquisadores e profissionais da IA. Embora recomendando que as organizações que desenvolvem IA “deveriam realizar exercícios de red-teaming para explorar os riscos associados aos sistemas que desenvolvem”, o relatório também apontou que as abordagens atuais de red-teaming são insuficientes. Em vez disso, recomendou o desenvolvimento de uma “comunidade de profissionais de AI em red-teaming”, embora reconhecesse que tal situação poderia inspirar muitas das mesmas preocupações expressas sobre as recompensas públicas.

Do ponto de vista jurídico, Cassat chamou-o de um ato de equilíbrio entre os riscos potenciais associados à identificação de preconceitos e os benefícios de fazê-lo. Mas ele também observou que a crescente pressão dos consumidores para que as tecnologias sejam mais eqüitativas aumentou o foco na responsabilidade social a nível da diretoria. Isto irá impulsionar a atividade em torno da redução do viés algorítmico.

“Não sei até que ponto as empresas vão querer continuar a adquirir essas soluções em massa”, disse ele, acrescentando que promover a diversidade é um bom negócio. “E é a coisa certa a fazer”.

Existem preocupações com o viés de tamanho para as pequenas empresas

Mas nem todos estão completamente a bordo, com tendência para o tamanho. Jared Stern, fundador e CEO da Uplift Legal Funding, uma empresa de empréstimos em processo judicial, disse que sua firma não está considerando a possibilidade de oferecer uma tendência de tamanho num futuro próximo, embora isso possa ser algo que ele considere mais adiante. Enquanto sua empresa emprega a IA em suas operações, ela ainda está no processo de otimizar seus conjuntos de dados, tornando prematuro o enviesamento de recompensas.

“Eu não acho que [as recompensas tendenciosas] sejam um movimento produtivo, especialmente para as empresas que ainda estão assumindo suas operações com AI”, disse ele.

Além do potencial de que as recompensas tendenciosas sejam inadequadas à situação de uma determinada empresa, as pequenas empresas têm a preocupação de abrir seu funcionamento interno ao público, como fez o Twitter. Quando publicou sua recompensa, o Twitter deu aos potenciais caçadores de preconceitos acesso ao código que havia usado em suas pesquisas sobre a justiça da imagem, que descobriu que seu algoritmo tendia a cultivar rostos negros.

“Vai ser difícil garantir que você proteja a confidencialidade dos dados que, de certa forma, você quer limpar, mas ao mesmo tempo, você precisa ter certeza de não violar nenhum direito de privacidade de um de seus funcionários ou clientes”.

Cassat apontou que existem duas áreas principais de risco para as empresas que realizam preconceitos semelhantes aos do Twitter: expor os clientes a ameaças potenciais, convidando as pessoas a descobrir falhas que poderiam não descobrir e o potencial de expor a propriedade intelectual pertencente à empresa ou a seus parceiros.

LEER mas   Smodin e WordPress, experimente de graça! Uma plataforma única para a criação de conteúdo. O guia completo de 2022

“Por exemplo, se usamos SAP no espaço de RH e as pessoas vêm ver como estamos fazendo recrutamento e contratação e promoção dentro de nossos sistemas de RH usando algoritmos automatizados, estamos expondo algumas informações confidenciais da SAP que não estamos autorizados a expor”, disse ele.

O sigilo do cliente em uma situação em que a abundância de preconceitos pode exigir o uso de dados ao vivo é outra preocupação. “Vai ser difícil ter certeza de que você está protegendo a confidencialidade dos dados que você meio que quer limpar, mas ao mesmo tempo, você precisa ter certeza de que não está violando os direitos de privacidade de nenhum de seus funcionários ou clientes”, disse Cassat.

Mais sobre o viés de aprendizagem de máquinas6 maneiras de combater o viés de aprendizagem de máquinas

Leia nosso artigo sobre A inteligência artificial é uma boa carreira?

Encontrar o equilíbrio entre a segurança e o combate ao preconceito

As pequenas empresas têm algumas estratégias potenciais para evitar os riscos de abertura ao público que elas podem considerar. Um deles é contratar codificadores de terceiros para atuar como editores tendenciosos que poderiam rever os algoritmos de uma empresa. Isto teria a vantagem de perspectivas externas, mas sem muitos dos riscos de se tornar público, como fez o Twitter.

Segundo Cassat, os esforços internos para identificar o viés algorítmico é outra forma de as empresas contornarem as preocupações com as recompensas públicas. Isto poderia ser tão simples quanto ter um sistema de relatórios tendenciosos ou oferecer recompensas aos funcionários que os identificam e os denunciam, para modelar a caça ao viés de hackathons de segurança em vez de recompensas de bugs.

Esta abordagem “red-teaming” para lidar com o viés na IA foi abordada em um relatório de 2020 por pesquisadores e profissionais da IA. Embora recomendando que as organizações que desenvolvem IA “deveriam realizar exercícios de red-teaming para explorar os riscos associados aos sistemas que desenvolvem”, o relatório também apontou que as abordagens atuais de red-teaming são insuficientes. Em vez disso, recomendou o desenvolvimento de uma “comunidade de profissionais de AI em red-teaming”, embora reconhecesse que tal situação poderia inspirar muitas das mesmas preocupações expressas sobre as recompensas públicas.

Do ponto de vista jurídico, Cassat chamou-o de um ato de equilíbrio entre os riscos potenciais associados à identificação de preconceitos e os benefícios de fazê-lo. Mas ele também observou que a crescente pressão dos consumidores para que as tecnologias sejam mais eqüitativas aumentou o foco na responsabilidade social a nível da diretoria. Isto irá impulsionar a atividade em torno da redução do viés algorítmico.

“Não sei até que ponto as empresas vão querer continuar a adquirir essas soluções em massa”, disse ele, acrescentando que promover a diversidade é um bom negócio. “E é a coisa certa a fazer”.