Microsoft Sues Hacking Group Explora Azure AI para Criação de Conteúdo Prejudicial

A Microsoft revelou que prosseguir uma ação legal contra um “grupo ameaça-–actor baseado no estrangeiro” por operar uma infra-estrutura de hacking-as-a-service para contornar intencionalmente os controles de segurança de seus serviços de inteligência artificial generativa (IA) e produzir conteúdo ofensivo e prejudicial.

A Unidade de Crimes Digitais (DCU) da gigante de tecnologia observou que os agentes de ameaças “desenvolveu software sofisticado que explorou as credenciais de clientes expostas extraídas de sites públicos” e “procurou identificar e acessar ilegalmente contas com certos serviços de IA generativos e alterar propositadamente as capacidades desses serviços.”

Os adversários usaram esses serviços, como o Azure OpenAI Service, e monetizaram o acesso vendendo-os a outros agentes maliciosos, fornecendo instruções detalhadas sobre como usar essas ferramentas personalizadas para gerar conteúdo prejudicial. A Microsoft disse que descobriu a atividade em julho de 2024.

A fabricante do Windows disse que, desde então, revogou o acesso do grupo de agentes de ameaças, implementou novas contramedidas e fortaleceu suas salvaguardas para evitar que tal atividade ocorra no futuro. Ele também disse que obteve uma ordem judicial para apreender um site (“aitismo[.]net”) que era central para a operação criminosa do grupo.

A popularidade de ferramentas de IA como o OpenAI ChatGPT também teve a consequência de atores de ameaças abusando deles para intenções maliciosas, desde a produção de conteúdo proibido até o desenvolvimento de malware. Microsoft e OpenAI têm repetidamente divulgado grupos de Estados-nação da China, Irã, Coreia do Norte e Rússia estão usando seus serviços para reconhecimento, tradução e campanhas de desinformação.

Documentos judiciais mostre isso pelo menos três indivíduos desconhecidos estão por trás da operação, aproveitando chaves de API do Azure roubadas e informações de autenticação de ID de Entra do cliente para violar sistemas da Microsoft e criar imagens prejudiciais usando DALL-E em violação da sua política de uso aceitável. Acredita-se que outras sete partes tenham usado os serviços e ferramentas fornecidos por elas para fins semelhantes.

A maneira pela qual as chaves de API são colhidas atualmente não é conhecida, mas a Microsoft disse que os réus se envolveram em “roubo sistemático de chaves de API” de vários clientes, incluindo várias empresas dos EUA, algumas das quais estão localizadas na Pensilvânia e Nova Jersey.

“Usando chaves de API da Microsoft roubadas que pertenciam a clientes Microsoft baseados nos EUA, os réus criaram um esquema de hacking-as-a-service – acessível através de infraestrutura como os domínios ‘rentry.org/de3u’ e ‘aitism.net’ – especificamente projetados para abusar da infraestrutura e software Azure da Microsoft”, disse a empresa em um arquivamento.

De acordo com a agora removido repositório GitHub3u foi descrito como um frontend “DALL-E 3 com suporte a proxy reverso.” A conta do GitHub em questão foi criada em 8 de Novembro de 2023.

Diz-se que os agentes de ameaças tomaram medidas para “cobrir suas faixas, incluindo a tentativa de excluir certas páginas do Rentry.org, o repositório GitHub para a ferramenta de3u e partes da infraestrutura de proxy reverso”, após a apreensão de “aitism[.]net.”

A Microsoft observou que os agentes de ameaças usaram o de3u e um serviço de proxy reverso personalizado, chamado de proxy reverso oai, para fazer chamadas da API do Azure OpenAl Service usando as chaves de API roubadas, a fim de gerar ilegalmente milhares de imagens prejudiciais usando prompts de texto. Não está claro que tipo de imagens ofensivas foram criadas.

O serviço de proxy reverso oai em execução em um servidor foi projetado para canalizar as comunicações dos computadores do usuário de3u através de um túnel da Cloudflare para o Serviço Azure OpenAI e transmitir as respostas de volta ao dispositivo do usuário.

“O software de3u permite que os usuários emitam chamadas de API da Microsoft para gerar imagens usando o modelo DALL-E através de uma interface de usuário simples que aproveita as APIs do Azure para acessar o Serviço Azure OpenAI”, explicou Redmond.

“A aplicação de3u dos defensores comunica-se com os computadores do Azure usando APIs de rede da Microsoft não documentadas para enviar solicitações projetadas para imitar solicitações legítimas da API do Azure OpenAPI Service. Essas solicitações são autenticadas usando chaves de API roubadas e outras informações de autenticação.”

Vale ressaltar que o uso de serviços de proxy para acessar ilegalmente serviços LLM foi destacado pela Sysdig em maio de 2024 em conexão com um Campanha de ataque LLMjacking segmentar ofertas de IA da Anthropic, AWS Bedrock, Google Cloud Vertex AI, Microsoft Azure, Mistral e OpenAI usando credenciais de nuvem roubadas e vendendo o acesso a outros atores.

“Os acusados conduziram os assuntos da Azure Abuse Enterprise através de um padrão coordenado e contínuo de atividade ilegal, a fim de alcançar seus propósitos ilegais comuns”, disse a Microsoft.

“O padrão de atividade ilegal dos acusados não se limita a ataques à Microsoft. As evidências que a Microsoft descobriu até o momento indicam que o Azure Abuse Enterprise tem segmentado e vitimado outros provedores de serviços de IA.”

Fonte: https://thehackernews.com/