Uma grande quantidade de médicos já está usando IA em cuidados médicos: WebCuriosos
Um em cada cinco médicos do Reino Unido utiliza uma ferramenta de inteligência artificial generativa (GenAI) – como o ChatGPT da OpenAI ou o Gemini do Google – para auxiliar na prática clínica. Isto está de acordo com um pesquisa recente de cerca de 1.000 GPs.
Os médicos relataram usar o GenAI para gerar documentação após consultas, ajudar a tomar decisões clínicas e fornecer informações aos pacientes – como resumos de alta e planos de tratamento compreensíveis.
Considerando o entusiasmo em torno da inteligência artificial juntamente com os desafios que os sistemas de saúde enfrentam não é surpresa que tanto os médicos como os decisores políticos vejam a IA como fundamental na modernização e transformando nossos serviços de saúde.
Mas a GenAI é uma inovação recente que desafia fundamentalmente a forma como pensamos sobre a segurança do paciente. Ainda há muito que nós preciso saber sobre o GenAI antes que ele possa ser usado com segurança na prática clínica diária.
Os problemas com GenAI
Tradicionalmente, as aplicações de IA foram desenvolvidas para executar uma tarefa muito específica. Por exemplo, redes neurais de aprendizagem profunda têm sido usadas para classificação em imagens e diagnósticos. Tais sistemas revelam-se eficazes na análise de mamografias para auxiliar na rastreio do cancro da mama.
Mas a GenAI não está treinada para executar uma tarefa estritamente definida. Estas tecnologias baseiam-se nos chamados modelos de fundaçãoque possuem recursos genéricos. Isso significa que eles podem gerar texto, pixels, áudio ou até mesmo uma combinação destes.
Esses recursos são então ajustados para diferentes aplicações – como responder a consultas de usuários, produzir código ou criar imagens. As possibilidades de interação com este tipo de IA parecem ser limitadas apenas pela imaginação do utilizador.
Crucialmente, como a tecnologia não foi desenvolvida para utilização num contexto específico ou para uma finalidade específica, não sabemos realmente como os médicos podem utilizá-la com segurança. Esta é apenas uma das razões pelas quais o GenAI ainda não é adequado para uso generalizado na área da saúde.
Outro problema no uso da GenAI na área da saúde é a fenômeno bem documentado de “alucinações”. As alucinações são resultados sem sentido ou mentirosos com base na informação que foi fornecida.
As alucinações foram estudadas no contexto da criação de resumos de texto pela GenAI. Um estudo encontrado várias ferramentas GenAI produziram resultados que criavam links incorretos com base no que foi dito no texto, ou resumos incluíam informações que nem sequer eram mencionadas no texto.
As alucinações ocorrem porque o GenAI funciona com base no princípio da probabilidade – como prever qual palavra se seguirá em um determinado contexto – em vez de se basear na “compreensão” no sentido humano. Isso significa que as saídas produzidas pela GenAI são plausível em vez de necessariamente verdadeiro.
Esta plausibilidade é outra razão pela qual é muito cedo para usar GenAI com segurança na prática médica de rotina.
Imagine uma ferramenta GenAI que escuta a consulta de um paciente e depois produz uma nota resumida eletrônica. Por um lado, isto liberta o médico de família ou o enfermeiro para se envolver melhor com o seu paciente. Mas, por outro lado, a GenAI poderia potencialmente produzir notas com base no que considera plausível.
Por exemplo, o resumo do GenAI pode alterar a frequência ou gravidade dos sintomas do paciente, adicionar sintomas dos quais o paciente nunca reclamou ou incluir informações que o paciente ou médico nunca mencionou.
Médicos e enfermeiros precisariam fazer uma revisão atenta de quaisquer anotações geradas por IA e ter excelente memória para distinguir a informação factual da informação plausível – mas inventada.
Isto pode ser adequado num ambiente de médico de família tradicional, onde o médico de família conhece o paciente suficientemente bem para identificar imprecisões. Mas em nosso sistema de saúde fragmentadoonde os pacientes são frequentemente atendidos por diferentes profissionais de saúde, quaisquer imprecisões nas anotações do paciente podem representar riscos significativos para a sua saúde – incluindo atrasos, tratamento inadequado e diagnósticos errados.
Os riscos associados às alucinações são significativos. Mas vale a pena notar que pesquisadores e desenvolvedores estão atualmente trabalhando reduzindo a probabilidade de alucinações.
Segurança do paciente
Outra razão pela qual é muito cedo para usar GenAI na área da saúde é porque a segurança do paciente depende das interações com a IA para determinar até que ponto funciona num determinado contexto e ambiente – observando como a tecnologia funciona com as pessoas, como se adapta às regras e pressões e à cultura e prioridades dentro de um sistema de saúde mais amplo. Essa perspectiva de sistemas determinaria se o uso do GenAI é seguro.
Mas como o GenAI não foi projetado para um uso específico, isso significa que é adaptável e pode ser usado de maneiras que não podemos prever totalmente. Além disso, os desenvolvedores atualizam regularmente sua tecnologia, adicionando novos recursos genéricos que alterar o comportamento do aplicativo GenAI.
Além disso, podem ocorrer danos mesmo que a tecnologia pareça funcionar de forma segura e conforme pretendido – mais uma vez, dependendo do contexto de utilização.
Por exemplo, a introdução de agentes conversacionais GenAI para triagem poderia afetar a disposição de diferentes pacientes em se envolverem com o sistema de saúde. Pacientes com menor alfabetização digital, pessoas cuja primeira língua não é o inglês e pacientes não-verbais podem achar difícil usar o GenAI. Portanto, embora a tecnologia possa “funcionar” em princípio, isso ainda poderia contribuir para danos se a tecnologia não funcionasse igualmente para todos os utilizadores.
A questão aqui é que tais riscos com GenAI são muito mais difíceis de antecipar através de abordagens tradicionais de análise de segurança. Eles estão preocupados em entender como uma falha na tecnologia pode causar danos em contextos específicos. Os cuidados de saúde poderiam beneficiar tremendamente da adoção de GenAI e outras ferramentas de IA.
Mas antes que estas tecnologias possam ser utilizadas nos cuidados de saúde de forma mais ampla, a garantia e a regulamentação da segurança terão de se tornar mais sensíveis à evolução de onde e como estas tecnologias são utilizadas.
Também é necessário que os desenvolvedores de ferramentas e reguladores GenAI trabalhar com as comunidades que utilizam estas tecnologias para desenvolver ferramentas que possam ser utilizadas regularmente e com segurança na prática clínica.
Marco SujanCátedra em Ciências da Segurança, Universidade de York
Este artigo foi republicado de A conversa sob uma licença Creative Commons. Leia o artigo original.