- WER médio na transcrição
- 6,95%
- das juntas principais detectadas
- 100%
- modalidades de dados
- 3
O problema
Num plantão, ninguém consegue olhar todos os pacientes o tempo todo. O desafio era usar vídeo, áudio e séries temporais para sinalizar quem precisa de atenção primeiro.
As três frentes
- Vídeo: OpenPose (BODY_25) extrai o esqueleto em vídeos de reabilitação do dataset REHAB24-6. Ângulos posturais e um detector de desvios marcam os quadros fora do padrão. As repetições executadas de forma incorreta concentram cerca de 43% mais quadros com desvio do que as corretas.
- Áudio: Amazon Transcribe transcreve consultas simuladas e o Comprehend Medical extrai achados clínicos. Contra a transcrição humana, o WER médio foi de 6,95% em quatro consultas.
- Sinais vitais e movimentação: IsolationForest sobre os dados do PhysioNet Challenge 2019 (40.336 pacientes de UTI) e do UCI HAR, mais uma regra de degrau para mudanças bruscas de dose.
O que o relatório deixa claro
Os datasets são públicos e não correspondem aos mesmos pacientes nas três modalidades. Nos sinais vitais hora a hora, o desempenho ficou pouco acima do acaso, e o relatório registra isso em vez de esconder. O sistema é exclusivamente acadêmico e não deve ser usado em pacientes reais.