Voltar

Vero

Plataforma clínica que acompanha a consulta em tempo real e faz a pré-consulta do paciente pelo WhatsApp

Autor principal, pipeline de LLM clínico, agente de pré-consulta e importação de documentos

Repositório privado

Sobre o projeto

Vero dá suporte cognitivo ao médico enquanto o atendimento acontece. O áudio é capturado no navegador e transcrito por streaming; sobre essa transcrição, um serviço de IA clínica levanta hipóteses diagnósticas, aponta sinais de alerta, sugere condutas e prepara um rascunho de prescrição. O médico acompanha tudo em um painel de raciocínio clínico com chat, marcando o que é útil e dispensando o resto, e encerra a consulta com todo o material consolidado. Antes disso, o paciente já foi atendido pelo outro lado da plataforma: um agente no WhatsApp conduz a pré-consulta, coleta queixa, histórico, alergias, medicamentos em uso e exames, e entrega ao médico um caso já organizado em vez de uma ficha em branco. O sistema é um monorepo pnpm em que frontend e backend compartilham os mesmos contratos em TypeScript e Zod, incluindo o formato das mensagens de WebSocket. Dois microsserviços Python completam o conjunto: um cuida do LLM clínico com RAG sobre embeddings, o outro da importação de prontuários e laudos por OCR.

Como funciona

A consulta abre uma sessão com dois canais WebSocket: um para o áudio, outro para o estado. O áudio segue para o Deepgram em streaming e volta como transcrição; a conexão se recupera sozinha com backoff exponencial se a rede oscilar. O serviço de LLM clínico consome a transcrição em andamento, recupera contexto por similaridade sobre a base vetorial e devolve hipóteses, sinais de alerta e sugestões de conduta, que aparecem para o médico à medida que a conversa avança. O painel de raciocínio pode ser maximizado, e o texto chega palavra a palavra em vez de aparecer de uma vez. Documentos em PDF ou imagem passam pelo serviço de importação, que extrai o conteúdo com PyMuPDF ou OCR e organiza os achados no prontuário. Agenda, pacientes, consultas, membros da organização e trilha de auditoria são módulos da API em Fastify, com autenticação por JWT do Supabase.

Arquitetura

  1. 01

    Frontend React com Vite: painel do médico, agenda, consulta ativa e chat de raciocínio clínico

  2. 02

    API Fastify em TypeScript: REST e WebSocket para áudio e estado da consulta

  3. 03

    Módulos da API: consultas, agendamentos, pacientes, médicos, organização e auditoria

  4. 04

    Serviço Python de LLM clínico: pipeline de embeddings, RAG e geração das hipóteses

  5. 05

    Serviço Python de importação: extração de PDF e OCR de prontuários e laudos

  6. 06

    Agente de WhatsApp: pré-consulta conduzida com o paciente antes do atendimento

  7. 07

    Pacote de contratos compartilhados em TypeScript e Zod, inclusive das mensagens WebSocket

  8. 08

    PostgreSQL com Supabase para autenticação, dados e armazenamento

Funcionalidades

  • Transcrição da consulta em tempo real, com reconexão automática
  • Hipóteses diagnósticas e sinais de alerta durante o atendimento
  • Sugestão de conduta e rascunho de prescrição
  • Painel de raciocínio clínico com chat, marcando insights úteis ou dispensados
  • Tela de encerramento com o material da consulta consolidado
  • Pré-consulta conduzida com o paciente pelo WhatsApp
  • Importação de prontuários e laudos por OCR
  • Agenda e prontuário do paciente com trilha de auditoria
  • Contratos compartilhados entre frontend e backend, inclusive no WebSocket

Tecnologias

Frontend/Backend
TypeScript
Frontend
React 19 · Vite · Tailwind CSS 4 · TanStack Query
Backend
Fastify · Node.js · WebSocket · Python · FastAPI
AI/ML
Deepgram · OpenAI · RAG
Tools
PyMuPDF · pytesseract · Zod
Database
PostgreSQL · Supabase
Infrastructure
Docker
Todos os projetos