OpenMixer: uma nova abordagem para detecção de ações de vocabulário aberto

OpenMixer é um novo método de detecção de ação de vocabulário aberto que aproveita a semântica e a localização de grandes modelos de linguagem visual (VLM), combinados com o design de transformadores de detecção baseados em consulta (DETR), para resolver com sucesso a detecção de ação no mundo aberto. Experimentos demonstram que o OpenMixer supera os métodos básicos na detecção de ações visíveis e invisíveis.