OpenMixer: un nuevo enfoque para la detección de acciones de vocabulario abierto

OpenMixer es un nuevo método de detección de acciones de vocabulario abierto que aprovecha la semántica y la localizabilidad de grandes modelos de lenguaje visual (VLM), combinados con el diseño de transformadores de detección basados ​​en consultas (DETR), para resolver con éxito la detección de acciones en el mundo abierto. Los experimentos demuestran que OpenMixer supera a los métodos básicos en la detección de acciones tanto visibles como invisibles.