OpenMixer: een nieuwe benadering voor het detecteren van open woordenschatacties

OpenMixer is een nieuwe actiedetectiemethode met open woordenschat die gebruikmaakt van de semantiek en lokaliseerbaarheid van grootschalige visuele taalmodellen (VLM), gecombineerd met het ontwerp van op zoekopdrachten gebaseerde detectietransformatoren (DETR), om actiedetectie in de open wereld met succes op te lossen. vraag. Experimenten tonen aan dat OpenMixer beter presteert dan basismethoden bij het detecteren van zowel zichtbare als onzichtbare acties.