OpenMixer: nowe podejście do wykrywania akcji otwartego słownika

OpenMixer to nowa metoda wykrywania działań w oparciu o otwarte słownictwo, która wykorzystuje semantykę i możliwość lokalizacji dużych modeli języka wizualnego (VLM) w połączeniu z projektem transformatorów detekcji opartych na zapytaniach (DETR), aby skutecznie rozwiązywać problemy związane z wykrywaniem działań w otwartym świecie. Eksperymenty pokazują, że OpenMixer przewyższa metody podstawowe w wykrywaniu zarówno widocznych, jak i niewidocznych działań.