Модель была верифицирована с помощью MIT/Tuebingen Saliency Benchmark (
https://saliency.tuebingen.ai/). Данный бенчмарк представляет собой набор данных по распределению взгляда на сотнях изображениях с реальных eye tracking исследований и методологию по сравнению результатов этих данных и результатов предиктивной модели. Сходство нашей предиктивной модели с реальными eye tracking исследованиями на людях составило 95%, что говорит о том, что модель достаточно точно прогнозирует как распределится внимание аудитории на том или ином изображении.
MIT/Tuebingen Saliency Benchmark – это стандартный набор данных и методология для оценки предсказательных нейросетевых eye tracking моделей. Этот бенчмарк был создан в результате сотрудничества Массачусетского технологического института (MIT) и Университета Тюбингена (University of Tuebingen).
Он включает:
- Набор изображений с записями движений глаз (eye-tracking данные) от множества независимых лабораторий и компаний.
- Метрики оценки (например, AUC, NSS, sAUC, CC), на основе которых сравнивают предсказания конкретной модели и реальные данные по eye tracking, полученные в ходе исследований на людях.
- Методологию по формированию итоговой оценки точности предсказаний исследуемой модели.
Более подробная информация об MIT/Tuebingen Saliency Benchmark доступна здесь:
https://people.csail.mit.edu/tjudd/WherePeopleLook/index.html