Caltech 101

База данных Caltech 101 — объёмная база данных изображений, предназначенная для отработки и тестирования методов распознавания образов и машинного зрения. Этот набор данных создали в сентябре 2003 года в Калифорнийском технологическом институте Фэй-фэй Ли, Марк Аурелио Ранцато и Петро Перона. В базу данных входит 9146 изображений, распределённые между 101 категориями — лица, часы, муравьи, пианино и прочие. К каждому изображению прилагается аннотация, а также скрипт библиотеки MATLAB для просмотра.

Назначение

База данных содержит стандартизированные образцы для машинного обучение, чтобы вырабатывать и отлаживать модули компьютерного зрения. Для повышения эффективности требуется большое количество данных. Так например метод распознавания объектов в режиме реального времени, предложенный Паулем Виолой и Майклом Дж. Джонсом обучался на 4916 образцах лиц человека с добавленными метками.

Подготовка изображений — нарезка, приведение к стандартному размеру, маркировка — требуют значительной ручной работы. Кроме того каждые разработчики ориентируются на свои задачи, и оперируют своими данными, отчего становится необходимым сопоставление различных методов и подходов к машинному обучению.

Набор Caltech 101 полезен как альтернатива для тестирования методов распознавания образов и обладает следующими достоинствами:

• Изображения уже вырезаны и приведены к стандартному размеру.
• Представлено много категорий, что позволяет апробировать алгоритмы распознавания как отдельных классов, так и классификации.
• Уже готовы описания объектов.
• Доступно для общего употребления. Caltech 101 призван как стандарт для сопоставления алгоритмов.

Однако последние исследования показывают, что тесты, основанные на неконтроллируемых естественных образцах (подобно Caltech 101) могут и серьёзно вводить в заблуждение, направляя разработки в неправильное русло.

Набор образцов

Изображения

9146 изображений в базе данных разделены на 101 категорию.

В каждой категории имеется от 40 до 800 изображений. Распространённые изображения (например, лица) имеют больше изображений, чем другие.

Размер изображения приблизительно равен 300x200 пикселей. Ориентированные объекты (например мотоциклы, самолёты) смотрят всегда слева направо, а вертикальные структуры (например дома) развёрнуты чтобы быть не по оси.

Аннотации

К каждому изображению прилагается несколько аннотаций — координаты рамки в которой находится объект и детальное описание.

Скрипт библиотеки MATLAB позволяет загрузить изображение и соответствующую аннотацию.

Применения

Анализ и сравнение

Преимущества

Caltech 101 обладает следующими преимуществами:

• Стандартные размеры и представление изображений:
  • Почти все объекты имеют одни и те же размеры и положение на изображении. Caltech 101 не требует вырезания или скалирования частей изображения.
• Низкий уровень помех и наложений:
  • Алгоритмы сосредоточены на распознавание уникальных признаков объекта. Однако большинство изображений имеют разный уровень шума на заднем плане, которые могут внести в алгоритм шумы.
• Детальные аннотации

Недостатки

Недостатки базы данных Caltech 101 иногда связывают с сознательными привнесёнными искажениями, а иногда — с ограниченностью набора.

В качестве недостатков отмечают:

• Данные слишком чистые:
  • Оттого что изображения единообразны по размеру, ориентации и низкому уровню помех, набор не всегда оказывается достаточно репрезентативным для практических надобностей. В реальности изображения бывают более замутнёнными, наложенными друг на друга и варьируемы в размерах, позиции и ориентации. Единообразие объектов через средние параметры по категории являются также нереалистичными.
• Ограниченное число категорий:
  • Caltech 101 представляет очень малую часть возможных и практических категорий объектов.
• В некоторых категориях слишком мало образцов:
  • Некоторые категории представлены только 31 изображениями, что недостаточно репрезентативно.
  • То есть N t r a i n ≤ 30 {displaystyle mathrm {N} _{mathrm {train} }leq 30} . Менее 30 изображений бывает явно недостаточно в ряде приложений.
• Алиасинг и различные артефакты в процессе манипуляции с изображениями:
  • Некоторые изображения повёрнуты и масштабированы по отношению к их изначальной позиции, негативный эффект могут оказывать artifacts и алиасинг.

Развитие

• Caltech 256 — набор данных, созданный в 2007 году. Создатели пытались усовершенствовать представительность Caltech 101. Хотя этот набор более сложный, но его проблемы сопоставимы
  • 30 607 изображений с увеличенным количеством категорий
  • В одной категории как минимум 80 изображений
  • Изображения не ориентированы слева направо
  • Больше вариаций в представлении изображений
• LabelMe — открытый динамический набор данных, созданный в Лаборатории искусственного интеллекта при Массачусетском технологическом институте (CSAIL). LabelMe использует различные подходы и включает также изображения с различными помехами.
  • 106 739 изображений, 41 724 аннотированных изображения, 203 363 объекта с метками.
  • Пользователи могут добавлять м загружать изображения, а также добавлять метки и аннотации к существующим образцам.
  • LabelMe за счёт своей открытости покрывает большее количество изображений в более широком диапазоне, чем Caltech 101. Однако набор не так консистентен, потому что решения о добавлении и маркировке изображений принимают различные, нередко случайные люди.
• VOC 2008 — европейский проект сборки изображений для оценки методов категоризации. По сравнению с Caltech 101/256, представлено небольшое количество категорий (около 20). Однако в каждой категории больше изображений.
• OIRDS (Overhead Imagery Research Data Set) — библиотека изображений и аннотаций. OIRDS v1.0 состоит из изображений транспортных средств с аннотацией, помещённой в дополнительную часть изображения. Используются такие категории, как автомобили, грузовики, ваны и т. д. Помимо типовых описаний, OIRDS включает объективную и субъективную статистику, время дня, день и аэросъёмку места изображения, а также субъективная оценка помех, шумов, чёткости и т. д.
  • ~900 изображений, ~1800 аннотированных изображений
  • ~30 аннотаций для каждого объекта
  • ~60 статистических параметров для каждого объекта
  • Широкая вариация контекста
  • Охватывает исключительно пассажирские транспортные средства
• MICC-Flickr 101 — набор изображений, собранный в Центре медиа-интеграции (MICC), Флорентийского университета в in 2012 году. В основу положен Caltech 101, а данные добавлены через Flickr. MICC-Flickr 101 выправляет основные недостатки Caltech 101, в частности вариативность классов, и добавляет социальные аннотации через пользовательские атрибуты. Он содержит те же 101 категорию и может быть использован для сравнения результатов задач категоризации как для ограниченных сценариев, (Caltech 101), так и для условий приближенных к реальности (MICC-Flickr 101) на тех же категориях.
• ImageNet — проект по созданию базы данных со многими миллионами аннотированными изображениями, рассортированными на тысячи категорий.