Начнем с оперативного вопроса
Карта может достичь высокой общей точности, не достигая самых редких целей, поскольку общий фон доминирует в оценке. Для таких задач, как обнаружение небольших заплаток за нарушение, пропущенные цели и ложные тревоги имеют разные эксплуатационные последствия. Оценка должна четко представлять информацию о целевом классе и сохранять структуру выборки.
Рабочий вопрос: выявляет ли классификационный балл ошибки, которые имеют значение для редкой цели проверки? Определите единицы оценки редкого целевого назначения до начала обследования и определите, кто будет их рассматривать. Согласитесь, какие доказательства изменят решение об инспекции, отборе проб или управлении. Это позволяет сохранить карту привязанной к проверяемой задаче и отличать полезное наблюдение от привлекательного результата, который не может решить вопрос.
Понять, что на самом деле наблюдает изображение
Тестовый набор, выбранный только из очевидных примеров, может увеличить кажущуюся производительность. Пропорции классов в эталонном образце могут также отличаться от пропорций карты, поэтому невзвешенные подсчеты не автоматически оценивают величины всей площади.
Для единиц оценки с редкой целью определение измерения является частью результата. Сохраняйте явную поддержку измерений: пиксель, сегментированный объект, участок выборки и блок управления представляют различные области и источники вариации. Изменение размера пикселей не создает независимой информации и не улучшает наблюдения датчиков. Решите, касается ли задача определения целей, оценки площади, сравнения численных наблюдений или прогнозирования свойств поля. Каждый из них требует различного знаменателя оценки. Сохраняйте неопределенные метки и ненаблюдаемые области, чтобы не могла скрыться отсутствующая улика. Окончательное требование к качеству должно относиться к фактической задаче, географии и условиям, которые были проверены.
Дизайн захватывает вокруг цели и ее создателей
Планирование захвата единиц оценки по редким целям должно начинаться с предполагаемого сравнения. Составление коллекции наблюдений и ссылок вместе. Перечислите цель, реакцию датчика, который мог бы ее различить, ожидаемые смешивающиеся поверхности и масштаб, на котором принимается решение. Захват представительских легких и сложных условий, а не только визуально чистая демонстрация. Сохранение времени приобретения, информации о камере, калибровочных записей и соответствующего экологического контекста. В случае, когда задействовано несколько полос или дат, планируйте способ оценки их выравнивания и сопоставимости. Небольшой пилот должен показать, действительно ли предлагаемая функция может быть обнаружена до того, как более крупный автоматизированный анализ будет рассматриваться как надежное измерение.
Создайте отслеживаемый рабочий процесс обработки и анализа
Определите целевые и нецелевые классы, затем разработайте независимую выборку ссылок, которая включает редкие и сложные случаи. Сообщите о матрице путаницы вместе с точностью цели и вспомните, объясняя их знаменатели. Исследуйте ошибки по размеру и местоположению патча. Применять подходящий вес области при оценке областей класса карты в целом из стратифицированных образцов.
Проверка качества единиц оценки по редким целям должна продолжаться после завершения обработки. Сохраняйте исходные или оригинальные числовые входные данные вместе с продуктами отображения. Проверяйте формулы, групповые идентичности, маски, координатные ссылки и выбор повторных образцов. Просмотрите репрезентативные места от источника к выходу и проверьте, доминируют ли швы, краевые пиксели или смешанные поверхности. Запись предварительной обработки и версии модели, чтобы можно было воспроизвести обновление. Используйте независимые оценочные блоки, которые отражают развертывание, а не просто удобные случайные пиксели. Сравните предлагаемую сложную функцию с более простым исходным уровнем; дополнительная сложность оправдана только тогда, когда она улучшает указанное измерение или решение при справедливой оценке.
Работа на иллюстративном примере
В иллюстративном наборе из 1,000 мест только десять содержат цель. Классификатор, помечающий все как фон, в целом точен на 99%, но не обнаруживает никаких целей. Этот счет был бы бесполезен для инспекционной группы, которая ищет эти десять мест.
Этот пример для единиц оценки редкого целевого объекта является преднамеренно иллюстративным, а не сообщенным результатом или обещанием точности. Замените свои предположения измеренными значениями проекта, прежде чем использовать аргументацию в оперативном порядке. Держите числитель, знаменатель, дату наблюдения и исключения видимыми. Если правдоподобная граница, видимость или изменение ссылки изменяют решение, соберите недостающие доказательства или сохраните дело как неразрешенное, а не сообщите о дополнительных десятичных местах.
Проверка независимых полевых доказательств
Проверяйте этикетки самостоятельно и проверяйте случаи разногласий. Включайте небольшие или затененные цели, а не опирайтесь на четкие крупные примеры. Запишите, представляет ли ссылка точки, многоугольники или объекты управления.
Оценка единиц оценки по редким целям должна включать как обозначенные цели, так и подходящие немаркированные контрольные точки. Проверка только наиболее очевидных кандидатов не может оценить ни пропущенные цели, ни полную картину ложной тревоги. Отдельные наблюдения, используемые для корректировки метода, от тех, которые используются для его оценки. Держите блок отбора проб и метод отбора явными, и сообщите о сложных или ненаблюдаемых случаях, а не опускайте их молча. Когда время в поле отличается от времени изображения, объясните, мог ли сайт измениться между посещениями. Разногласия — это доказательства для расследования, а не инструкция, чтобы заставить наземную запись соответствовать карте.
Устранение рисков, связанных с толкованием конкретных тем
Оценка редкой цели должна отличать обнаружение объекта от отображения его полной протяженности. Детектор может обнаружить большинство патчей возмущений, плохо оценивая их области или хорошо отображая область при разделении задач на дубликаты. Сообщите о мере, необходимой для полевого рабочего процесса, и добавьте дополнительную меру, когда она влияет на количество. Объясните, как обрабатывались неопределенные референтные метки. Если выборка пересортирует редкие цели, используйте соответствующий оценщик для всей области карты, а не рассматривайте частоты класса выборки как истинные пропорции ландшафта.
Предоставить доказательства того, что принимающая команда может использовать
Выберите критерии принятия в отношении эксплуатационных расходов на пропущенные цели и ненужные посещения. Публикуйте неопределенность и оценку на уровне класса, а не использовать один процент в качестве общего требования к качеству.
Для передачи единиц оценки с редким объектом сохраняют стабильные идентификаторы, дату наблюдения источника, координатную ссылку, границу анализа и статус достоверного наблюдения. Предоставьте доступный обзор и соответствующие геопространственные данные, где это необходимо. Прикрепите короткий регистр исключений, который объясняет нерешенные функции и следующую полезную проверку. Если данные будут пересмотрены, сохраните причину и версию, чтобы можно было отследить количество или статус. Попросите принимающую команду найти образец и интерпретировать его уверенность; этот практический обзор часто показывает недостающий контекст, который проверка целостности файла не может обнаружить.
При оценке программного обеспечения Cloud Photogrammetry для единиц оценки с редкими целями, оцените полный рабочий процесс с помощью репрезентативного набора данных. DroneCollab можно рассматривать для подготовки результатов фотограмметрического картирования, в то время как интерпретация и проверка полей по конкретным задачам остаются важными. Сравните необходимый экспорт, процесс обзора и фактические экспериментальные данные, прежде чем выбрать рабочий процесс для повторяющихся работ.
