Mulailah dengan pertanyaan operasional
Sebuah peta bisa mencapai akurasi keseluruhan tinggi sementara hilang target yang paling langka karena latar belakang umum mendominasi evaluasi. Untuk tugas seperti mencari tambalan gangguan kecil, target yang hilang dan alarm palsu memiliki konsekuensi operasional yang berbeda. Evaluasi harus melaporkan kelas target secara eksplisit dan mempertahankan desain sampling.
Pertanyaan yang berhasil adalah, apakah skor klasifikasi mengungkapkan kesalahan yang berarti untuk target inspeksi langka? Tentukan unit evaluasi target langka sebelum survei dimulai dan mengidentifikasi siapa yang akan meninjau mereka. Setuju bukti apa yang akan mengubah inspeksi, sampel atau keputusan manajemen. Ini membuat peta ini terikat pada tugas yang diuji dan memungkinkan untuk membedakan observasi yang berguna dari keluaran yang menarik yang tidak dapat menyelesaikan pertanyaan.
Memahami apa yang sebenarnya diamati gambar
Tes yang dipilih hanya dari contoh yang jelas yang dapat meningkatkan kinerja yang jelas. Proporsi kelas dalam sampel referensi mungkin juga berbeda dari proporsi peta, sehingga jumlah yang tidak tertimbang tidak secara otomatis memperkirakan jumlah area whole.
Untuk unit evaluasi target langka, definisi pengukuran adalah bagian dari hasil. Pertahankan dukungan pengukuran eksplisit: pixel, sebuah objek segmentasi, plot contoh dan blok manajemen mewakili daerah dan sumber variasi yang berbeda. Mengubah ukuran pixel tidak membuat informasi independen atau meningkatkan pengamatan sensor yang mendasari. Putuskan apakah tugas menyangkut lokasi target, area estimasi, membandingkan pengamatan numerik atau memprediksi properti lapangan. Masing-masing membutuhkan evaluasi yang berbeda denominator. Menjaga label tidak pasti dan daerah yang tidak dapat diservis sehingga klasifikasi yang lengkap tidak dapat menyembunyikan bukti hilang. Klaim kualitas akhir harus mengacu pada tugas, geografi, dan kondisi yang diuji.
Mendesain penangkapan di sekitar target dan confounder nya
Menangkap perencanaan untuk unit evaluasi target langka harus dimulai dengan perbandingan yang dimaksudkan. Merancang observasi dan referensi koleksi bersama-sama. Daftar target, respon sensor yang dapat membedakannya, surface membingungkan yang diharapkan dan skala di mana keputusan dibuat. Menangkap perwakilan dengan mudah dan sulit daripada demonstrasi yang bersih secara visual. Simpan waktu akuisisi, informasi kamera, kalibrasi catatan dan konteks lingkungan yang relevan. Dimana beberapa band atau tanggal terlibat, merencanakan cara untuk mengevaluasi keselarasan mereka dan perbandingan. Pilot kecil harus mengungkapkan apakah fitur yang diusulkan sebenarnya dapat diamati sebelum analisis otomatis yang lebih besar diperlakukan sebagai pengukuran yang dapat diandalkan.
Bangun alur kerja pemrosesan dan analisa yang dilacak
Tentukan target dan kelas bukan target, lalu desain referensi independen contoh yang termasuk kasus langka dan sulit. Laporkan sebuah matriks kebingungan bersamaan target presisi dan ingat, menjelaskan penyebut mereka. Kesalahan pemeriksaan dengan ukuran patch dan lokasi. Terapkan pemberat area yang cocok ketika memperkirakan map-area kelas lebar dari sampel yang distratifikasi.
Ulasan kualitas untuk unit evaluasi target langka harus dilanjutkan setelah memproses komplit. Pertahankan masukan numerik asli atau mentah bersama produk tampilan. Verifikasi rumus, identitas band, masker, referensi koordinat dan resampling pilihan. Review perwakilan source- to-output lokasi dan memeriksa apakah jahitan, piksel tepi atau permukaan campuran mendominasi fitur bunga. Rekam versi preprosesing dan model sehingga pemutakhiran dapat direproduksi. Gunakan unit evaluasi independen yang merefleksikan penyebaran, tidak hanya secara acak piksel. Bandingkan fitur canggih yang diusulkan dengan garis dasar yang lebih sederhana; kompleksitas tambahan hanya dibenarkan ketika meningkatkan pengukuran atau keputusan yang ditentukan di bawah evaluasi yang adil.
Bekerja melalui contoh ilustratif
Dalam satu set ilustrasi dari 1,000 lokasi, hanya sepuluh berisi target. Sebuah klasifikasi melabelkan semuanya sebagai latar belakang adalah 99% akurat keseluruhan tetapi mendeteksi tidak ada target. Nilai itu akan sia-sia untuk tim inspeksi mencari sepuluh lokasi tersebut.
Contoh ini untuk unit evaluasi target langka secara sengaja ilustratif, bukan hasil laporan atau janji akurasi. Gantikan asumsi-asumsi tersebut dengan nilai-nilai yang diukur proyek sebelum menggunakan alasan secara operasional. Menjaga pembilang, penyebut, tanggal observasi dan pengecualian terlihat. Jika batas yang masuk akal, visibilitas atau referensi mengubah keputusan, mengumpulkan bukti yang hilang atau mempertahankan kasus sebagai belum terselesaikan daripada melaporkan tempat desimal tambahan.
Validasi dengan bukti lapangan independen
Verifikasi label secara independen dan memeriksa kasus perselisihan. Termasuk target kecil atau tersembunyi daripada mengandalkan contoh besar yang jelas. Rekam apakah referensi mewakili titik, poligon atau objek manajemen.
Evaluasi unit evaluasi target langka harus termasuk baik ditandai target dan lokasi referensi yang tidak ditandai. Memeriksa hanya kandidat yang paling jelas tidak bisa memperkirakan target yang terjawab atau pola alarm penuh. Pengamatan terpisah yang digunakan untuk menyesuaikan metode dari mereka yang digunakan untuk mengevaluasi itu. Menjaga unit sampling dan metode seleksi eksplisit, dan melaporkan kasus sulit atau tidak dapat dilayani daripada menjatuhkan mereka diam-diam. Ketika waktu lapangan berbeda dari waktu gambar, jelaskan apakah situs tersebut dapat berubah antara kunjungan. Ketidaksetujuan adalah bukti untuk menyelidiki, bukan instruksi untuk memaksa catatan tanah untuk mencocokkan peta.
Selesaikan resiko interpretasi topi- spesifik
Target akhir evaluasi harus membedakan lokasi objek dari pemetaan tingkat penuh. Sebuah detektor mungkin menemukan sebagian besar tambalan gangguan sementara memperkirakan daerah mereka buruk, atau area peta dengan baik ketika membagi tugas menjadi duplikat. Laporkan ukuran yang diperlukan oleh alur kerja lapangan dan tambahkan ukuran komplement ketika mempengaruhi jumlah. Jelaskan betapa tidak pasti label referensi ditangani. Dimana sampel oversample langka target, menggunakan estimator yang tepat untuk map-luas area daripada memperlakukan frekuensi kelas sampel sebagai bentang alam proporsi yang benar.
Serahkan bukti yang bisa digunakan tim penerima
Pilih kriteria penerimaan sekitar biaya operasional target yang hilang dan kunjungan yang tidak perlu. Terbitkan ketidakpastian tingkat kelas dan cakupan evaluasi daripada menggunakan persentase tunggal sebagai klaim berkualitas umum.
Untuk unit evaluasi target langka, mempertahankan identifikasi stabil, tanggal pengamatan sumber, referensi koordinat, batas analisis dan status observation yang sah. Pasokan kedua suatu gambaran akses dan data geospasial relevan yang diperlukan. Lampirkan sebuah register eksepsi pendek yang menjelaskan fitur yang belum terselesaikan dan pemeriksaan berguna berikutnya. Jika data direvisi, melestarikan alasan dan versi sehingga jumlah atau status dapat ditelusuri. Minta tim penerima untuk menemukan item sampel dan menafsirkan kepercayaan dirinya; bahwa ulasan praktis sering mengungkapkan konteks hilang bahwa cek integritas berkas tidak dapat mendeteksi.
Ketika mengevaluasi Perangkat Lunak fotogrametri Cloud untuk unit evaluasi target yang langka, menilai alur kerja lengkap dengan suatu data perwakilan. DroneColbab dapat dipertimbangkan untuk mempersiapkan outputs pemetaan fotogrametris, sementara menggunakan interpretasi spesifik dan validasi lapangan tetap penting. (DroneCollab) Bandingkan ekspor, proses tinjauan, dan bukti pilot sebenarnya sebelum memilih alur kerja untuk pekerjaan berulang.
