(in portuguese: Segmentação de conjunto aberto totalmente convolucional)
Oliveira, Hugo; Silva, Caio; Machado, Gabriel LS; Nogueira, Keiller; dos Santos, Jefersson A.
Machine Learning, pp. 1–52, 2021.
http://dx.doi.org/10.1007/s10994-021-06027-1
Resumo
Na segmentação semântica tradicional, conhecer todas as classes existentes é essencial para produzir resultados eficazes com a maioria das abordagens existentes. Porém, esses métodos treinados em um Conjunto Fechado de classes falham quando novas classes são encontradas na fase de teste, não sendo capazes de reconhecer que uma classe não vista foi alimentada. Isso significa que eles não são adequados para cenários de conjunto aberto, que são muito comuns em aplicações de visão computacional e sensoriamento remoto do mundo real. Neste artigo, discutimos as limitações da segmentação de conjuntos fechados e propomos duas abordagens totalmente convolucionais para abordar efetivamente a segmentação semântica de conjuntos abertos: OpenFCN e OpenPCS. OpenFCN é baseado no conhecido algoritmo OpenMax, configurando uma nova aplicação desta abordagem em configurações de segmentação. OpenPCS é uma abordagem totalmente nova baseada no espaço de recursos de ativações DNN que servem como recursos para calcular PCA e probabilidade gaussiana multivariada em um espaço dimensional inferior. Além do OpenPCS e visando reduzir os requisitos de memória RAM da metodologia, propomos também uma ligeira variação do método (OpenIPCS) que utiliza uma versão iterativa do PCA capaz de ser treinada em pequenos lotes. Os experimentos foram conduzidos nos conhecidos conjuntos de dados ISPRS Vaihingen/Potsdam e 2018 IEEE GRSS Data Fusion Challenge. O OpenFCN mostrou pouca ou nenhuma melhoria quando comparado ao limite SoftMax mais simples e muito mais eficiente em termos de tempo, embora tenha sido algumas ordens de magnitude mais lento. OpenPCS alcançou resultados promissores em quase todos os experimentos, superando os limites OpenFCN e SoftMax. OpenPCS também é um compromisso razoável entre o desempenho de tempo de execução do limiar SoftMax extremamente rápido e do OpenFCN extremamente lento, sendo capaz de rodar quase em tempo real. Experimentos também indicam que o OpenPCS é eficaz, robusto e adequado para segmentação de Open Set, sendo capaz de melhorar o reconhecimento de pixels de classes desconhecidas sem reduzir a precisão nos pixels de classes conhecidas. Também testamos o cenário de ocultar múltiplas classes conhecidas para simular incógnitas multimodais, resultando em uma lacuna ainda maior entre OpenPCS/OpenIPCS e tanto o limiar SoftMax quanto OpenFCN, implicando que a modelagem gaussiana é mais robusta para configurações com maior abertura.
Resumo gráfico
