30. Résoudre les problèmes les plus fréquents
30.10. Le filtre antispam ne fonctionne pas correctement
Ao longo do desenvolvimento deste trabalho foram identificados vários pontos de possíveis melhorias que não puderam ser profundamente avaliados. Sugestões de trabalhos futuros permeiam as diversas partes do modelo criado. Uma ideia inicial seria criar uma função de perda que conseguisse capturar o efeito “fantasma”. Sugestões seriam treinar redes siamesas, desenvolvidas inicialmente por Bromley et al. [8], que são um tipo de rede neural que aprende a similaridade entre as suas entradas. Uma rede siamesa é composta por duas redes neurais idênticas, cada uma recebendo como entrada uma das imagens que se deseja comparar. A última camada de ambas as redes passa por uma função de perda que calcula a similaridade entre ambas.
Outra possibilidade seria alterar a composição da rede UPNet, que é utilizada pra- ticamente da mesma forma por várias redes que alcançaram o estado da arte. Pode-se verificar novamente a utilização do conceito de convoluções reversas, ou deconvoluções, como utilizado por Dong et al. [14], e também de cápsulas deconvolucionais criadas por LaLonde e Bagci [35], ou utilizar métodos mais recentes da literatura. Kim e Lee [32] recentemente propuseram a enhanced upscaling module (EUM), que alcança resultados melhores por meio de não linearidades e conexões residuais.
Uma outra sugestão seria investigar novas funções de não linearidade e roteamento para as cápsulas. Supõe-se que as funções desenvolvidas no trabalho original de Sabour et al. [62], cujos objetivos são que o comprimento do vetor de saída de uma cápsula indique a probabilidade de que a entidade representada pela mesma esteja presente na entrada atual, possam não ser as mais adequadas para problemas de super-resolução, pois o objetivo não é identificar instâncias de classes. Pode-se também verificar a utilização de outros modelos de cápsulas, como o desenvolvido por Hinton et al. [23], em que as cápsulas assumem o formato matricial ao invés de vetorial. A possível desvantagem de modelos nesse formato é o custo de memória requerido por essas cápsulas, que limita o crescimento tanto em profundidade quanto em largura.
Figura 4.14: Resultados de PSNR para todos os modelos treinados com função de perda L1 e Barron.
Pode-se também considerar o uso de outras formas de pré-processamento, visando criar novos canais na imagem original e permitir que a rede aprenda detalhes mais específicos necessários para super-resolução. Possibilidades incluem a utilização de características de imagens tradicionais como o Scale Invariant Feature Transform (SIFT) [46], Speeded Up Robust Features (SURF) [6], Oriented FAST and Rotated BRIEF (ORB) [61], Fast Retina Keypoint (FREAK) [3], Binary Robust Invariant Scalable Keypoints (BRISK) [39] e KAZE [4].
Mudanças na forma de treinamento são outras opções a serem avaliadas, com o objetivo de atualizar os pesos da rede de forma mais inteligente. Como principal sugestão, tem-se o conceito de treinamento Dense-Sparse-Dense (DSD) introduzido por Han et al. [20],
Figura 4.15: Resultados de SSIM para todos os modelos treinados com função de perda L1 e Barron.
no qual inicialmente a rede é treinada normalmente. Como passo seguinte, os pesos que menor contribuem para seu resultado são removidos da rede (do inglês, pruned) e ela é treinada novamente, visando especializar ainda mais os pesos restantes. Finalmente, os pesos removidos são zerados e readicionados à rede, e ela é treinada mais uma vez, dessa forma, ressignificando os pesos menos importantes e melhorando o resultado de todos os modelos como mostrado pelo autor.
Além de mudanças visando à melhoria das métricas, trabalhos futuros podem se con- centrar na melhoria do consumo de memória da rede e tempo de processamento. Baseado no trabalho de Veit et al. [76] é possível remover caminhos não utilizados pela rede afetando minimamente suas métricas, reduzindo assim sua redundância. Outras possibilidades vêm
Figura 4.16: Resultados de MS-SSIM para todos os modelos treinados com função de perda L1 e Barron.
por meio de técnicas como as utilizadas por Han et al. [19], no qual técnicas de "poda" (pruning) aplicadas em conjunto com quantização (com 8 bits ou menos) e codificação Huffman criam uma abordagem chamada de Deep Compression, que alcança redução de 35× a 49× no tamanho ocupado na memória, proporciona melhoria de velocidade entre camadas de 3× a 4× e eficiência energética de 3× a 7× sem afetar as acurácias das redes.
Figura 4.17: Comparação entre resultados de treinamento com as funções L1 e Barron para a imagem 0829 da base DIV2K.
Figura 4.18: Comparação entre resultados de treinamento com as funções L1 e Barron para a imagem img075 da base Urban100.
Capítulo 5
Conclusões
Este trabalho teve por objetivo avaliar a utilização do conceito de cápsulas na solução do problema de super-resolução de imagem única, além de verificar novas formas de trei- nar e validar o resultado de redes neurais para esse fim. Foi evidenciado que, apesar do resultado inferior, uma rede treinada com um número menor de camadas obteve um resultado relevante, indicando que redes que utilizam cápsulas podem ter aplicações em super-resolução. Foram levantadas hipóteses de que a função de não linearidade apli- cada juntamente das cápsulas pode ser um fator limitante, dada a natureza diferente do problema quanto ao seu uso inicial (super-resolução × classificação).
Várias combinações de funções de perda foram realizadas com intuito de melhorar a qualidade do treinamento das redes, como feito no trabalho de Zhao et al. [90]. Funções amplamente utilizadas em problemas de super-resolução, como L1, foram aplicadas em conjunto com funções que levam em consideração o sistema visual humano, como as funções SSIM [82] e MS-SSIM [81]. Mais combinações utilizando outras funções descritas na literatura também foram avaliadas, como a 3-SSIM [40] e funções baseadas em mapas de bordas [56]. O cálculo de perda da rede a partir de diferentes camadas também foi avaliado, porém com resultados inexpressivos.
Um resultado interessante obtido veio da comparação entre as funções de perda L1 (comumente utilizada na literatura) e Barron [5]. O fato de que a função Barron ser um superconjunto de várias outras e de que é possível fazer com que a rede aprenda, juntamente dos outros pesos, os valores ótimos para seus dois parâmetros principais (α e c), permitem ainda que a rede experimente qual função de perda melhor se adequa ao problema. Dessa forma, é possível treinar a rede iniciando de uma função similar à L1, entretanto, modificando a mesma a cada iteração visando extrair o máximo de informações úteis dos dados de treinamento. Este trabalho expôs que redes treinadas com a função Barron alcançaram consistentemente resultados superiores às suas versões treinadas com L1, tanto numericamente quanto visualmente.
Foram ressaltadas também nesta pesquisa, as limitações atuais das métricas mais utilizadas na literatura, baseadas em estudos anteriores [40]. Casos que demonstram a ineficácia das métricas PSNR e SSIM foram reproduzidas, evidenciando que uma avaliação visual dos resultados ainda é extremamente necessária. Métricas existentes na literatura foram sugeridas como adição às utilizadas atualmente, como o MS-SSIM [81], fomentando o debate de novas métricas.
Propostas de trabalhos futuros foram sugeridas no Capítulo 4, com enfoque em diver- sas partes do modelo. Dentre as sugestões, têm-se a utilização de redes siamesas como função de perda, utilização de técnicas novas na sub-rede de aumento de resolução, de- senvolvimento de novas funções de não linearidade para cápsulas, utilização de novos formatos de cápsulas e redução de consumo de memória e energia do modelo.
Referências Bibliográficas
[1] M. Abadi, A. Agarwal, P. Barham, E. Brevdo, Z. Chen, C. Citro, G. S. Corrado, A. Davis, J. Dean, M. Devin, S. Ghemawat, I. Goodfellow, A. Harp, G. Irving, M. Isard, Y. Jia, R. Jozefowicz, L. Kaiser, M. Kudlur, J. Levenberg, D. Mané, R. Monga, S. Moore, D. Murray, C. Olah, M. Schuster, J. Shlens, B. Steiner, I. Suts- kever, K. Talwar, P. Tucker, V. Vanhoucke, V. Vasudevan, F. Viégas, O. Vinyals, P. Warden, M. Wattenberg, M. Wicke, Y. Yu, and X. Zheng. TensorFlow: Large- Scale Machine Learning on Heterogeneous Systems, 2015. Software available from tensorflow.org.
[2] E. Agustsson and R. Timofte. NTIRE 2017 Challenge on Single Image Super- Resolution: Dataset and Study. In The IEEE Conference on Computer Vision and Pattern Recognition Workshops, July 2017.
[3] A. Alahi, R. Ortiz, and P. Vandergheynst. Freak: Fast Retina Keypoint. In IEEE Conference on Computer Vision and Pattern Recognition, pages 510–517. IEEE, 2012.
[4] P. F. Alcantarilla, A. Bartoli, and A. J. Davison. KAZE Features, pages 214–227. Springer Berlin Heidelberg, Florence, Italy, Oct. 2012.
[5] J. T. Barron. A More General Robust Loss Function. CoRR, abs/1701.03077, 2017. [6] H. Bay, T. Tuytelaars, and L. Van Gool. SURF: Speeded Up Robust Features, pages
404–417. Springer Berlin Heidelberg, Berlin, Heidelberg, 2006.
[7] M. Bevilacqua, A. Roumy, C. Guillemot, and M. L. Alberi-Morel. Low-Complexity Single-Image Super-Resolution Based on Nonnegative Neighbor Embedding. British Machine Vision Conference, 2012.
[8] J. Bromley, I. Guyon, Y. LeCun, E. Säckinger, and R. Shah. Signature Verification Using a “Siamese” Time Delay Neural Network. In Advances in Neural Information Processing Systems, pages 737–744, 1994.
[9] J. Canny. A Computational Approach to Edge Detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 8(6):679–698, Nov. 1986.
[10] P. Charbonnier, L. Blanc-Feraud, G. Aubert, and M. Barlaud. Deterministic Edge- Preserving Regularization in Computed Imaging. IEEE Transactions on Image Pro- cessing, 6(2):298–311, Feb. 1997.
[11] L. Deng, D. Yu, et al. Deep Learning: Methods and Applications. Foundations and Trends® in Signal Processing, 7(3–4):197–387, 2014.
[12] C. Dong, C. C. Loy, K. He, and X. Tang. Learning a Deep Convolutional Network for Image Super-Resolution. In D. Fleet, T. Pajdla, B. Schiele, and T. Tuytela- ars, editors, Computer Vision, pages 184–199, Cham, 2014. Springer International Publishing.
[13] C. Dong, C. C. Loy, K. He, and X. Tang. Image Super-Resolution Using Deep Convo- lutional Networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(2):295–307, Feb. 2016.
[14] C. Dong, C. C. Loy, and X. Tang. Accelerating the Super-Resolution Convolutional Neural Network. In B. Leibe, J. Matas, N. Sebe, and M. Welling, editors, Computer Vision, pages 391–407, Cham, 2016. Springer International Publishing.
[15] V. Dumoulin and F. Visin. A Guide to Convolution Arithmetic for Deep Learning. ArXiv e-prints, Mar. 2016.
[16] L. A. Gatys, A. S. Ecker, and M. Bethge. Image Style Transfer Using Convolutional Neural Networks. In IEEE Conference on Computer Vision and Pattern Recognition, pages 2414–2423, June 2016.
[17] X. Glorot, A. Bordes, and Y. Bengio. Deep Sparse Rectifier Neural Networks. In G. Gordon, D. Dunson, and M. Dudík, editors, Fourteenth International Conference on Artificial Intelligence and Statistics, volume 15 of Proceedings of Machine Learning Research, pages 315–323, Fort Lauderdale, FL, USA, 11–13 Apr 2011. PMLR. [18] I. Goodfellow, Y. Bengio, and A. Courville. Deep Learning. MIT Press, 2016. http:
//www.deeplearningbook.org.
[19] S. Han, H. Mao, and W. J. Dally. Deep Compression: Compressing Deep Neu- ral Network with Pruning, Trained Quantization and Huffman Coding. CoRR, abs/1510.00149, 2015.
[20] S. Han, J. Pool, S. Narang, H. Mao, S. Tang, E. Elsen, B. Catanzaro, J. Tran, and W. J. Dally. DSD: Regularizing Deep Neural Networks with Dense-Sparse-Dense Training Flow. CoRR, abs/1607.04381, 2016.
[21] M. Haris, G. Shakhnarovich, and N. Ukita. Deep Back-Projection Networks for Super-Resolution. In The IEEE Conference on Computer Vision and Pattern Recog- nition, June 2018.
[22] K. He, X. Zhang, S. Ren, and J. Sun. Deep Residual Learning for Image Recognition. In IEEE Conference on Computer Vision and Pattern Recognition, pages 770–778, June 2016.
[23] G. Hinton, S. Sabour, and N. Frosst. Matrix capsules with EM routing. In Interna- tional Conference on Learning Representations, 2018.
[24] G. E. Hinton. Geoffrey Hinton: Does the Brain do Inverse Graphics?, 2012. https: //youtu.be/TFIMqt0yT2I?t=281.
[25] G. E. Hinton, A. Krizhevsky, and S. D. Wang. Transforming Auto-Encoders. In T. Honkela, W. Duch, M. Girolami, and S. Kaski, editors, Artificial Neural Networks and Machine Learning, pages 44–51, Berlin, Heidelberg, 2011. Springer Berlin Hei- delberg.
[26] A. Hore and D. Ziou. Image Quality Metrics: PSNR vs. SSIM. In 20th International Conference on Pattern Recognition, pages 2366–2369, Aug. 2010.
[27] J. Hu, L. Shen, and G. Sun. Squeeze-and-Excitation Networks. In The IEEE Con- ference on Computer Vision and Pattern Recognition, June 2018.
[28] J.-B. Huang, A. Singh, and N. Ahuja. Single Image Super-Resolution From Trans- formed Self-Exemplars. In The IEEE Conference on Computer Vision and Pattern Recognition, June 2015.
[29] M. Irani and S. Peleg. Improving Resolution by Image Registration. CVGIP: Graph. Models Image Process., 53(3):231–239, Apr. 1991.
[30] J. Kim, J. Kwon Lee, and K. Mu Lee. Deeply-Recursive Convolutional Network for Image Super-Resolution. In The IEEE Conference on Computer Vision and Pattern Recognition, June 2016.
[31] J. Kim, J. Kwon Lee, and K. Mu Lee. Accurate Image Super-Resolution Using Very Deep Convolutional Networks. In The IEEE Conference on Computer Vision and Pattern Recognition, June 2016.
[32] J.-H. Kim and J.-S. Lee. Deep Residual Network With Enhanced Upscaling Module for Super-Resolution. In The IEEE Conference on Computer Vision and Pattern Recognition Workshops, June 2018.
[33] D. P. Kingma and J. Ba. Adam: A Method for Stochastic Optimization. CoRR, abs/1412.6980, 2014.
[34] A. Krizhevsky, I. Sutskever, and G. E. Hinton. ImageNet Classification with Deep Convolutional Neural Networks. In F. Pereira, C. J. C. Burges, L. Bottou, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems 25, pages 1097–1105. Curran Associates, Inc., 2012.
[35] R. LaLonde and U. Bagci. Capsules for Object Segmentation. arXiv preprint ar- Xiv:1804.04241, 2018.
[36] Y. Lecun, L. Bottou, Y. Bengio, and P. Haffner. Gradient-based Learning Applied to Document Recognition. Proceedings of the IEEE, 86(11):2278–2324, Nov. 1998. [37] Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner. Gradient-Based Learning Applied
[38] C. Ledig, L. Theis, F. Huszar, J. Caballero, A. Cunningham, A. Acosta, A. Aitken, A. Tejani, J. Totz, Z. Wang, and W. Shi. Photo-Realistic Single Image Super- Resolution Using a Generative Adversarial Network. In The IEEE Conference on Computer Vision and Pattern Recognition, July 2017.
[39] S. Leutenegger, M. Chli, and R. Y. Siegwart. BRISK: Binary Robust Invariant Scalable Keypoints. In IEEE International Conference on Computer Vision, pages 2548–2555. IEEE, 2011.
[40] C. Li and A. C. Bovik. Content-Weighted Video Quality Assessment Using a Three- Component Image Model. Journal of Electronic Imaging, 19:19–19 – 9, 2010.
[41] B. Lim, S. Son, H. Kim, S. Nah, and K. M. Lee. Enhanced Deep Residual Networks for Single Image Super-Resolution. In The IEEE Conference on Computer Vision and Pattern Recognition Workshops, July 2017.
[42] M. Lin, Q. Chen, and S. Yan. Network In Network. CoRR, abs/1312.4400, 2013. [43] G. Liu, K. J. Shih, T. Wang, F. A. Reda, K. Sapra, Z. Yu, A. Tao, and B. Catanzaro.
Partial Convolution Based Padding. CoRR, abs/1811.11718, 2018.
[44] R. Liu, J. Lehman, P. Molino, F. P. Such, E. Frank, A. Sergeev, and J. Yosinski. An Intriguing Failing of Convolutional Neural Networks and the CoordConv Solution. CoRR, abs/1807.03247, 2018.
[45] W. Liu, Z. Wang, X. Liu, N. Zeng, Y. Liu, and F. E. Alsaadi. A Survey of Deep Neural Network Architectures and Their Applications. Neurocomputing, 234:11–26, 2017.
[46] D. G. Lowe. Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, 60(2):91–110, 2004.
[47] F. Luan, S. Paris, E. Shechtman, and K. Bala. Deep Photo Style Transfer. In 2017 IEEE Conference on Computer Vision and Pattern Recognition, pages 6997–7005, July 2017.
[48] F. Luan, S. Paris, E. Shechtman, and K. Bala. Deep Painterly Harmonization. arXiv preprint arXiv:1804.03189, 2018.
[49] D. Martin, C. Fowlkes, D. Tal, and J. Malik. A Database of Human Segmented Natural Images and its Application to Evaluating Segmentation Algorithms and Me- asuring Ecological Statistics. In Eighth IEEE International Conference on Computer Vision, volume 2, pages 416–423 vol.2, July 2001.
[50] K. J. Millman and M. Aivazis. Python for Scientists and Engineers. Computing in Science & Engineering, 13(2):9–12, Mar. 2011.
[51] K. Nasrollahi and T. B. Moeslund. Super-Resolution: A Comprehensive Survey. Machine Vision and Applications, 25(6):1423–1468, Aug. 2014.
[52] K. Nguyen, C. Fookes, S. Sridharan, M. Tistarelli, and M. Nixon. Super-Resolution for Biometrics: A Comprehensive Survey. Pattern Recognition, 78:23–42, 2018. [53] H. Noon. Uncovering the Intuition behind Capsule Networks and Inverse Graphics,
2017. https://hackernoon.com/uncovering-the-intuition-behind-capsule-networks- and-inverse-graphics-part-i-7412d121798d.
[54] A. Odena, V. Dumoulin, and C. Olah. Deconvolution and Checkerboard Artifacts. Distill, 2016. URL http://distill.pub/2016/deconv-checkerboard.
[55] J. Ouyang, J. Feng, J. Lu, Z. Guo, and J. Zhou. Fingerprint Pose Estimation Based on Faster R-CNN. In IEEE International Joint Conference on Biometrics (IJCB), pages 268–276, Oct. 2017.
[56] R. K. Pandey, N. Saha, S. Karmakar, and A. G. Ramakrishnan. MSCE: An Edge Preserving Robust Loss Function for Improving Super-Resolution Algorithms. CoRR, abs/1809.00961, 2018.
[57] A. Paszke, S. Gross, S. Chintala, G. Chanan, E. Yang, Z. DeVito, Z. Lin, A. Desmai- son, L. Antiga, and A. Lerer. Automatic Differentiation in PyTorch. In NIPS-W, 2017.
[58] J. Redmon and A. Farhadi. YOLO9000: Better, Faster, Stronger. In IEEE Confe- rence on Computer Vision and Pattern Recognition, pages 6517–6525, July 2017. [59] J. Redmon and A. Farhadi. YOLOv3: An Incremental Improvement. CoRR,
abs/1804.02767, 2018.
[60] J. Redmon, S. Divvala, R. Girshick, and A. Farhadi. You Only Look Once: Unified, Real-Time Object Detection. In IEEE Conference on Computer Vision and Pattern Recognition, pages 779–788, June 2016.
[61] E. Rublee, V. Rabaud, K. Konolige, and G. Bradski. ORB: An efficient alternative to SIFT or SURF. In IEEE International Conference on Computer Vision, pages 2564–2571. IEEE, 2011.
[62] S. Sabour, N. Frosst, and G. E. Hinton. Dynamic Routing Between Capsules. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems 30, pages 3856–3866. Curran Associates, Inc., 2017.
[63] T. Salimans and D. P. Kingma. Weight Normalization: A Simple Reparameteriza- tion to Accelerate Training of Deep Neural Networks. In D. D. Lee, M. Sugiyama, U. V. Luxburg, I. Guyon, and R. Garnett, editors, Advances in Neural Information Processing Systems 29, pages 901–909. Curran Associates, Inc., 2016.
[64] F. Schroff, D. Kalenichenko, and J. Philbin. FaceNet: A Unified Embedding for Face Recognition and Clustering. In The IEEE Conference on Computer Vision and Pattern Recognition, June 2015.
[65] W. Shi, J. Caballero, F. Huszar, J. Totz, A. P. Aitken, R. Bishop, D. Rueckert, and Z. Wang. Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network. In The IEEE Conference on Computer Vision and Pattern Recognition, June 2016.
[66] K. Simonyan and A. Zisserman. Very Deep Convolutional Networks for Large-Scale Image Recognition. CoRR, abs/1409.1556, 2014.
[67] K. Simonyan and A. Zisserman. Very Deep Convolutional Networks for Large-Scale Image Recognition. CoRR, abs/1409.1556, 2014.
[68] I. Sobel and G. Feldman. A 3 × 3 Isotropic Gradient Operator for Image Processing, 1968. Talk at the Stanford Artificial Project.
[69] H. A. Song and S.-Y. Lee. Hierarchical Representation Using NMF, pages 466–473. Springer Berlin Heidelberg, Daegu, Korea, Nov. 2013.
[70] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Va- nhoucke, and A. Rabinovich. Going Deeper With Convolutions. In IEEE Conference on Computer Vision and Pattern Recognition, June 2015.
[71] C. Szegedy, S. Ioffe, and V. Vanhoucke. Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning. CoRR, abs/1602.07261, 2016.
[72] R. Timofte, V. De, and L. V. Gool. Anchored Neighborhood Regression for Fast Example-Based Super-Resolution. In IEEE International Conference on Computer Vision, pages 1920–1927, Dec. 2013.
[73] R. Timofte, V. De Smet, and L. Van Gool. A+: Adjusted Anchored Neighborhood Regression for Fast Super-Resolution. In D. Cremers, I. Reid, H. Saito, and M.-H. Yang, editors, Asian Conference on Computer Vision, pages 111–126, Cham, 2014. Springer International Publishing.
[74] R. Timofte, E. Agustsson, L. V. Gool, M. Yang, L. Zhang, B. Lim, S. Son, H. Kim, S. Nah, K. M. Lee, X. Wang, Y. Tian, K. Yu, Y. Zhang, S. Wu, C. Dong, L. Lin, Y. Qiao, C. C. Loy, W. Bae, J. Yoo, Y. Han, J. C. Ye, J. Choi, M. Kim, Y. Fan, J. Yu, W. Han, D. Liu, H. Yu, Z. Wang, H. Shi, X. Wang, T. S. Huang, Y. Chen, K. Zhang, W. Zuo, Z. Tang, L. Luo, S. Li, M. Fu, L. Cao, W. Heng, G. Bui, T. Le, Y. Duan, D. Tao, R. Wang, X. Lin, J. Pang, J. Xu, Y. Zhao, X. Xu, J. Pan, D. Sun, Y. Zhang, X. Song, Y. Dai, X. Qin, X. Huynh, T. Guo, H. S. Mousavi, T. H. Vu, V. Monga, C. Cruz, K. Egiazarian, V. Katkovnik, R. Mehta, A. K. Jain, A. Agarwalla, C. V. S. Praveen, R. Zhou, H. Wen, C. Zhu, Z. Xia, Z. Wang, and Q. Guo. NTIRE 2017 Challenge on Single Image Super-Resolution: Methods and Results. In IEEE Conference on Computer Vision and Pattern Recognition Workshops, pages 1110– 1121, July 2017.
[75] R. Timofte, S. Gu, J. Wu, and L. Van Gool. NTIRE 2018 Challenge on Single Image Super-Resolution: Methods and Results. In The IEEE Conference on Computer Vision and Pattern Recognition Workshops, June 2018.
[76] A. Veit, M. J. Wilber, and S. Belongie. Residual Networks Behave Like Ensembles of Relatively Shallow Networks. In D. D. Lee, M. Sugiyama, U. V. Luxburg, I. Guyon, and R. Garnett, editors, Advances in Neural Information Processing Systems 29, pages 550–558. Curran Associates, Inc., 2016.
[77] D. Wang and Q. Liu. An Optimization View on Dynamic Routing Between Capsules. In International Conference on Learning Representations, 2018.
[78] X. Wang, K. Yu, S. Wu, J. Gu, Y. Liu, C. Dong, Y. Qiao, and C. C. Loy. ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks. In L. Leal-Taixé and S. Roth, editors, Computer Vision, pages 63–79, Cham, 2019. Springer International Publishing.
[79] Y. Wang, L. Wang, H. Wang, and P. Li. End-to-End Image Super-Resolution via Deep and Shallow Convolutional Networks. CoRR, abs/1607.07680, 2016.
[80] Y. Wang, F. Perazzi, B. McWilliams, A. Sorkine-Hornung, O. Sorkine-Hornung, and C. Schroers. A Fully Progressive Approach to Single-Image Super-Resolution. CoRR, abs/1804.02900, 2018.
[81] Z. Wang, E. P. Simoncelli, and A. C. Bovik. Multiscale Structural Similarity for Image Quality Assessment. In The Thirty-Seventh Asilomar Conference on Signals, Systems Computers, volume 2, pages 1398–1402 Vol.2, Nov. 2003.
[82] Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli. Image Quality Assess- ment: From Error Visibility to Structural Similarity. IEEE Transactions on Image Processing, 13(4):600–612, Apr. 2004.
[83] Z. Wang, D. Liu, J. Yang, W. Han, and T. Huang. Deep Networks for Image Super- Resolution with Sparse Prior. In IEEE International Conference on Computer Vi- sion, pages 370–378, Dec. 2015.
[84] J. Xu, Y. Zhao, Y. Dong, and H. Bai. Fast and Accurate Image Super-Resolution Using a Combined Loss. In IEEE Conference on Computer Vision and Pattern Recognition Workshops, pages 1093–1099, July 2017.
[85] J. Yang, J. Wright, T. S. Huang, and Y. Ma. Image Super-Resolution Via Sparse Representation. IEEE Transactions on Image Processing, 19(11):2861–2873, Nov. 2010.
[86] J. Yu, Y. Fan, J. Yang, N. Xu, X. Wang, and T. S. Huang. Wide Activation for Efficient and Accurate Image Super-Resolution. arXiv preprint arXiv:1808.08718, 2018.
[87] K. Zhang, W. Zuo, and L. Zhang. Learning a Single Convolutional Super-Resolution Network for Multiple Degradations. CoRR, abs/1712.06116, 2017.
[88] Y. Zhang, K. Li, K. Li, L. Wang, B. Zhong, and Y. Fu. Image Super-Resolution Using Very Deep Residual Channel Attention Networks. In European Conference on Computer Vision, 2018.
[89] Y. Zhang, Y. Tian, Y. Kong, B. Zhong, and Y. Fu. Residual Dense Network for Image Super-Resolution. CoRR, abs/1802.08797, 2018.
[90] H. Zhao, O. Gallo, I. Frosio, and J. Kautz. Loss Functions for Image Restoration With Neural Networks. IEEE Transactions on Computational Imaging, 3(1):47–57, Mar. 2017.
[91] T. Zhao, W. Ren, C. Zhang, D. Ren, and Q. Hu. Unsupervised Degradation Learning for Single Image Super-Resolution. CoRR, abs/1812.04240, 2018.