Remixmatch: Semi-supervised learning with distribution matching and augmentation anchoring Berthelot, D., Carlini, N., Cubuk, E. D., Kurakin, A., Sohn, K., Zhang, H., & Raffel, C. (2019). Remixmatch: Semi-supervised learning with distribution alignment and augmentation anchoring. arXiv preprint arXiv:1911.09785. 본 논문은 MixMatch에서 발전된 방법으로, 기본적인 토대를 MixMatch의 방법론을 따른다. 하지만 추가적인 방법론 들이 꽤 많이 존재한다. 본..

Class-Imbalanced Semi-Supervised Learningwith Adaptive Thresholding Guo, L. Z., & Li, Y. F. (2022, June). Class-imbalanced semi-supervised learning with adaptive thresholding. In International Conference on Machine Learning (pp. 8082-8094). PMLR. 본 논문은 기존의 FixMatch 방법론에서 high fixed confidence threshold의 문제가 있기 때문에 'Adaptive Threshold'이 필요하다고 주장하는 논문이다. 특히, imbalanced semi-supervised (lon..

FixMatch : Simplifying Semi-Supervised Learning with Consistency and Confidence Sohn, K., Berthelot, D., Carlini, N., Zhang, Z., Zhang, H., Raffel, C. A., ... & Li, C. L. (2020). Fixmatch: Simplifying semi-supervised learning with consistency and confidence. Advances in neural information processing systems, 33, 596-608. 본 논문은 Semi-supervised Learning에서 MixMatch 그리고 ReMixMatch와 함께 backbone archi..

MixMatch : A Holistic Approach to Semi-Supervised Learning Berthelot, D., Carlini, N., Goodfellow, I., Papernot, N., Oliver, A., & Raffel, C. A. (2019). Mixmatch: A holistic approach to semi-supervised learning. Advances in neural information processing systems, 32. 본 논문은 2019년 Nips에 발표된 논문으로, semi-supervised learning에서 'FixMatch'와 마찬가지로 대표적인 논문 중 하나이다. 물론 다음 논문으로 'ReMixMatch'가 있..

FreeMatch: Self-Adaptive Thresholding for Semi-Supervised Learning Wang, Y., Chen, H., Heng, Q., Hou, W., Fan, Y., Wu, Z., ... & Xie, X. (2022). Freematch: Self-adaptive thresholding for semi-supervised learning. arXiv preprint arXiv:2205.07246. 요약 : 본 논문은 semi-supervised learning에서 pseudo-label에 대한 confidence를 확인하여 사용할지 안할지를 결정하는 hyper-parameter인 고정된 scalar 값 $\tau$를 adaptive 하게 하여 (global thre..

MLP-Mixer: An all-MLP Architecture for Vision Tolstikhin, I. O., Houlsby, N., Kolesnikov, A., Beyer, L., Zhai, X., Unterthiner, T., ... & Dosovitskiy, A. (2021). Mlp-mixer: An all-mlp architecture for vision. Advances in Neural Information Processing Systems, 34. Main idea in this paper 기존의 ViT(Vision Transformer)의 경우 Transformer architecture에서의 Encoder layer를 활용하여 이미지 분류 문제를 해결하였다. 본 논문에서는 "Att..