何愷明的博士博士導師是誰

Ⅰ 如何評價何愷明等關於Masked Autoencoder的新作

本文證明了面向計算機視覺的masked autoencoders(MAE)是一種可擴展的自監督學習器。我們的 MAE 方法很簡單:我們隨機掩蓋輸入圖像的patch，然後重建丟失的像素。

擴展性好的簡單演算法是深度學習的核心。在NLP中，簡單的自監督學習方法使得可以從指數縮放的模型中獲益。

在計算機視覺中，盡管在自我監督學習方面取得了進展，但實際的預訓練模式仍主要是受到監督的方式。在這項研究中，我們在ImageNet和轉移學習中觀察到，自動編碼器是一種簡單的自我監督方法，類似於NLP中的技術，為我們提供了可擴展的優勢。視覺中的自我監督學習現在可能正走上與NLP類似的軌道。

另一方面，我們注意到，圖像和語言是不同性質的信號，必須仔細處理這種差異。圖像僅僅是記錄下來的光，是沒有語義分解成文字的視覺模擬。我們不嘗試刪除對象，而是刪除最有可能不構成語義段的隨機patch。

總結如下：

我們的MAE重建像素，而像素不是語義實體。然而，我們觀察到，我們的MAE推斷出復雜的、整體的重建，這表明它已經學習了許多視覺概念、如語義。我們假設這種行為是通過MAE內部豐富的隱藏表徵發生的。我們希望這一觀點將啟發今後的工作。