昨天深夜在超市遇見幾位作深度學習的朋友不免聊起了研究. 聊著聊就提到One-shot learning. 典型的Deep learning model的learning演算法都需要很龐大的資料去進行training. 但相比人類大腦的學習機制很明顯的非常沒有效率. 因為人類可以從簡單的幾個事件或幾張圖就可以學習新事物, 進行邏輯推理等. 也因此Deep learning的研究領域有一派是研究以非常少量的訓練資料就可以讓model學習新事物, 這也是所謂的One-shot learning. 其實過去無論在統計或機械學習等領域都有針對小樣本的方法, 譬如統計上的無母數統計(nonparametric statistics), 基於小樣本信息不完全的灰色系統理論(如灰關聯分析或灰預測), 或一些結合模糊理論與類神經網路的變形. 這裡主要Review 目前深度學習關於One-shot learning的研究進展.
在那之前先談談神經科學中記憶怎麼形成的一些新研究. 大腦中的海馬迴hippocampus以及neocortex新皮層是影響記憶重要的部位. 根據multiple trace/transformation theory[1], 他們是互補的且互相作用於讓外界的場景或事件在大腦形成感知與記憶, 包括最初必須靈活且立即的在海馬迴編碼, 在新皮層形成檢索系統並形成能保存很久的舊記憶, 並不斷進行新舊記憶的整合更新. 而且雖然大腦的神經元數目是有限的, 但透過一整組突觸連續強度的變化, 基本上記憶幾乎是沒有容量限制的[2]. 而在今年11月初的PNAS一篇最新的paper[3]提到說其實新皮層的記憶在大腦首次收集到信息就已經形成, 而且海馬迴很快地就不再參與學習(過往這個過程被認為是需耗費數周).
所以根據神經科學上的研究, 深度學習上的One-shot learning其實更接近人類高等級認知功能的學習, 或者說和傳統用大量數據推動的學習各有所長. 在這裡要先提到的是很有名的一篇2015年Science上的paper[4]. 從認知科學已Bayesian program learning(BPL)建立所謂的''Human-level concept learning''模擬人類思路. 而目前Google DeepMind最新提出的MANN(Memory-Augmented Neural Networks)[5] 則是加入了記憶Memory模塊到神經網路中(以之前的Neuaral Turing Machine,NTM為架構), 並強化了新的讀寫更新策略(LRUA). 那NTM(神經圖靈機)是甚麼呢[6]? 當我們train大型的Nets時, 如果可以把過程中的parameters值儲存起來, 當遇到類似或新的資料進來時靠有效的檢索系統把那些值即時讀出來, 會比多次重複性質的Gradient Descent會有效的多. 所以架構簡單的來說就是有個個controller控制input-output(其實有點類似海馬迴或電腦的CPU), 然後有Memory區(相等於大腦中的新皮層或電腦的RAM). 而利用另一個類神經網路去控制controller及讀取頭去精確控制要寫入或讀取的記憶區塊. 這種架構就稱為Neuaral Turing Machine. MANN被證實加入了記憶功能之後, 在ImageNet以及自然語言上很有效.
Google DeepMind的另一組人則提出了DNC, Differentiable neural computers(可微分神經計算機)[7]. 這發在2016年1月的Nature的研究將動態的外部記憶體加入大型神經網路中, 並可自行學習要讀取或保留的記憶以形成抽象思維而達成很複雜的任務, 包括從其他簡單的網路圖訓練而能找出倫敦地鐵的最短路徑等.
整體來說, 深度學習中的One-shot learning雖然很重要但仍處於萌芽階段, 但不少大牛都指出這會是未來深度學習的重要方向之一, 在外來基於神經科學的最新研究下, 能利用類似Bayesian program learning的方法從外界事件抽取出抽象特徵, 再加上設計優良的神經網路搭配上記憶存取區塊及索引系統如NTM或MANN, Deep learning能做到從少量資料就獲取知識, 更接近人類的學習能力或更超越.
Reference:
[1] Canadian Association for Neuroscience. "Memory is a dynamic and interactive process, new research shows." ScienceDaily. ScienceDaily, 28 May 2014
[2] Benna, Marcus K., and Stefano Fusi. "Computational principles of synaptic memory consolidation." Nature neuroscience (2016).
[3] Rapid and independent memory formation in the parietal cortex. Proceedings of the National Academy of Sciences, November 2016
[4] Lake, Brenden M., Ruslan Salakhutdinov, and Joshua B. Tenenbaum. "Human-level concept learning through probabilistic program induction." Science 350.6266 (2015): 1332-1338.
[5] Santoro, Adam, et al. "One-shot Learning with Memory-Augmented Neural Networks." arXiv preprint arXiv:1605.06065 (2016).
[6] https://arxiv.org/pdf/1410.5401.pdf
[7] Graves, Alex, et al. "Hybrid computing using a neural network with dynamic external memory." Nature 538.7626 (2016): 471-476.
在那之前先談談神經科學中記憶怎麼形成的一些新研究. 大腦中的海馬迴hippocampus以及neocortex新皮層是影響記憶重要的部位. 根據multiple trace/transformation theory[1], 他們是互補的且互相作用於讓外界的場景或事件在大腦形成感知與記憶, 包括最初必須靈活且立即的在海馬迴編碼, 在新皮層形成檢索系統並形成能保存很久的舊記憶, 並不斷進行新舊記憶的整合更新. 而且雖然大腦的神經元數目是有限的, 但透過一整組突觸連續強度的變化, 基本上記憶幾乎是沒有容量限制的[2]. 而在今年11月初的PNAS一篇最新的paper[3]提到說其實新皮層的記憶在大腦首次收集到信息就已經形成, 而且海馬迴很快地就不再參與學習(過往這個過程被認為是需耗費數周).
所以根據神經科學上的研究, 深度學習上的One-shot learning其實更接近人類高等級認知功能的學習, 或者說和傳統用大量數據推動的學習各有所長. 在這裡要先提到的是很有名的一篇2015年Science上的paper[4]. 從認知科學已Bayesian program learning(BPL)建立所謂的''Human-level concept learning''模擬人類思路. 而目前Google DeepMind最新提出的MANN(Memory-Augmented Neural Networks)[5] 則是加入了記憶Memory模塊到神經網路中(以之前的Neuaral Turing Machine,NTM為架構), 並強化了新的讀寫更新策略(LRUA). 那NTM(神經圖靈機)是甚麼呢[6]? 當我們train大型的Nets時, 如果可以把過程中的parameters值儲存起來, 當遇到類似或新的資料進來時靠有效的檢索系統把那些值即時讀出來, 會比多次重複性質的Gradient Descent會有效的多. 所以架構簡單的來說就是有個個controller控制input-output(其實有點類似海馬迴或電腦的CPU), 然後有Memory區(相等於大腦中的新皮層或電腦的RAM). 而利用另一個類神經網路去控制controller及讀取頭去精確控制要寫入或讀取的記憶區塊. 這種架構就稱為Neuaral Turing Machine. MANN被證實加入了記憶功能之後, 在ImageNet以及自然語言上很有效.
Google DeepMind的另一組人則提出了DNC, Differentiable neural computers(可微分神經計算機)[7]. 這發在2016年1月的Nature的研究將動態的外部記憶體加入大型神經網路中, 並可自行學習要讀取或保留的記憶以形成抽象思維而達成很複雜的任務, 包括從其他簡單的網路圖訓練而能找出倫敦地鐵的最短路徑等.
整體來說, 深度學習中的One-shot learning雖然很重要但仍處於萌芽階段, 但不少大牛都指出這會是未來深度學習的重要方向之一, 在外來基於神經科學的最新研究下, 能利用類似Bayesian program learning的方法從外界事件抽取出抽象特徵, 再加上設計優良的神經網路搭配上記憶存取區塊及索引系統如NTM或MANN, Deep learning能做到從少量資料就獲取知識, 更接近人類的學習能力或更超越.
Reference:
[1] Canadian Association for Neuroscience. "Memory is a dynamic and interactive process, new research shows." ScienceDaily. ScienceDaily, 28 May 2014
[2] Benna, Marcus K., and Stefano Fusi. "Computational principles of synaptic memory consolidation." Nature neuroscience (2016).
[3] Rapid and independent memory formation in the parietal cortex. Proceedings of the National Academy of Sciences, November 2016
[4] Lake, Brenden M., Ruslan Salakhutdinov, and Joshua B. Tenenbaum. "Human-level concept learning through probabilistic program induction." Science 350.6266 (2015): 1332-1338.
[5] Santoro, Adam, et al. "One-shot Learning with Memory-Augmented Neural Networks." arXiv preprint arXiv:1605.06065 (2016).
[6] https://arxiv.org/pdf/1410.5401.pdf
[7] Graves, Alex, et al. "Hybrid computing using a neural network with dynamic external memory." Nature 538.7626 (2016): 471-476.