神經進化是人工智能和機器學習領域的一個分支，它能夠改進了人工神經網絡，並且試圖通過進化算法去尋找最優神經網絡。具體而言，就像大自然通過突變、交叉或移除一些潛在的遺傳密碼來提高大腦的功能一樣，人工神經網絡通過進化算法能夠産生越來越好的拓撲、權重和超參數。
簡單的說就是將進化的思想使用到神經網絡參數優化的更叠中。
神經進化
神經進化是一種機器學習技術，它使用基于群體的優化方法能夠不斷提高群體中每個神經網絡的質量，從而根據其要解決的問題生成越來越好的神經網絡。該種群中的每個個體的存儲方式並不是複雜的神經網絡，而是存儲爲基因組。基因組是一種簡化的遺傳表示，可以映射到神經網絡。
神經進化首先需要初始化一組上述基因組，然後將它們應用于具體的問題環境中，然後根據神經網絡解決應用問題的能力爲每個基因組分配一個適應度分數。例如，該適應度分數可以是圖像識別任務中實現的准確度以及機械臂移動實際軌迹和預期軌迹的差別等等。
一旦初始種群被創建，優化循環開始，種群不斷地變異、重組、評估和經曆自然選擇。
如果這些步驟是叠代進行的，而整個種群一次只進行一個步驟，那麽所進行的就是代際神經進化（generational neuroevolution）。
競爭性共同進化（competitive coevolution）則意味著神經進化算法的設計允許異步性，並且優化循環在每個基因組的基礎上執行。
在代際神經進化和競爭性共同進化兩種情況下，其優化過程都是不間斷的進行引入創新、評估創新、然後對創新進行分類，直到産生一個最佳實用性神經網絡。
圖2：直接遺傳編碼
基因編碼一般可分爲兩個子類：直接編碼和間接編碼。雖然還有第三類發展性編碼，但這種編碼我們先忽略不計，畢竟這兩年也沒啥進展。直接編碼表示神經網絡的各個方面，它們在遺傳表示中顯式編碼（如上圖2所示）。直接編碼直接在基因型中編碼每個連接及其相應的權重，但通過排除神經網絡中的偏差和激活函數的可能性來限制搜索空間。
這種直接編碼可以表示任意的前饋和遞歸拓撲，也能夠産生最優的拓撲。但“拓撲”太靈活的話，粒度的搜索空間就會變得非常龐大。因此需要設計良好的神經進化算法才能快速遍曆該搜索空間。
圖4：競合公約問題圖解
重組並不會突變基因組，擁有創新可以通過將兩個親本基因組（ parent-genomes）及其獨特特征結合，並産生“新穎”的後代基因組。如果重組方法設計得當，並且可以無損地融合兩個親本基因組的有益特征，將其在整個群體中傳播，提高所有現有基因組的適用性。
設計重組方法的核心在于“無損融合”，即不丟失任何基因特性的情況下融合。例如在神經進化算法之前，NEAT算法（通過增強拓撲的進化神經網絡（Evolving Neural Networks through Augmenting Topologies））利用直接編碼在進行修改網絡的拓撲結構，包括新增節點和刪除節點等操作時會産生交叉損失。如上圖競合公約問題（ competing-conventions problem）所示。隨後，NEAT算法提出了一種“曆史標記”的方法，該方法爲每個突變提供了唯一的標識符，從而最終實現了基因組的無損重組，使其爲神經進化算法提供了基准。
評估方法
在總體優化循環中，基于問題評估基因組似乎是最簡單的。但這一步驟確是非常重要，不僅是能夠指出潛在的改進和進步。評估方法從根本上說是一個過程，即將基因組映射到由其遺傳編碼規定的神經網絡，並將其應用于問題環境，然後根據神經網絡的表現計算適應值。
一些神經進化算法的評估過程還包括將神經網絡加權訓練的附加步驟，雖然這種方法非常明智，但只有當實際環境能夠清晰反映基本信息才有用。
在整個評估過程中，盡管確定適應度的方式完全取決于實際問題的具體情況，但可以進行合理的修改。例如在圖像識別中可以設置爲准確度，遊戲中可以設置爲點數。
在確定適應度計算時，新穎性搜索也是一個需要考慮的重要概念。因爲這個概念涉及用新的方法獎勵基因組，能夠使其具有更高的適應值。例如，在實際的電子遊戲環境中的智能體如果進入一個未知的區域會獲得體能提升，盡管總體上獲得的分數較少，但也能促進了基因庫的創新，從而促進更有希望的進化。
自然選擇與親本選擇
雖然繁殖方法定義了探索搜索空間的方式。但選擇哪些基因組將作爲後代的“父母”？哪些基因組將從基因庫中移除？也是神經進化計劃的另一個非常重要的方面。
神經進化算法的種類決定了哪種基因能夠作爲父母基因。在一代人的神經進化中，選擇適合下一代的基因組通常歸結爲選擇當前表現最好的基因組。選擇作爲父母的基因組不一定與移除的基因組互補。基因組的選擇要足夠有希望保證創新突變的潛力，盡管在下一代可能會被移除。
神經進化算法的一個標准配置是選擇利用前20%的基因組作爲父母，另外在下一次叠代中會去除90%表現最差的基因組。另外根據代際神經進化算法是否采用物種形成，親本選擇或基因組移除選擇也會發生了顯著變化。
物種形成是一種代際神經進化的工具，它根據顯型中的拓撲相似性等明顯特征將群體中的個體聚集在一起；或根據或在實際環境中達到的特定狀態等隱藏特征聚集。聚集後産生的集群被認爲是物種，物種的産生取決于物種的選擇方法，具體來說得繁殖過程可以通過將更多的後代分配給平均適應度更高的物種來控制進化，從而産生“優秀”的後代。
然而，設計得當的物種形成也保護了基因庫中的創新，因爲這些物種會將一些後代基因分配下去。因此，設計一種適當的、基因問題解決的物種形成方法將種群中的個體分離到不同的物種中，可以成爲神經進化方法中非常強大的工具，這種方法既可以引導進化進入有益的方向，也可以保護創新的新路徑。
另一方面，在競爭的共同進化方案（competitive coevolution scheme）中，基因組通常是隨機配對，其中更合適或更有創新的一個被選爲“父母”，另一個從基因庫中移除。由于競爭共同進化的異步性，不可能同時對種群中的所有基因組進行分類和分類，從而極大地限制了用物種形成等方法指導進化的可能性。
關于神經進化的總結
神經進化是優化人工神經網絡的一種方法，是一個多功能的工具，不僅限于機器學習方面，還可以應用于改進計算機視覺、自然語言處理。創建神經進化算法時需要考慮很多東西，但最重要的是最有效地利用實際問題環境。
神經進化中具有裏程碑意義的研究
該算法不同于我們之前討論的傳統神經網絡，它不僅會訓練和修改網絡的權值，同時會修改網絡的拓撲結構，包括新增節點和刪除節點等操作。NEAT通過突變和無損重組直接編碼，同時通過物種形成保護創新。由于其簡單性和同步能力，NEAT可以被認爲是典型的神經進化算法。
1、A Hypercube-Based Encoding for Evolving Large-Scale Neural Networks, 2009
HyperNEAT是NEAT的變體，和NEAT具有相同的原理，但其所使用的是間接編碼，稱爲組合模式産生網絡（CPPNs）。CPPNs允許神經網絡對稱和重複，這不僅更准確地反映了人類大腦的組成，而且還通過將其映射到網絡拓撲，從而利用應用問題中固有的幾何和結構。
2、Evolving the Placement and Density of Neurons in the HyperNEAT Substrate, 2010
ES-HyperNEAT進一步擴展了HyperNEAT，在信息量較高的區域允許在CPPN編碼模式中使用更密集的基底（denser substrate）。雖然HyperNEAT將隱藏神經元放置在何處的決定權留給了用戶（user），但ES-HyperNEAT采用四叉樹狀結構來確定那些隱藏節點的密度和位置。ES-HyperNEAT在主要基准測試中能夠勝過傳統的HyperNEAT。
3、A Neuroevolution Approach to General Atari Game Playing, 2014
通過使用CNE、CMA-ES、NEAT和HyperNEAT算法來解決61個Atari2600視頻遊戲，展示了神經進化在通用視頻遊戲(GVGP)中的潛力。雖然神經進化在這項研究之前已經在GVGPI中進行了部署。結果與預期不謀而合，因爲它們表明直接編碼方法在緊湊的狀態表示效果最好，間接編碼允許縮放到更高維的表示。
4、DLNE: A hybridization of deep learning and neuroevolution for visual control, 2017
通過將神經進化與CNN的圖像識別相結合，介紹了神經進化最有趣的用途之一。通過CNN進行圖像識別，將識別出的圖像轉換爲特征表示，然後將識別出的圖像送入神經進化優化的神經網絡。雖然這種方法的有效性在很大程度上取決于特征表示的質量，但即使采用簡單的方法也能有一個很有前途的研究方向。
5、Large-Scale Evolution of Image Classifiers, 2017
這篇論文對進化算法進行了改動，使其可以用于NAS(神經網絡架構搜索)，算法對于計算資源要求較高。算法一開始從沒有任何卷積的最簡單的模型開始進化，與之前看過的論文不同的是，神經網絡架構沒有固定的網絡深度（意味著搜索空間進一步擴大，算法運行時間長）。