第一次是从出生后到幼儿期的增长，2-5岁间数量达到高峰，同时脑重量也会从成年人的四分之一左右长到成人水平。之后“用处不大”的神经元及其联结会像剪树枝一样逐渐被去掉，这个过程被称为突触修饰。所以神经元的增加并非大脑成熟的标志，相反，它只是提供一个可供修剪的“基数”，数量达到峰值才是成熟的开始。这一过程类似题主说的“网络布线优化”，留下的主要是高效的的联结。新联结的产生、原有联结的改变都依赖于神经元可塑性，在多种因素（环境、人的主动学习）影响下神经元的联结会不断变化。比如学习新的技能就会让某些神经元之间的联结强度更高等等。在此过程中大脑皮层的控制能力会逐渐增强，比如幼儿在3-5岁后基本就不会再尿床了。
第二次是青春期后的增长，主要是在前额叶等较为高级的脑区。从时间上来说，越是高级的区域发育越慢，前额叶的突触修饰在青春期之后爆发，直到二十多岁才最终完成。这也是少年人所谓“不成熟”的原因，因为前额叶并没有完全发育，所以执行控制能力较低，容易冲动。当然，其它与前额叶密切相关能力，比如思维能力等也都会在青春期有较大的提升。所以青春期是幼年之后的第二个神经发育高峰，此时大脑可塑性也比较高。
另外，上面说的神经元主要指灰质部分。白质应该是从出生到成年持续增加的，然后再减少。虽然长久以来人们认为灰质比白质重要，但现在越来越多的研究开始关注白质在神经联结中所起到的作用，应该也会有很多新的发现。
出生的时刻，这时候大脑已经具备了足够的神经元，以及轴突和突触。最最重要的是，实际上，这个时候的大脑是过装备的，也就是说，大脑这时有着远远超过实际需要数目的连接。所以，出生之后随之而来的就是一次大修剪。这个过程中，过度生长的轴突和突触被纷纷修剪掉了。在灵长类动物模型中的研究发现，最大力度的修剪就发生在出生后一个月的时间里，之后缓慢的轴突修剪还是会持续进行，一直到大约半岁的时候（约定于人类的一到两岁）。这修剪的目的就是把原来杂乱无章的东西修剪整齐，不要的，浪费资源的边边角角都修剪掉。与之相对的，从出生一个月开始，幸存下来的轴突会有一个直径增加以及髓鞘化的过程。髓鞘化，通俗来讲就是在轴突也就是白质纤维外面包上一层膜，以提高信息传输速度，避免信号泄露，类似电线外面的胶皮。是的，这不是一个单纯的破坏，而是一个精简加强的过程。
这可是新兴热门研究领域，基本还处于探索发现阶段。两岁以后神经元数目基本就固定了，但是神经细胞本身具有可塑性，也就是突触的发生，生长，消亡。如果单看神经元组成的网络，单纯把大脑活动看作来源于此，随着年龄增长，这种可塑性带来的变化是一直存在的。胶质细胞如何参与大脑活动，如何参与心理活动等也几乎是未知领域，参与髓鞘的施旺细胞也只是其中一部分而已。从幼年到成年，每学会一项技能（爬，跑，跳，跨栏；喜怒哀乐），大脑内的微观连接方式都有巨大改变。就同一功能而言，随着年龄增长相关的区域连接也会发生改变。从某种角度上来说，这个网络有增有减，运作方式有改变，是不是优化就不好说了，也要分阶段讨论吧。