所谓“时间感”，其实用更专业的心理学术语来说就是“时间知觉”。我会在下面的内容中沿用“时间知觉”这一词汇。不同于视知觉（哎呀这个人长的跟我初恋好像）、听知觉（哎呀这一听就是周杰伦的歌，快把自己舌头咬断了）、乃至嗅觉味觉相关的知觉体系（我靠我这笨老婆又把菜炒糊了）——时间知觉没有一个单纯的感觉器官为其提供信息，比如眼睛、耳朵、鼻子和味蕾。大脑对于时间知觉的把握，主要是依靠对零散的感觉信息统和加工而成的，不过，的确存在一个负责时间知觉的系统。目前我们所知的与时间知觉高相关的脑区域包括一部分特定区域的脑皮质，小脑（Cerebellum），基底核（Basalganglia）。
尤其要说明的是，从视觉感受器获取线索并转化为时间知觉的重要器官：视交叉上核（SCN）——通俗地讲，这个视交叉上核，其实就是我们通常所说的“生物钟”在生理上的具体所在。SCN对时间的独特调控作用为哺乳动物所特有，其主要方法是通过视觉信息确定生物节律，来调节生物体的新陈代谢与合理行为——比如睡眠节律，睡觉时候觉得时间过得快就拜他所赐。此外，倒时差这种事儿，对SCN敏感的人来说就很困难，因为说白了就是时间知觉的意外变化导致的节律紊乱。目前已知的SCN的生物电周期是24~25小时（有个体差异），与客观上的每日时长高度一致，这是神经系统高度进化的结果。时间知觉可并不是只有节律一种，这种时间知觉太宏观了，还有更微观的。David·Eagleman在他的一篇名为“TimeBrain”的论文中提过，刚刚普及电视的时候，众多的工程师在担忧着一个问题：长距离的线路传递导致的电视音画不同步的问题。工程师们绞尽脑汁矫正音画的同步出现，但是事实上他们发现没必要那么费力——就算音画在物理上没有同步，只要降低到一定水平，人们也不觉得看起电视来会别扭，万幸的是，这个数值没有这帮工程师们预想的那么小——对大多数人而言，音画差距十分之一秒左右都是觉不出差异的。为了提供大脑处理信息的效率，大脑倾向于在得到某些单一类别感觉信息的时候“等一等”，就像公交司机在站台接了乘客，还会等等后面那个狂奔追车的人一样——等全到齐了后，对信息加以统一加工和处理。这种知觉策略，本质上仍属于时间知觉的范畴，因为是这一知觉统和与同步了并没有同时出现的信息。负责这个工作的，是小脑，它还与节奏感与音韵感高度相关——这俩都和时间知觉有着密不可分的关系。长的和短的都说完了，还要说说几十秒到几分钟这种不长不短的时间知觉吧。一般情况下，心理学人士会这样测验个体的时间知觉：我们给你呈现一段时间（一般是两个声响之间的声音空白），然后要求个体进行复制（自己用开关决定两次声音，要求尽量将原先的声音空白等量付现）。比较典型的结果是——被试呈现的时间有长有短（废话），围绕着标准时间等量分布，标准的空白时间越长，这段时间复现的难度越大（还是废话）。可是对于一些重度脑损伤的人来说，比较靠谱地去复现一段时间就变成了一个几乎不可能完成的任务，比如帕金森症（PD）。PD其实很大程度上就是多巴胺这种神经递质传导不畅，一旦给予了左旋多巴治疗，时间知觉方面立刻就会有好转，这也很大程度上说明的片段时间的知觉是与神经递质通道畅通与否高度相关的，这也恰恰能解答题主提到的另外一个小问题：为啥快乐的时候时间就过得快呢？因为神经递质可以选择性地影响人类和动物内在时钟主观上的转动速度，比如，多巴胺拮抗剂能改变主观时钟的转速，从而影响对客观时间的知觉；而多巴胺受体激动剂也能使主观时钟的转速改变，从而觉得时间过得飞快。
机械表利用机械振动计时，电子表利用电学震荡计时。人脑当然利用细胞的震动了。细胞通过一定的工作频率来感知时间。如果正常状态下振动次数为100的细胞可以感知1h。当你专注思考，或者投入的时候，大脑高速运转，工作频率提升，虽然同样的1h，但实际上感受时间的细胞震动了100次以上。大脑感觉过了的时间，自然也就大于1h，于是有了时间过的快的感觉。当你无聊时也是一样的，就不多说了。其实不光人类用振动计时，太阳围绕地球运转，本身也可以看作一种振动计时。那么什么是细胞的振动呢，正常情况下，我们的细胞都是按照一定的速度与外界进行物质，信息交换。这其实就可以看做一种振动。
时间的先后顺序应该跟记忆有关。但时间本身的快慢，我倾向于从大脑运转角度来看。大脑快就会觉得时间慢，大脑慢就会觉得时间快。不过喜怒等等情绪会影响我们对一段时间长度的预期，然后再造成错觉。要让人能注意到瞬间的差别，除了相应的器官非常敏锐之外，还需要人的注意力高度集中。我认为人不太可能长时间保持紧张情绪，一时的紧张必须用一定的休息来弥补。时间透视与时间认知分形研究(豆瓣)几年前看过这本书，虽然提供的更多是观察性而非解释性的结论，但挺有意思的。