1962年的香港。大家住在熙攘的老房子里，来来往往，各自操着熟练的上海话和广东话，玩着通宵的麻将。他们相遇在香港老房子的楼道，无数次的擦肩而过，客气的互道一声你好。无论是周慕云还是苏丽珍都融不进那种杂烩的气氛，他们往来于人群，却有着说不出的寂寞，苏的旗袍像是一种清高，周的西装分明是写着忧郁。隔壁的阿姨张罗着叫苏丽珍一起喝汤，她总是客气的说下次吧。所有的情绪，所有的暧昧，所有的汹涌都淡淡的包含在那句“你好”里面。房东阿姨嘀咕的一句“吃馄饨还穿的那么漂亮。”无心之语，却道出了所有的暧昧不清。他请她写武侠小说。他埋头写，她看着镜子里的他轻轻一笑；她沉思，他痴痴的凝视，手里夹着烟，烟圈渺渺，一切都迷迷糊糊，如梦如幻。他发烧了，跟人说想喝芝麻糊。她急急匆匆的烧了满满的一大锅，沉沉的担心和爱，全藏在那一碗芝麻糊里，后来他们遇见了，他道谢，说那天真巧，他那时候正想喝芝麻糊，她微微一笑，附和着说是啊，真巧。
那是1962年的香港，很多感情只能藏在心里。周慕云打电话给苏丽珍叫她来酒店，她来了。 他说：“我没想到你会来。”她说：“我们和他们不一样。”她用冷言冷语包裹住自己的感情，她毅然决然的离开，但是走了几步就停下来，看不见她的表情，所有的情绪都在那个背影后若隐若现。
苏要的是完整的爱情，她不要重复他们。后来周去了新加坡，某一天，苏也来到了那里，他不在，她犹豫了，但还是走进了他的房间，抽出一根香烟，留下了唇印，拿走了红鞋子，随意的躺在他的椅子上感受他的气息，用家里的电话打他公司电话，接通了，却没有说话，周喂了两声，他知道是她，于是谁都没有说话。不是无话可说而是不知道从何说起。那些消逝了的岁月，隔着一块积着灰尘的玻璃，看得到，抓不着。他一直在怀念着过去的一切，如果他能冲破那块积着灰尘的玻璃，他会走回早已消逝的岁月。1966年，她回到了当初的那栋老房子，站在最开始的阳台往隔壁望去，一下子情绪涌上来，眼泪盈眶，声音也已经哽咽，但人前依然若无其事。
1966年，周回到了原来的住处，打听起错过的故事，他知道一切已经物是人非，于是静静退出走廊。去了很远的地方，把秘密告诉了石洞，然后仔细的用草埋好，一整片的落寞。从1962年到1965年，整整5年；从1999年到2004年同样整整5年，有时候分不清周慕云是梁朝伟还是王家卫，那些欲说还休的拒绝，那些举止不明的暧昧是苏丽珍还是张曼玉。周慕云后来想通也许爱情是有时间的，遇到的太早或者太晚都不行，如果他们在不同的时间遇到，也许结局就会不一样。这说的是苏和周，还是梁和张。
苏丽珍的小心翼翼是那个时代那个时间的必然，一段时间她和周慕云时常暗自见面，隔壁的阿姨叫她注意点，别老出去。她听了满肚子的委屈，一转身，站在房门口流泪。她打电话给他说最近别联系了。周写小说赚了点钱，租了个新地方，他对苏说邀请她到他新地方写小说，苏丽珍说何必要浪费钱呢?....其实全都是你自己写的,何必多此一举呢？她终究还是逃不出世俗的眼光，有时候甚至分不清她是在等丈夫回头，还是等周慕云跨出那一步。 她在他住的旅馆里问自己：如果你多一张船票，会不会带我一起走。她始终问不出口。
周慕云打电话给苏丽珍，想问她，如果多一张船票，你会不会跟我走。他打电话过去，但她没接。是不敢，还是不愿。他没有再打第二次，是怕被拒绝，是怕不忍心，还是怕知道答案。