从你的描述中，他好像对你有了一定好感，有追求你的想法，但是还没有达到马上向你表白的程度。你的那个大哥就这个问题问他的时候，他没有回答，证明他的心里实际还是很犹豫的。
你说近来几个月你们的联系越来越少，（这块好像跟前面说的“在一两个月之前，我们两个联系特别频繁。”有点矛盾。）很可能是他有别的事情，影响了你们的联系。也有可能是他又有了一个考查对象，分散了他对你的关注度，让你觉得有些冷淡。
如果真是这样，你前面不是说他不是你的菜吗？那么就随他便吧！他以后愿意爱上谁就爱上谁，你们能作普通朋友就继续作普通朋友，如果连普通朋友都不愿意作，那就顺势疏远他吧！
不过你虽然在口头上说你不认为他是你的菜，但是从字里行间我可以看得出来，实际你内心还是特别希望他能够向你表白的，而且只要他向你表白了你肯定会接受。
如果这只是出于一个青春少女一时的春心萌动，我劝你还是冷静下来，仔细地考察一段时间，这个小伙子到底是不是你所爱的那种人，他值不值得让你托付终身。如果确定是，可以放下一个少女的矜持，自己主动去争取，以免已经降临的甜蜜爱情从身边溜走了。如果不是，那就快刀斩乱麻，彻底割断情丝，既便他多次向你表白你也不要给他留下任何念想，以免他长期纠缠你。
至于他算不算渣男，我又看了看你的介绍，好像他也没作什么渣事儿呀？怎么能算渣男呢？
你又没说，渣得像啥样，渣男不是很好吗？只要好好条教，就很优秀。