老公的前妻总是来看孩子 这让我感到十分苦恼

我和老公在一起其实挺好的，他是二婚，好不容易和他的孩子培养出了感情，他的前妻又总是来我们家看孩子。遇到这样的情况，我也不知道怎么办才好了呢。
离婚后的第二年，我认识了现在的老公，他是个快递员，一个月也能有五千多块钱，是熟人介绍的，或许是他身上的那种勤快朴实的性格让我对他有了一定的好感，再加上我们交往期间，他对我挺好的，所以很快我们就结婚了。这里要说一下，我离婚后没孩子，而他和前妻离婚的时候有个三岁的儿子判给了他抚养，还有个女儿给了他前妻，他比我大五岁。
都说再婚家庭是非多，尤其是在对待孩子问题上，可我真的把他儿子当成自己孩子养一样，我自己的工资除了家用，基本上每个月在他儿子身上能花去七八百，虽然钱不多，但时间久了，累计下来也与不少，经常带他儿子出去玩，买衣服啥的，我为了他，为了这个家尽心付出了自己的一切，可是我们的问题还是出在孩子身上。

孩子三岁后，我好不容易培养出来和他儿子的感情，这个时候他前妻总是带着零食啥的来看儿子，最让我感到不解的是每次还都是我不在家的时候过来看孩子，一开始我没察觉到，可有几次我看到孩子房间有不少零食，这些都不是我买的，我拿着零食去找老公对质，他才说实话，虽然我不介意他前妻过来看孩子，可是为什么偏偏选择我不在家的时候昵？你说这孤男孤女的，我能不多想吗？现在我都怀疑老公是不是有事瞒着我，我还能相信他说的话吗？
老公其实对我很好，他把房子给了前妻，儿子3岁我们来养，但婆婆不舍得孙女给她前妻，要留下来抚养，说等小孩大点在让她前妻抚养，所以导致她前妻经常来往，在家里一住就是一星期左右，我们没有跟婆婆他们住在一起，他前妻每次来，我老公都避着我想各种办法不让我回婆婆家。