不想让小舅子在我家住 如今却要我给买房子

现在因为小舅子，我和老婆天天吵架，之前住在我家不走，现在又想让我出钱给买房子，难道作为姐夫还要行使作为爹妈的责任吗？
我跟老婆都来自于小县城，我们没有好的家境，能够走到今天完全靠自己。我跟老婆属于晚婚，结婚的时候我32岁，她31岁，这些年来我们一直都努力打拼，通过自己购买了一套房子，虽然两室一厅面积不大，但总算是有了属于我们的家。
可是我们刚搬到新房不久，老婆跟我说小舅子要来我们家住，我当时觉得非常惊讶，因为我们的房子是2室1厅的，有一个房间是专门留给孩子的，虽然孩子现在由我爸妈带，但我也不想让小舅子占了去，我还想着把孩子接到我们身边。
可老婆态度非常坚决，我也无能为力，最终只能选择妥协，原本以为小舅子只是来我们家住一段时间，可没想到他住下就不走了，而且从来不交生活费，不是我这个人小心眼儿，小舅子的饭量真的很大，而且非常挑食，顿顿都要有鱼肉，否则就生气不吃饭。
我女儿对舅舅住在我家也很反感，本来搬到新家之后有了自己的房间，但是现在却要和我和妻子住在一起，现在我女儿巴不得她舅舅赶紧滚蛋。她说她特别讨厌她舅舅，不仅抢了属于她的房间，还一天到晚啥事不干就知道找我老婆要钱。