Это распространенное дело, и обычно имеет довольно конкретные причины, прикрываемые сказками про "так принято" и "надо ходить на работу".
Например, многих людей раздражает, что они встают в шесть утра и едут в контору, а кто-то спит до полудня, после чего принимается за свои переводы/кодинг/вытесывание буратин на заказ. Вечером их раздражает, что они притащились еле живые и упали на диван, а кто-то встает, потягивается и идет в спортзал/бассейн/кружок макраме.
Это банальная зависть.
Тех же, кто тоже никуда не ходит, может раздражать просто болтающийся дома вместе с ними человек - раньше-то в школу уходила до вечера, ан теперь дома все сидит, глаза мозолит, мешается, дверь в комнату закрывает.
Посоветовать можно только стоять яко истукан каменный, рано или поздно даже упертые родичи сдадутся.