Скорее всего, дело в терминологии. Есть конкретно насилие - физическое, сексуальное, психологическое (те самые оскорбления, запугивания, манипуляции), опасное для здоровья и жизни. И есть "мелочи" - стремные подкаты, свист вслед, сальные комплименты. Насилием это не является, но раздражает и выбивает из колеи. Плюс пугает неизвестность - никогда точно не знаешь, конкретно вот этот мимокрокодил ограничится своим "ябывдул" и пойдет дальше, или нападет.