Скорее всего, девушка в ответ на тупую шутку смутилась и растерялась. Именно это, а не сама шутка, было коллективом истолковано как «ага, физрук-то прав, скрывает, нагуляла». Что, разумеется, не оправдывает ни коллектив, ни мужика.
Автору надо забить и игнорировать любые шепотки. Уляжется-забудется, сплетни на то и сплетни. Не бегать же каждого переубеждать — и глупо, и в обратном скорее утвердятся.