Ситуация с "через много лет вскрылось, что я не отец" выглядит реально хреновой.
Либо утирайся и живи дальше со шлюхой либо разводиться, но тут тебя осудят, что детей бросаешь.
А если не бросать детей, то своих родных, может, хрен и заведешь, алименты на неродных же платить придется, 33-50%.
Либо отменяй отцовство, но тогда мужика заклеймят козлиной, "значит, так и не полюбил этих вот детей".
А так, чтобы разрешить просто общаться со старшими детьми, если любишь, нет, такого варианта нет. Или-или. Закон не предусматривает сохранение права на общение с ребенком после отмены родительства.