У них был не только шпион Снейп, но и Дамблдор, который наверняка мог бы продавить физическое уничтожение для пожирателей в Азкабане (причем даже не снимая белого плаща, под предлогом, что нефиг даже таких уродов мучить дементорами всю оставшуюся жизнь, милосерднее просто грохнуть на месте) и что-нибудь продумать хотя бы с преподаванием маггловедения в школе, чтобы дети пожирателей в дальнейшем не пошли по стопам отцов. Ну а пожирателей на свободе в принципе можно бы было тоже либо перевербовать, либо грохнуть по-тихому.
И, если мне не изменяет память, беспалочковой магии в каноне вообще не было, была только стихийная у детей. А про невербальную магию, помнится, было сказано, что ее преимущество в том, что противник не знает, какое заклинание ты используешь, при этом про скорость не было сказано ничего.