Весной 340 лет назад крепость Ям была взорвана шведами с помощью 40 бочек пороха. Это было решение, принятое в связи с упадком хозяйств и низкими сборами налогов в Ингерманландии. К тому же, с развитием артиллерии каменные крепости становятся скорее ловушками для гарнизонов. В начале 1970-х гг. крепость была исследована и выявлена хорошая сохранность оснований стен и башни.