В 1929 году семья Фирсовых переехала в Ленинград, где отец начал ра­ботать на заводе «Русский дизель». В 1930 году Афанасия Осиповича аре­стовали. Он был осужден на пять лет лишения свободы. Однако личность арестованного талантливого инженера А. О. Фирсова, находящегося в то время в Москве, на Лубянке, привлекла внимание нарко­ма тяжелого машиностроения С. Орджоникидзе, не желавшего терять цен­ных специалистов, в которых остро нуждалась бурно развивающаяся про­мышленность страны.