Анатолий Иванович Ершов родился 24 декабря 1931 года в Москве. Проживал в доме на Ленинском проспекте, рос в многодетной семье (имел восемь братьев и сестёр). В молодости работал на оборонном заводе.

Увлёкшись боксом, прошёл подготовку в спортивном клубе «Пищевик» (будущее добровольное спортивное общество «Спартак») под руководством заслуженного тренера СССР Виталия Андреевича Островерхова[1].

Наибольшего успеха как спортсмен добился в сезоне 1952 года, когда на чемпионате СССР в Москве одолел всех своих соперников в зачёте лёгкой весовой категории, в том числе победил в финале представителя Еревана Эдуарда Аристакесяна и завоевал тем самым награду золотого достоинства. Год спустя вновь боксировал на ринге национального первенства, однако на сей раз попасть в число призёров не смог: на стадии полуфиналов полусреднего веса был остановлен Геннадием Рожковым из Алма-Аты. Выполнил норматив мастера спорта СССР.

После завершения спортивной карьеры перешёл на тренерскую работу. Его воспитанники Владимир Яксанов, Дмитрий Доброхотов, Александр и Виктор Заботины, Хайдер Зейнетдинов, Пётр Шурыгин, Юрий Грачёв показывали хорошие результаты на соревнованиях всероссийского уровня, в то время как еще один его ученик — мастер спорта международного класса Анатолий Волков — состоял в национальной сборной Советского Союза и участвовал в летних Олимпийских играх в Монреале