Виктор Михайлович Быстров родился 16 марта 1931 года в Мытищах. Активно заниматься боксом начал в раннем детстве, проходил подготовку в спортивной секции Мытищинского машиностроительного завода под руководством тренера Николая Карцева. Позже присоединился к московскому спортивному обществу «Буревестник» и продолжил подготовку у тренера Георгия Джерояна. В бою преимущественно использовал игровой стиль, предпочитал действовать на дальней дистанции. Обладая хорошими реакцией и подвижностью, успевал нанести сопернику удар, парировать его атаку и успешно контратаковать.

Первого серьёзного успеха на ринге добился в 1955 году, когда дебютировал на первенстве СССР и сразу же выиграл серебряную медаль. Год спустя был бронзовым призёром, ещё через два года вновь добыл серебро. В 1960 и 1961 годах дважды подряд занимал третье место в зачёте национального первенства, а в 1962 году наконец заслужил звание чемпиона СССР в наилегчайшем весе. Благодаря череде удачных выступлений удостоился права защищать честь страны на чемпионате Европы в 1963 года в Москве — одолел здесь всех своих соперников и завоевал тем самым медаль золотого достоинства. За это достижение получил звание заслуженного мастера спорта. Последний раз выходил на ринг в качестве действующего боксёра в сезоне 1964 года, в последних международных матчах стал обладателем Кубка Европы. Всего в любительском боксе провёл 367 боёв.

В 1961 году Виктор Михайлович окончил Государственный центральный институт физической культуры, поэтому после завершения спортивной карьеры он вскоре перешёл на тренерскую работу. В течение 30 лет готовил молодых боксёров в детско-юношеской спортивной школе «Метеор» в городе Жуковский Московской области (ныне школа носит его имя). Подготовил победителей и призеров первенств СССР и и РСФСР среди юниоров и юношей, мастеров спорта СССР: В. Авдеева, А. Анурина, А. Астафурова, В. Мазурова, Н. Эрекайкина, В. Тюрина, А. Сурканова.

В 1975-1978 уезжал в командировку на Кубу, где был старшим тренером молодёжной сборной страны, контролировал тренировочный процесс, занимался отбором наиболее талантливых учеников. В частности, отобрал в команду совсем юных Хуана Эрнандеса и Армандо Мартинеса, которые впоследствии стали олимпийскими чемпионами.

За подготовку призера Чемпионата СССР 1968 года, чемпиона Спартакиады народов СССР Виктора Орлова ( до 54 кг ), Виктору Быстрову присвоено звание заслуженного тренера РСФСР.