Двукратный призер Олимпийских игр
Место рождения: Магадан, РСФСР, СССР
Дата рождения: 26 мая 1956
Олимпийские медали:
Бронзовая медаль - Монреаль 1976 до 54 кг
Бронзовая медаль - Москва 1980 до 57 кг

В течение карьеры выступал в 3 весовых категориях — до 54 кг, до 57 кг и 60 кг — и в каждой из них становился чемпионом Европы.
В полуфинале Олимпиады-1976 в Монреале Рыбаков дважды посылал в нокдаун американца Чарльза Муни, но судьи в итоге отдали победу американцу со счётом 4-1, за что в полном составе были впоследствии пожизненно дисквалифицированы. Однако Рыбакову досталась лишь бронза.
Перед Олимпиадой-1980 Рыбаков просил тренеров о возможности перейти в более тяжёлую весовую категорию, однако те настояли на том, чтобы Виктор выступал в категории до 57 кг. Рыбаков был вынужден «сгонять вес» перед соревнованиями, и в итоге проиграл в полуфинале немцу из ГДР Руди Финку, у которого выиграл за год до этого на чемпионате Европы в Кёльне. Через год Виктор всё же перешёл в категорию до 60 кг и выиграл золото чемпионата Европы.
Виктор четырежды подряд становился обладателем Кубка Никифорова-Денисова, как самый техничный боксер чемпионата Европы (1975, 1977, 1979, 1981), даже на том чемпионате Европы (1977), который он не выиграл.
Завершил любительскую карьеру в 1982 году в возрасте 26 лет из-за разногласий с тренерским составом сборной СССР. После этого Рыбаков стал старшим тренером команды боксеров Группы советских войск в Германии.
Всего же за свою шестнадцатилетнюю карьеру на любительском ринге Виктор провел 219 боев и одержал 203 победы.