Виктор Петрович Агеев начал заниматься боксом в 13 лет под руководством тренера Владимира Фроловича Конькова, привившего ему необычную манеру боя, одним из элементов которой была открытая стойка с опущенными руками.

В 1960 году Агеев начал уникальную победную серию, в ходе которой выиграл 34 международных встречи, дважды (1965, 1967) завоевал титул чемпиона Европы и четырежды (1963, 1965—1967) — чемпиона СССР.

Закончив выступления на ринге, перешел на тренерскую работу в ЦСКА. Среди его учеников чемпионы СССР, Европы и Мира — В.Рыбаков, В.Лимасов, В.Соломин, Галкин, победитель знаменитого кубинца Эрреры легковес Анатолий Петров и первый чемпион России среди профессионалов Виктор Егоров, Николай Токарев, Сергей Кобзев, Виктор Карпухин.

В конце 1980-х Агеев стал одним из инициаторов развития в СССР профессионального бокса. В 1992 избран президентом Федерации профессионального бокса России, вошёл в руководство Всемирной боксёрской ассоциации (WBA) и Паназиатской боксёрской ассоциации (PABA).

в 2002-м году награжден орденом Почета.

В г. Балашиха Московской области им создан Спортивный клуб им. В. П. Агеева, где в Школе бокса В. П. Агеева бесплатно тренируются свыше 100 юных спортсменов. Специализированный зал бокса оснащен новейшим оборудованием, также в клубе имеется тренажерный зал и восстановительный центр. Ежегодно в Балашихе проводится международный турнир на призы Виктора Петровича Агеева