Аркадий Георгиевич Харлампиев родился 29 января 1888 года в Смоленске. Его отец, Георгий Яковлевич Харлампиев, был известным гимнастом и кулачным бойцом — много лет собирал, изучал и классифицировал различные приёмы рукопашного боя, борьбы и самозащиты. Есть легенды о его силе: пальцами рвал трёхкопеечные монеты; остановил понесшую тройку лошадей (в экипаже которой находилась его будущая жена) и т. п.

С ранних лет Аркадий обливался холодной водой, подтягивался на импровизированном турнике, выполнял упражнения с ядром. Учился в Смоленской гимназии, где проявил склонность к рисованию. С отличием окончил Императорскую Академию художеств, после чего за государственный счёт был отправлен на продолжение обучения в Парижскую академию изящных искусств. Во Франции серьёзно занимался боксом, выступал на соревнованиях, в частности, по некоторым данным, выигрывал французское национальное первенство и первенство Европы среди профессионалов. Также в 1913 году становился чемпионом России по боксу.

Участвовал в Первой мировой войне. В годы войны прошёл школу прапорщиков, воевал на фронте, возглавлял команду разведчиков, командовал ротой. В одном из боёв оказался в бессознательном состоянии и попал в плен, но сумел бежать из немецкого лагеря для военнопленных во Францию, откуда впоследствии перебрался в Эстонию.

До 1921 года работал тренером в любительском боксёрском клубе в Таллине, стоял у истоков эстонской школы бокса. Подготовил здесь нескольких титулованных боксёров и тренеров, в их числе Нигуль Маатсоо, Валтер Ээнмаа, Херберт Кютт, Ханс Греэнбаум, Пеэтер Матсов и др.

Начиная с 1924 года преподавал бокс в Главной военной школе физического образования трудящихся в Москве. В период 1923—1925 годов возглавлял московскую секцию бокса физкультурно-спортивного общества «Динамо», первые боксёры-динамовцы большей частью являются его учениками, среди них К. Градополов, А. Лебедев, М. Петров. Тренировал выдающегося советского боксёра Николая Королёва, заслуженного мастера спорта СССР, девятикратного чемпиона СССР по боксу. В разное время его подопечными были такие титулованные боксёры как Леван Темурян и Николай Штейн.

Основатель Высшей школы тренеров по боксу при Государственном центральном институте физической культуры. Автор методических пособий по физической культуре, нескольких книг на спортивную тематику: «Атлетические игры» (1923), «Гимнастические игры» (1924), «Коллективный отдых в рабочем клубе: Забавы. Игры. Танцы. Хор» (1925).

Жена — Анна Трофимовна Харлампиева (1887—1969), сыновья — Анатолий и Георгий. Старший сын Анатолий Харлампиев — выдающийся советский мастер боевых искусств, один из создателей и пропагандист национальной борьбы самбо. Младший сын Георгий был известным в СССР альпинистом и музыкантом.

Умер 14 июня 1936 года. Похоронен на Новодевичьем кладбище в Москве.

А. Г. Харлампиеву посвящена документально-художественная повесть Э. А. Хруцкого «Этот неистовый русский» (1970)