Александр Васильевич Арефьев родился в 1912 году в г. Ельце Орловской губернии (ныне Липецкой области) в семье машиниста железнодорожной станции.

В 1930 году он с отличием окончил Елецкий строительный техникум, в 1934 году — Московский институт инженеров транспорта, затем продолжил свое образование в Московском архитектурном институте (МАРХИ). Перед Великой Отечественной войной, будучи аспирантом МАРХИ, Александр Арефьев выезжал в научные командировки в Среднюю Азию для изучения и обмера архитектурных сооружений Самарканда, Бухары, Ташкента и других городов. В 1941 году А. В. Арефьев защитил кандидатскую диссертацию на тему «Самаркандский жилой дом».

Во время Великой Отечественной войны в 1941—1943 годах А. В. Арефьев работал над большим проектом по планировке жилищного комплекса в излучине реки Урал в двух километрах от города Гурьев Казахской ССР для Гурьевского нефтеперерабатывающего завода,  который надо было возвести в короткие сроки с учетом неблагоприятных климатических условий безводной солончаковой пустыни. Жилищный комплекс состоял из комфортабельных одно-, двух-, четырех- и восьмиквартирных домов, приспособленных к условиям жаркого климата и стилизованных под среднеазиатскую архитектуру. В планировке жилого городка для рабочих нефтеперерабатывающего завода Александр Васильевич воплотил те идеи и принципы, которые почерпнул из углубленного изучения особенностей южного жилья в Средней Азии. 

А. В. Арефьев был награжден Сталинской премией второй степени (1946) за создание Генерального плана и большого числа домов жилого городка при заводе в городе Гурьев Казахской ССР (Гурьевский жилой городок).

В 1948 году была издана брошюра «Гурьевский жилой городок» под авторством С. Васильковского и А. Арефьева. В 1982 году жилой городок нефтяников был включен в список памятников истории и культуры Казахской ССР республиканского значения и взят под охрану государства. В настоящий момент этот район входит в черту города, переименованного в 1991 году в Атырау.

После Великой Отечественной войны А. В. Арефьев работал в Москве,  проектировал район Перово Поле.

В  1950 году Александр Васильевич получил назначение на должность главного архитектора Севастополя и по 1959 год руководил восстановлением города, который был фактически построен заново. В 1959 году в центре Севастополя был установлен памятник выдающемуся русскому флотоводцу — адмиралу П. С. Нахимову (скульптор Н. В. Томский, архитектор А. В. Арефьев).

В 1961–1963 годах А. В. Арефьев — главный архитектор города Сочи, в связи с решением правительства превратить Сочи в курортный город нового типа.

С 1964 года Александр Васильевич возглавлял институт «Моспроект-З». Являлся членом-корреспондентом Академии архитектуры СССР.

Умер А. В. Арефьев в 1979 году в Москве.