Родился 30 сентября 1895 года в селе Новая Гольчиха ныне Вичугского района Ивановской области в семье псаломщика. Русский. В 1897 году с семьёй переехал в село Новопокровское ныне Кинешемского района Ивановской области. В 1909 году окончил кинешемское духовное училище и поступил в костромскую духовную семинарию, диплом об окончании которой позволял продолжить образование в светском учебном заведении. Александр мечтал стать агрономом или землемером, но начавшаяся I мировая война изменила его планы. В мае 1915 года окончил ускоренный курс (4 месяца) Алексеевского военного училища в Москве и в чине прапорщика был направлен на Юго-Западный фронт. Командовал ротой 409-го Новохопёрского полка (103-я пехотная дивизия, 9-я армия), затем батальоном. В мае 1916 года участвовал в знаменитом Брусиловском прорыве. Получил чин штабс-капитана.
После Октябрьской революции в декабре 1917 года солдаты избрали его командиром 409-го полка. В начале 1918 года, находясь в отпуске в родных краях, был назначен инструктором всевобуча в Углецкой волости (Кинешемский уезд Костромской губернии). Осенью 1918 года работал учителем в начальных школах сёл Верховье и Подъяковлево Тульской губернии (ныне Орловская область). В апреле 1919 года призван в Красную Армию. После прохождения месячной подготовки в 4-м запасном батальоне попал на фронт. За короткий срок прошёл путь от взводного инструктора (помкомвзвода) до помощника командира 429-го стрелкового полка. Сражался против банд на территории Тульской и Самарской губерний, армии Деникина, отрядов Булак-Балаховича, участвовал в польской компании. После войны командовал 142-м и 143-м полками 48-й Тверской стрелковой дивизии, возглавлял дивизионную школу младших командиров. В 1927 году окончил стрелково-тактические курсы «Выстрел». Осенью 1930 года полк под командованием Василевского занял первое место в дивизии и получил отличную оценку на окружных маневрах.
С 1931 года служил в Управлении боевой подготовки РККА. В 1934-1936 года был начальником отдела боевой подготовки Приволжского военного округа. В 1937 году окончил Военную академию Генерального штаба и неожиданно назначен начальником кафедры тыла академии (прежний начальник И.И. Трутко был в это время репрессирован). В октябре 1937 года последовало новое назначение - помощником начальника отдела Генерального штаба. С мая 1940 года был заместитель начальника Оперативного управления Генерального штаба.
Участник Великой Отечественной войны с первого дня. В августе 1941 года генерал-майор Василевский А.М. был назначен заместителем начальника Генерального штаба - начальником Оперативного управления. В июне 1942 года назначен начальником Генерального штаба, а с октября был одновременно заместителем наркома обороны СССР, являлся членом Ставки ВГК. Внёс большой вклад в развитие советского военного искусства, принимал участие в разработке и осуществлении плана наступательной операции под Сталинградом. По поручению Ставки ВГК координировал действия Воронежского и Степного фронтов в Курской битве. В 1943 году ему присвоено воинское звание «Маршал Советского Союза». Руководил планированием и проведением операций по освобождению Донбаса, Северной Таврии, Криворожско-Никопольской операции, операции по освобождению Крыма, Белорусской операции.
Звание Героя Советского Союза с вручением ордена Ленина и медали "Золотая Звезда" (№ 2856) Василевскому Александру Михайловичу присвоено 29 июля 1944 за образцовое выполнение заданий ВГК по руководству этими операциями.
С февраля 1945 года командовал 3-м Белорусским фронтом. Руководил штурмом Кёнигсберга.
Ещё осенью 1944 года А.М. Василевский получил задание подсчитать необходимые силы и материальные ресурсы для войны против империалистической Японии. В 1945 году под его руководством был подготовлен план Манчжурской стратегической наступательной операции, который был одобрен Ставкой и Государственным Комитетом Обороны. В июле 1945 года А.М. Василевский был назначен главнокомандующим советскими войсками на Дальнем Востоке.
Накануне наступления маршал Василевский посетил исходные позиции войск, ознакомился с частями, обсудил обстановку с командующими армиями и корпусами. При этом были уточнены и сокращены сроки выполнения основных задач, в частности выхода на Мачжурскую равнину. На рассвете 9 августа войска Забайкальского, 1-го и 2-го Дальневосточных фронтов, Тихоокеанского флота, Амурской военной флотилии и Народно-революционной армии МНР перешли границу и начали наступление вглубь территории противника. Всего 24 дня потребовалось советским и монгольским войскам, чтобы разгромить в Манчжурии миллионную Квантунскую армию.
Второй медали "Золотая Звезда" (№ 78) Василевский Александр Михайлович удостоен 8 сентября 1945 за умелое руководство советскими войсками на Дальнем Востоке во время войны с Японией.
В 1946-1949 годах был начальником Генерального штаба, заместителем и 1-м заместителем министра Вооружённых Сил СССР. В 1949-1953 годах был министром Вооружённых Сил (военный министр) СССР, в 1953-1956 годах - 1-й заместитель министра обороны СССР, в 1956-1957 годах - заместитель министра обороны по вопросам военной науки. С 1959 года находился в Группе генеральных инспекторов МО СССР. На XIX и XX съездах избирался членом ЦК КПСС. Избирался депутатом Верховного Совета СССР 2-4 созывов.
Скончался 5 декабря 1977 года. Похоронен на Красной площади у Кремлёвской стены.
Награждён 8 орденами Ленина, орденом Октябрьской Революции, 2 орденами «Победа» (один из них № 2), 2 орденами Красного Знамени, орденами Суворова 1-й степени, Красной Звезды, «За службу Родине в Вооружённых Силах СССР» 3-й степени, медалями, почётным оружием, иностранными орденами.
Бронзовый бюст установлен в городе Кинешма, там же на здании бывшего духовного училища установлена мемориальная доска. Бюст установлен в городе Вичуга (2005 год) и памятник в Калининграде. Имя Героя носят улицы в Москве, Иванове, Челябинске, Энгельсе Саратовской области, Краснодоне Ворошиловградской (Луганской) области, площадь в Калининграде. Его именем названы пик на Памире и сорт сирени, океанский танкер и большой противолодочный корабль.
Рассмотрев ходатайства Ивановского горкома КПСС и горисполкома о переименовании в ознаменование 40-летия Победы советского народа в Великой Отечественной войне, улицы Просторной в г. Иваново и присвоении ей имени Маршала Советского Союза А.М.Василевского, решением исполкома Ивановского областного Совета народных депутатов N295 от 09.09.85 г. улица Просторная, расположенная в Ленинском районе от проспекта Строителей до 5-й Коляновской, переименована в улицу Маршала Василевского.