Родился 1 декабря 1896 г. в деревне Стрелкова ныне Жуковского района Калужской области в семье крестьянина. Участник первой мировой войны, младший унтер-офицер, награжден 2 Георгиевскими крестами. В Советской армии с 1918 г. В годы гражданской войны командовал взводом и эскадроном, после войны – эскадроном, кавалерийским полком и бригадой.

Окончил курсы высшего комсостава (1930 г.). В 1926-1931 гг. преподавал в БГУ курс «Высшая допризывная военная подготовка студентов». В 1938-1939 гг. служил заместителем командующего Белорусского военного округа. Отличился в боях с японскими милитаристами у р. Халкин-Гол. 28 сентября 1939 г. Ему было присвоено звание Героя Советского Союза. В январе-июле 1941 г. начальник Генштаба – заместитель наркома обороны СССР. С августа 1942 г. Первый заместитель наркома и заместитель Верховного Главнокомандующего.

В годы Великой Отечественной войны проявлял себя как талантливый полководец, сыгравший важнейшую роль в разгроме немецко-фашистских войск в Ленинградской и Московской битвах (1941-1942 гг.), при прорыве блокады Ленинграда, в Сталинградской и Курской битвах (1942-1943 гг.), при наступлении на Правобережной Украине и в белорусской операции «Багратион» (1943-1944 гг.), в Висло-Одерской и Берлинской операциях (1944-1945 гг.). От имени Верховного Главнокомандования 8 мая 1945 г. принял капитуляцию фашистской Германии. За образцовое выполнение боевых заданий по руководству операциями фронтов 29 июля 1944 г. удостоен второй, а 1 июня 1945 г. – третьей медали «Золотая Звезда».

За выдающиеся заслуги перед народом и в связи с 60-летием со дня рождения 1 декабря 1956 г. награжден четвертой медалью «Золотая Звезда». Дважды награжден орденом «Победа», а также многими другими советскими и иностранными орденами и медалями.

В 1945-1946 гг. являлся главнокомандующим Группой советских войск и главой Советской военной администрации в Германии. С марта 1946 г. – главнокомандующий Сухопутными войсками и заместитель министра Вооруженных Сил СССР. В том же году отстранен от должности И.В.Сталиным. С июня 1946 г. командовал войсками Одесского, с 1948 г. – Уральского военных округов. С 1953 г. служил первым заместителем министра, с 1955 г. – министром обороны СССР. В октябре 1957 г. освобожден от обязанностей министра по распоряжению Н.С.Хрущева и в 1958 г. уволен из Вооруженных Сил.
Умер 18 июня 1974 г. Похоронен на Красной площади у Кремлевской стены. Бронзовый бюст установлен на родине героя. Его именем названы улицы во многих городах ,в том числе в Минске, Гомеле, Слуцке.