Окончил в июне 1942 года Московское Краснознаменное пехотное училище, которое тогда по решению Ставки ВГК было эвакуировано в Новосибирск. С августа 1942 года на фронтах Великой Отечественной войны воевал на Волховском и Ленинградском фронтах. Участвовал в обороне Ленинграда, в наступательных операциях советских войск в Прибалтике, в блокаде Курляндской группировки германских войск. В 1944 году вступил в ВКП(б). Дважды был ранен в бою. Победу встретил в Прибалтике.
Указом Президиума Верховного Совета СССР от 30 мая 1987 года совершенно неожиданно для себя Дмитрий Язов был назначен на должность министра обороны СССР. Это случилось после приземления Матиаса Руста на Красной площади и последующей отставки с поста министра обороны Маршала Советского Союза С.Л.Соколова. 28 апреля 1990 года президент СССР Михаил Горбачев присвоил Дмитрию Язову звание Маршала Советского Союза. Это было последним присвоением такого звания в истории СССР.
Дмитрий Язов в 1991 году примкнул к готовящемуся ГКЧП и с первого дня вошел в его состав. В Москву по его приказу были введены танки и тяжелая военная техника. После поездки в Форос к Горбачеву был арестован в аэропорту Внуково-2 в ночь на 22 августа 1991 года. В день ареста был издан Указ Президента об освобождении Язова от обязанностей министра обороны, который согласно статьям 113 и 127.3 Конституции СССР был внесен на рассмотрение Верховного Совета СССР, заседание которого открылось 26 августа, но указ так и не был им утвержден.
Язов неоднократно выступал с воспоминаниями о ГКЧП, в которых утверждал, что заговора против государственной власти тогда не было: «Правильно ли руководство страны выступило против политики Горбачева? Правильно. Другого пути не было». По словам Язова, он не отказался от амнистии в отличие от своего бывшего зама Валентина Варенникова.
По большому счету, именно маршал Язов, при ГКЧП введя в Москву войска и через три дня выведя их без единого выстрела, уберег страну от большой беды и кровопролития.
И сейчас на вопрос, что заставило его участвовать в ГКЧП 91-го года, он отвечает: «Угроза развала страны, которую я защищал на фронте. И потом эти игрища между Горбачевым и Ельциным. Надо было страну спасать, а они встревали в свары. К августу 1991-го уже нечем было платить армии. Я не мог смотреть на это и услужливо щелкать каблуками. Меня бы армия не поняла. Если бы август 91-го повторился, то действовал бы намного решительней».
Сегодня маршал Язов живет в Москве на улице Александра Невского. Кстати, в день 90-летия его наградили орденом имени этого великого полководца. До сих пор, со времен Великой Отечественной, носит крохотный осколок немецкой мины – вырезать стальную горошину крупповской стали врачи побоялись: лейтенант Язов мог ослепнуть. Вот так с тех пор, со времени боев под Ленинградом в 1941-м, маршал Язов и носит в себе мрачную память о войне.