Николай Михайлович рано остался сиротой. В автобиографии Рубцов пишет, что отец ушёл на фронт и погиб в том же 1941 году. Но на самом деле Михаил Андрианович Рубцов выжил и после войны женился вторично, оставив собственных детей от первого брака в интернате, жил в Вологде. Поэт написал эти строки в своей биографии, желая забыть о своём отце, который не пожелал найти своего сына и взять его к себе после возвращения с фронта.
В 1940 году переехал вместе со своей многочисленной семьёй в Вологду, где Рубцовых и застала война. Вскоре умерла мать Рубцова, и детей распределили в интернаты. Следующие семь лет поэт жил и учился в Никольском детском доме, где он окончил семь классов школы.
С 1950 года по 1952 год будущий поэт учился в Тотемском лесотехническом техникуме. Затем с 1952 года по 1953 год работал кочегаром в архангельском траловом флоте треста «Севрыба», с 1953 года по 1955 год учился в горно-химическом техникуме Минхимпрома в г. Кировск (Мурманская область). С марта 1955 Рубцов был разнорабочим на опытном военном полигоне.
С октября 1955 года по 1959 год проходил армейскую службу на Северном флоте (в звании матроса и старшего матроса). После демобилизации жил в Ленинграде, работая попеременно слесарем, кочегаром и шихтовщиком на Кировском заводе.
Рубцов начинает заниматься в литобъединении «Нарвская застава», знакомится с молодыми ленинградскими поэтами Глебом Горбовским, Константином Кузьминским, Эдуардом Шнейдерманом. В июле 1962 года с помощью Бориса Тайгина выпускает свой первый машинописный сборник «Волны и скалы».
В августе 1962 года Рубцов поступает в Литературный институт им. М. Горького в Москве и знакомится с Владимиром Соколовым, Станиславом Куняевым, Вадимом Кожиновым и другими литераторами, чьё дружеское участие не раз помогало ему и в творчестве, и в делах по изданию стихов. С пребыванием в институте вскоре возникли проблемы, однако поэт продолжает писать, и в середине 1960-х у него выходят первые сборники.
Рубцов сам предсказал свою смерть в стихотворении «Я умру в крещенские морозы», и действительно умер 19 января. Ему было всего 35 лет, когда с ним случалась трагедия — сначала инфаркт, а потом нелепая смерть от руки любимой женщины. Гражданская жена поэта Людмила Дербина сама призналась в убийстве Рубцова, хотя впоследствии появилась версия о несчастном случае.
Рубцов до сих пор популярен, в Архангельской области есть литературная премия его имени, а в Северном (Арктическом) федеральном университете каждый год, в январе, проходят Рубцовские чтения.
Всю свою жизнь поэт не имел даже собственного угла. Только за год до смерти первый секретарь Вологодского обкома КПСС Анатолий Дрыгин, любивший его стихи, распорядился выделить ему однокомнатную квартиру в Вологде. Сейчас на доме, где жил и погиб поэт, есть мемориальная доска.
За свою короткую жизнь он успел выпустить четыре сборника стихов. Многие стихи были положены на музыку. Песня на слова Рубцова «Я буду долго гнать велосипед...» в исполнении Александра Барыкина до сих пор пользуется популярностью у слушателей.