Николай Михайлович Баранов родился 25 июля 1837 года в фамильном поместье Лучкино Кологривского уезда Костромской губернии в старинной, но небогатой дворянской семье.

Образование получил в Санкт-Петербурге в Морском кадетском корпусе, откуда был выпущен в 1854 году. Участвовал в Крымской войне, в 1856 году произведён в первый офицерский чин.

В 1858 году Баранов перешёл из военно-морского флота в «Русское общество пароходства и торговли», затем вновь вернулся во флот, возглавил модельную мастерскую Петербургского порта. В 1866—1877 годах возглавлял Морской музей, привёл его в блестящее состояние, занимался созданием военно-морских экспозиций на различных российских и международных выставках. Произвёл работы по углублению Кронштадтской гавани.

Накануне Русско-турецкой войны 1877—1878 гг. предложил, исходя из своего опыта в «Русском обществе пароходства и торговли», вооружить и использовать быстроходные коммерческие суда для нападений на морские коммуникации противника. Одним из первых смог реализовать подобную идею, получив под свое командование пароход «Веста». 15 июля 1877 года за отличие был награждён орденом св. Георгия 4-й степени и затем пожалован во флигель-адъютанты. Во время кампании на Чёрном море на этом корабле выдержал неравный бой с турецким броненосцем «Фехти-Булен». Впоследствии, командуя пароходом «Россия», Баранов захватил турецкий транспорт «Мерсина» с многочисленным вражеским десантом. Получил всероссийскую известность и был произведен в капитаны 1-го ранга.

Однако вскоре после окончания войны разразился скандал: лейтенант Зиновий Петрович Рожественский опубликовал статью, в которой описал бой между «Вестой» и «Фехти-Буленом» как «постыдное бегство» и обвинил Баранова в преувеличении заслуг «Весты». В июле 1878 года было назначено судебное разбирательство этого эпизода, однако через год Морское министерство прекратило процесс против Рожественского, предложив Баранову судиться с лейтенантом за нанесенное оскорбление гражданским порядком.

Обиженный капитан просил отставки, однако ему было отказано, после чего он подал генерал-адмиралу в. кн. Константину Николаевичу докладную записку, в которой перечислял все нанесенные ему обиды, в том числе недоплаченные призовые деньги за захват «Мерсины». Разгневанный генерал-адмирал довел записку до сведения Александра II, после чего Баранов был предан суду «за неприличные и оскорбительные выражения, употреблённые в оной записке». В декабре 1879 года Санкт-Петербургским военно-морским судом Баранов был признан виновным и отставлен от службы с учётом его боевых заслуг.

В 1880 году по ходатайству министра внутренних дел графа Михаила Лорис-Меликова капитан 1-го ранга Николай Михайлович Баранов был помилован и переведён в полицию, «с переименованием в полковника», и отправлен губернатором в Гродно для организации надзора за русскими революционерами.

После убийства императора Александра II Баранов занял пост петербургского градоначальника (в марте-августе 1881), для борьбы с террором «Народной воли». Его кандидатуру Александру III посоветовал обер-прокурор Константин Петрович Победоносцев. В своих «Воспоминаниях» Сергей Юльевич Витте пишет, что, несмотря на протекцию Победоносцева, «градоначальником он был очень недолго, выделывал различные фокусы и, в конце концов, не мог ужиться градоначальником».

На посту градоначальника Санкт-Петербурга Баранов учредил особый выборный «совет двадцати пяти» (в публике стал известен под именем «бараньего парламента»), имевший две подкомиссии: для организации «при особе Его Величества охранной стражи» и для создания артели дворников. Была создана и специальная комиссия «о мерах против ведения подкопов» и «об определении обязанностей полиции и дворников за наружным наблюдением домов». «Бараний парламент» не дал никаких результатов и был вскоре распущен.

После отставки с поста петербургского градоначальника Баранов пытался вернуться в «большую политику» предлагая различные проекты. Позднее был назначен губернатором в Архангельск, а в период с 1882 по 1897 в Нижний Новгород. Когда в 1892 г. в городе началась холерная эпидемия, Баранов спасал Всероссийскую ярмарку не только от эпидемии, но и от связанной с нею паники. На Волге были организованы плавучие госпитали-бараки. Как только в них перестало хватать места, Баранов отвел под холерный госпиталь свою резиденцию.

Когда появились первые признаки холерных бунтов, Баранов отдает краткий приказ о том, что зачинщиков будут вешать на месте без суда и следствия. Человек с железной волей в вопросах, которым он придавал государственное значение, Баранов в частной жизни был мягким и на редкость добрым человеком. Весь в долгах, закладывая собственные вещи, он помогал не только знакомым, но и своим подчиненным.

Характерной чертой Баранова было уважение к печати. И во время холерной эпидемии в Нижнем Новгороде, он настоял на том, чтобы газеты печатали точные, верные сведения о ходе эпидемии в такое время, когда в других городах эти цифры скрывались.

Помимо прочих заслуг, в историю Николай Михайлович Баранов вошёл как изобретатель винтовки системы Баранова образца 1869 года. Винтовка Баранова основывалась на дульнозарядной пехотной винтовке предшествующего образца. Получавшаяся при переделке экономия позволяла быстро перевооружить русскую армию. Однако, конкурировавшая винтовка Крнка оказалась надежнее, и систему Баранова приняли только для флота, сделав 10 тысяч штук.