Павел Алексеевич Зарубин родился 10 мая 1816 года в Костроме в мещанской семье. Жизнь его протекла в основном на службе в землемерном ведомстве.

В 1842 Зарубин был определён на службу в костромскую губернскую чертёжную, в 1854 перемещён в Москву в Межевую канцелярию, старшим землемерным помощником, с 1858-1860 служил землемером в департаменте уделов. За годы службы он изобрёл ряд точных приборов для правильного измерения и точного нанесения на бумагу измеренных площадей земной поверхности. Планы присяжных землемеров передавались на поверку Зарубину, который при помощи приборов своего изобретения часто находил те планы неверными, чем нажил себе немало неприятелей.

В 1864 Зарубин был причислен к министерству государственного имущества, в котором в должности помощника директора Императорского сельскохозяйственного музея служил до 1883.

В 1853 Зарубин представил в Академию наук несколько изобретённых им инструментов, относящихся к межевому делу. Академия наградила изобретения Демидовской премией, а описание их издала на свой счёт. Демидовской премии удостоен и его планиметр-самокат (1855). Императорское вольно-экономическое общество наградило золотыми медалями его многосильный гидропульт (1866) и водоподъёмник (1867). Всероссийская выставка 1882 также наградила медалью его сельскохозяйственный пожарный насос.

Из-за отсутствия средств не были осуществлены следующие изобретения Зарубина: 1) несколько новых планиметров; 2) способ определения морской глубины на глубоких местах без помощи линя или верёвки; 3) способ определения скорости хода корабля в любой момент с помощью стрелки и циферблата в каюте; 4) то же посредством музыкальных звуков; 5) автоматический способ определения пройденного кораблём пути с различными скоростями и 6) маятник, самосохраняющий постоянную длину при разных температурах.

Из напечатанных Зарубиным статей необходимо упомянуть: «Как решают простые русские люди вопрос об общинном владении землёю» («Труды Императорского Вольно-Экономического общества», 1865); «О водоподъёмных машинах вообще» (там же, 1866); «Теория пожарных насосов» (там же); «Определение плотности воздуха на разных высотах» («Природа и охота», 1878); «Устройство секундного маятника» (там же); «Научное разрешение вопроса об ассенизации Санкт-Петербурга по проекту Линдлея» (брошюра, 1886).

В память Зарубина Императорское Вольно-Экономическое общество учредило золотую медаль.