Из дворян. Рано остался сиротой. Окончил Казанский университет. В 1843 - 1854 годах – тамбовский губернатор. «Человек сильного ума» (Б.Н. Чичерин), «гроза чиновников и бич всех местных проходимцев» (И.И. Дубасов). Губернаторство Булгакова ознаменовано одним крупным местным событием – бунтом крестьян, с которых брали двойные подати. Усилилось преследование старообрядцев, молокан. Велось гражданское и церковное строительство, приводились в порядок дороги и мосты, сооружались тротуары в Тамбове.
При Булгакове в Тамбове были открыты Мариинский детский приют и Серафимовское духовное училище. В 1854 - 1856 годах П.А. Булгаков был Калужским губернатором, работал в военном министерстве. Выйдя в отставку, поселился в Тамбовской губернии. В 1867 году внесён в губернскую родословную книгу дворянства. Похоронен на Воздвиженском кладбище в Тамбове.