Русский поэт и прозаик, литературный критик; отец писательницы М. В. Крестовской (в замужестве Картавцева) и скульптора И. В. Крестовского, дед художника Ярослава Крестовского. Родился 11 (23) февраля 1840 года в селе Малая Березянка (Таращанский уезд, Киевская губерния). Сын уланского офицера. Учился в 1-й петербургской гимназии (1850—1857); под влиянием учителя словесности, переводчика и писателя В. И. Водовозова начал писать стихи и делать переводы. Учился на юридическом факультете Санкт-Петербургского университета (1857—1861).
В 1857 опубликовал первые произведения. Отличался общительностью, был одарённым рассказчиком и декламатором, музицировал и рисовал; стал завсегдатаем литературных кружков, познакомился с Д. И. Писаревым, А. А. Григорьевым, Ф. М. Достоевским, М. М. Достоевским и многими другими писателями. Участвовал в различных периодических изданиях. Женился на актрисе В. Д. Гринёвой (1861). В 1865—1866 был членом-литератором комиссии по исследованию подземелий Варшавы, путешествовал по Волге (1867).
В 1868 вступил унтер-офицером в 14-й уланский Ямбургский полк, расквартированный в Гродно. Выпустил «Историю 14-го уланского Ямбургского полка» (1873) и был переведён в гвардию (1874). По предложению Александра II составил «Историю л.-гв. Уланского Его Величества полка» (1876). В качестве журналиста, прикомандированного правительством к штабу действующей армии, принимал участие в русско-турецкой войне 1877—1878. В 1880—1881 секретарь при начальнике Тихоокеанской эскадры, с 1882 чиновник особых поручений при туркестанском генерал-губернаторе М. Г. Черняеве, в 1884 был причислен к Министерству внутренних дел. С 1892 до конца жизни был редактором газеты «Варшавский дневник».
Умер в Варшаве, был похоронен в Александро-Невской лавре, затем перезахоронен на Литераторских мостках Волкова кладбища в Санкт-Петербурге.