Rođen je 6. decembra 1833. godine u Novom Sadu u plemićkoj porodici, a otac mu je bio gradonačelnik Pavle Jovanović. 

Poslije studija prava i medicine u Pragu i Beču, radio je kao ljekar u Novom Sadu, Pančevu, Sremskim Karlovcima, Futogu, Beogradu, Zagrebu i Beču, dok je od 1890. do 1898. godine bio dramaturg Narodnog pozorišta u Beogradu. 

Prvu pjesmu "O Gaši", objavio je 1858. godine, a tokom života je napisao 450 dječjih pjesama, od kojih su neke od najpoznatijih "Al’ je lep ovaj svet", "Pačija škola", "Materina maza", "Taši, taši", "Zima, zima, e pa šta je", "Ciganini hvali svoga konja"... 

U Beču je upoznao političara Svetozara Miletića i pjesnike Đuru Jakšića i Branka Radičevića, koji će uticati na njegovo stvaralaštvo. Zmaj je napisao i veliki broj rodoljubivih pjesama, među kojima je poznata oda "Svetli grobovi", kao i izuzetno vrijednih političko-satiričnih pjesama. 

Na poziv Pančevaca preselio se iz Novog Sada u Pančevo, gdje je radio kao opštinski ljekar i pokrenuo humoristički list "Žižu". 

Međutim, ovdje ga je ubrzo zadesila porodična tragedija - smrt četvoro djece i supruge, iz čega je prozišlo niz potresnih, elegičnih pjesama objavljenih pod nazivom "Đulići uveoci". 

Po povratku u Novi Sad pokreće časopis "Ilustrovana ratna hronika" u kojem je publikovao građu hercegovačkog ustanka iz 1875. godine. 

U Beču je radio kao privatni ljekar i uređivao humoristički list "Starmali", a, danas najpoznatiji dječiji list koji je 1880. godine osnovao, uređivao i izdavao u Novom Sadu i Zagrebu je "Neven". 

Osnovao je i uređivao i književni list "Javor", satirične listove "Zmaj" i "Starmali", a prevodio je i sa ruskog, njemačkog, mađarskog i engleskog jezika. 

Autor je i obimne knjige pjesama "Pevanija", pjesničke legende "Vidosava Branković", kao i šaljivog komada "Šaran". 

Zmaj se bavio i politikom i nekoliko puta bio biran u Vršcu, za poslanika srpskog crkveno-narodnog sabora u Karlovcima, a član Srpske kraljevske akademije postao je 1896. godine. 

Preminuo je 14. juna 1904. godine u Sremskoj Kamenici, dvije godine nakon povratka iz Zagreba.