Nato nel quartiere Chiaia di Napoli, da bambino si trasferì con la famiglia in varie località del Sud Italia. Trascorse a Castellabate, in provincia di Salerno, i primi anni della propria infanzia. Il padre Vincenzo magistrato regio era stato infatti trasferito a Castellabate per indagare, pare, sulla spedizione di Carlo Pisacane. Nella Basilica Pontificia di Castellabate fu seppellita la sorellina Irene morta nel 1859.

Si trasferì poi con la famiglia in provincia di Cosenza, a Montalto Uffugo, dove il padre fu pretore. Studiò al Conservatorio di San Pietro a Majella nella sua città natale, e trovò anche il tempo di laurearsi in Lettere all'Università di Bologna, alla scuola del Carducci.

Dopo alcuni tentativi operistici giovanili non particolarmente fortunati, sulla scia del grande successo riportato nel 1890 da Cavalleria Rusticana di Mascagni, compose un'opera verista destinata a grande fortuna: Pagliacci. L'opera riscosse un successo immediato ed è, forse, l'unica creazione di Leoncavallo che non sia mai uscita dal grande repertorio lirico. 

L'anno successivo (1893) venne rappresentata a Milano l'opera I Medici, ma né questa creazione, né la successiva, Chatterton, rappresentata a Roma nel 1896, ottennero il successo sperato.

Anche La bohème, rappresentata per la prima volta al Teatro La Fenice di Venezia nel 1897, dopo un buon avvio iniziale, fu messa in ombra dalla crescente notorietà dell'opera omonima di Puccini (1896).

Dopo un periodo giovanile ricco di viaggi, verso la fine del XIX secolo Leoncavallo approdò a Brissago (Svizzera). Nel 1903 egli affidò all'architetto Bernasconi il compito di costruirgli una villa a Brissago, Villa Myriam. 

Successivamente Leoncavallo compose Zazà (1900). Tra le molte romanze da lui composte, la più famosa è Mattinata scritta per la Gramophone Company e prevista per la voce di Caruso. Lo stesso Leoncavallo suonò il pianoforte durante la prima incisione della romanza avvenuta l'8 aprile del 1904 e interpretata da Caruso. 

Il compositore morì a Montecatini Terme nel 1919. Fu seppellito a Firenze nel cimitero delle Porte Sante. Le sue spoglie mortali verranno traslate a Brissago (Canton Ticino-Svizzera) sul Lago Maggiore nel 1989. La tomba è situata nel portico del XVII secolo, accanto alla chiesa rinascimentale di Madonna del Ponte.