Leoncavallo wurde als Sohn eines Richters in Neapel geboren und lebte als Kind mit seiner Familie einige Jahre im kalabrischen Ort Montalto Uffugo. Er kehrte dann nach Neapel zurück, wo er am Conservatorio San Pietro a Majella studierte. Von 1882 bis 1886 lebte er in Paris, wo die sinfonische Dichtung La nuit de mai entstand. Nach einigen Jahren als Lehrer und erfolglosen Versuchen, mehrere Opern auf die Bühne zu bringen, erlebte er 1890 den großen Erfolg von Pietro Mascagnis Oper Cavalleria Rusticana mit. Daraufhin komponierte er seine eigene Verismo-Oper, Pagliacci, deren Handlung auf einen Mordfall zurückgeht, den er in Kalabrien miterlebt hatte. Sie wurde 1892 in Mailand uraufgeführt und war ein sofortiger Erfolg; es ist sein einziges Werk, das noch heute Teil des Standard-Opernrepertoires ist.

Im folgenden Jahr wurde auch seine Oper I Medici in Mailand produziert, doch erlangten weder diese noch Chatterton (1896) – beides Opern aus seinem Frühwerk – die Gunst des Publikums, was ihm erst wieder mit der Aufführung von La Bohème in Venedig 1897 gelang. Zwei Tenor-Arien aus dieser Oper werden gelegentlich noch gesungen, insbesondere in Italien. Weitere Opern waren Zazà (1900), Der Roland von Berlin (1904) und Zingari (1912), die aber (bis auf die Bariton-Arie aus Zazà) nicht mehr aufgeführt werden. Die Oper Der Roland von Berlin (Il Rolando di Berlino) schrieb Leoncavallo im Auftrag des Deutschen Kaisers, sie wurde in Berlin uraufgeführt. Leoncavallo wird von vielen als der größte italienische Librettist seiner Zeit nach Arrigo Boito angesehen.

Sein erstes Grab war in Florenz, heute befindet es sich jedoch im Portikus vor der Kirche Madonna di Ponte in Brissago (Schweiz). In Brissago befindet sich auch das seinem Leben und Werk gewidmete Museum Ruggero Leoncavallo.