Son père est boulanger, et sa mère meurt alors qu'il est encore très jeune. Son père veut qu'il aille étudier le droit, mais Pietro va étudier la musique au conservatoire de Milan où il a Ponchielli comme professeur et Puccini comme condisciple. Puis il abandonne ses études et devient le directeur d'une petite troupe d'opérette. Il s'installe dans une petite ville, Cerignola, où il devient professeur de musique et chef du petit orchestre local. Le jeune compositeur vit dans une relative pauvreté jusqu'à sa victoire au concours Sonzogno avec son opéra le plus célèbre : Cavalleria Rusticana (1889), d'après une histoire de Giovanni Verga. C'est le jour où il a commencé ce petit opéra que sa première fille est née. Ce bonheur conjugal lui donne la force d'écrire cette œuvre en une vingtaine de jours. Cavalleria est représenté en 1890, le succès est étourdissant : en moins d'un an, Mascagni est célèbre dans le monde entier. Même Mahler est enthousiasmé, alors que celui-ci, par exemple, ricanait lors d'une représentation de La Bohème de Puccini. Cela illustre le fait que Mascagni sera d'ailleurs pendant sa jeunesse autant estimé, sinon plus que ce dernier. C'est la première manifestation du vérisme musical. Suivent d'autres opéras, dont les plus célèbres furent : L'amico Fritz (1891) et Iris (1898), considéré comme son meilleur opéra, encore joué en Italie.