Skarlagenpirgers kost består hovedsakelig av insekter i voksen stadie: larver, målere, biller, fluer, hvepser, gresshoppere, kakerlakker, biller, libeller, myrer, edderkopper, midd. De supplerer også med bær og små frukter (bær av giftved, hyll, korngress, druer, blåbær, heggbær, kirsebær, bjørnebær, epler, bananer og appelsiner).