Stor skarv er piscivor, noe som betyr at de primært lives av fisk. Likevel har de også vært kjent for å oportunistisk fortere andre akvatiske organismer, som:
- Krepsdyr (f.eks. krabber og reker)
- Bløtdyr (f.eks. muslinger, skjell og blekkfisk)
- Amfibier (f.eks. frosker og salamandrer)
- Reptiler (f.eks. slanger og skilpadder)
- Fugler (f.g. andunger og andre vannfugler)
- Små pattedyr (f.eks. markmus og rovmus)
Store skarver fanger sitt bytte typisk ved å dykke undervann og bruke sine skarpe, hakkete nebb for å fange og holde det kampende dyret. De kan også drive med kooperativ jakt, hvor flere skarver jobber sammen for å omring og fange et større bytte.