Voksne gråhval lever først og fremst på bittesmå krepsdyr kalt krill og andre små virvelløse dyr som amfipoder og copepoder . De spiser også litt liten fisk.
For å finne maten, bruker grå hvaler en teknikk som kalles gjørme-plugging . De øker opp store mengder sediment fra havbunnen, bruker baleplatene sine for å filtrere ut matpartiklene og utvise gjørma og vann.