Как и большинство фресок галереи Фарнезе, эта работа написана на сюжет, взятый из «Метаморфоз» Овидия. В противоположном конце галереи находится картина, парная к «Гневу Полифема», где изображена предыстория данной сцены. Циклоп Полифем влюбился в морскую нимфу Га-латею и долго пытался завоевать ее сердце игрой на флейте. Но Галатея так и не полюбила одноглазого Полифема и предпочла ему юного пастуха Ациса.
Увидев их вместе, Полифем пришел в ярость и в припадке ревности убил юношу, швырнув в него огромный кусок скалы. Галатея долго печалилась о смерти Ациса, а затем превратила своего несчастного возлюбленного в речку. По всей видимости, Аннибале Карраччи в работе над «Гневом Полифема» следовал указаниям Леонардо да Винчи, писавшего, что «тот, кто хочет изобразить бросающего камень, должен повернуть его ноги в направлении выбранной цели, а его туловище — в противоположную сторону».
Над «Гневом Полифема» расположена панель, где изображена еще одна сцена из Овидия — «Похищение Ганимеда» .