Né dans une ferme, Fritz Koller grandit dans un environnement rural et ne fréquente l’école élémentaire que quelques années. Il devient ensuite ouvrier agricole puis jardinier. À l’âge de seize ans, il est enrôlé pour combattre sur le front russe, une expérience qui le marquera profondément.
Après la guerre, les sons et les voix du quotidien ravivent ses traumatismes : entendant des commandements ou des voix diffusés à la radio, il se protège en se bouchant les oreilles, comme s’il craignait encore les tirs ennemis. En 1946, il est interné à l’hôpital psychiatrique de Gugging, en Autriche, où il restera jusqu’à sa mort. C’est dans cette institution qu’il développe une pratique artistique tardive.