Fritz Koller grandit dans une ferme. Il ne passera que quelques années à l’école élémentaire, puis il devient ouvrir agricoles et jardinier. Il a seize ans lorsqu’il est enrôlé pour se battre contre l’armée russe – une expérience traumatisante. Une fois la guerre finie, lorsqu’il entend des voix ou des commandements donnés à la radio, il se bouche les oreilles, craignant qu’on lui tire dessus. Interné à l’hôpital psychiatrique de Gugging en 1946, il y restera jusqu’à sa mort.
Sa pratique artistique est tardive. Ses dessins morcèlent ses personnages et objets jusqu’à former des réseaux abstraits.