Né sourd, James Castle n’a jamais su lire, écrire, parler, ni même lire sur les lèvres. Il fréquente la Idaho State School for the Deaf and Blind de Gooding, de 1910 à 1915 et restera toute sa vie dans la ferme familiale. Sa création artistique est riche de multiples médias qu’il utilise: images de membres de sa famille, calendriers imaginaires, références à la culture pop, souvenirs de son temps à l’école pour les sourds et les aveugles, scènes de la vie à la ferme. Le magasin et le bureau de poste tenus par son père au village lui permettent d’utiliser comme support des emballages, des cartons ou des publicités. Il se sert aussi de morceaux de bois taillé ou de carton souple roulé qu’il trempe dans un mélange de suie, de papier crépon et de salive. Souvent il incorpore des noyaux d’abricots, des plumes de stylos brisés ou des bouts de ficelle, faisant ainsi écho aux techniques de célèbres artistes contemporains (Joseph Cornell, Robert Rauschenberg) dont il n’avait pourtant aucune connaissance.
Le minimalisme graphique qui caractérise ses dessins – ses figures fantomatiques, presque abstraites sont parmi les plus remarquables – n’est pas signe d’un manque de capacité mais d’un œil sophistiqué qui transforme les détails banals de la vie quotidienne en sombres tableaux.
Son œuvre est reconnue à partir des années 1960, et il a assisté à la première rétrospective de son travail à Boise, capitale de l’Idaho, en 1963. Ces dernières années, le Philadelphia Museum of Art lui en a consacré une en 2008-2009, présentée ensuite dans d’autres musées américains. Une grande exposition James Castle. Mostrar y almacenar s’est tenue au musée Reina Sofía de Madrid en 2013.