Matthew Ivan Smith naît dans une famille particulièrement érudite. Son père, directeur du département de mathématiques à l’université de Columbia est spécialisé dans les mathématiques « topographiques ». Sa mère, Suzanne Bloch, est élève de Nadia Boulanger et passionnée de musique ancienne qu’elle enseigne à l’école Julliard. Elle est la fille d’Ernst Bloch, le compositeur. Matthew est un enfant autiste obsédé par les relations spatiales qu’il ne cesse de représenter dans ses dessins. Horrifiée par son art qu’elle juge médiocre, sa mère l’inscrit à l’Art Student’s League pour, pense-t-elle, lui apprendre à mieux dessiner. Là, il adopte une attitude réfractaire à toute injonction et se borne à représenter sa vision du monde. Il vit par la suite seul mais marginal. Le lien avec lui s’interrompt quand sa mère meurt il y a quelques années.