John Mathis nasceu em 28 de setembro de 1930, em Maud, Texas. Ele jogou no Louisiana Hayride de 1951 a 1960, como um artista solo e como membro do duo musical Jimmy & Johnny (com Jimmy Lee Fautheree). Mathis deixou o grupo para ir sozinho no meio da década de 1950, deixando o irmão de Fautheree, Lynn, para ocupar seu lugar. Jimmy e Lynn, no entanto, salvaram o nome Jimmy & Johnny, que se revelou ideal para Mathis que retornou ao grupo de 1959 a 1961., Como artista solo, ele lançou vários singles para a D Records, Decca, United Artists, e Little Darlin’. Seu último single foi “Please Talk to My Heart”, lançado em 1963. Ele também encontrou sucesso significativo como compositor, escrevendo canções para Johnny Paycheck, George Jones, e Webb Pierce, entre outros. Por algumas décadas, até o final da década de 1990, ele cantou música gospel e se concentrou em sua família.

Mathis sofreu um derrame em fevereiro de 1999, e não foi mais capaz de executar., O derrame deixou-o em má saúde até sua morte em Cornersville, Tennessee, em 27 de setembro de 2011, na véspera de seu 81º aniversário. Ele é sobrevivente de Jeannie Mathis, sua esposa de 43 anos, e quatro filhos.