John Mathis è nato il 28 settembre 1930, a Maud, Texas. Ha suonato in Louisiana Hayride dal 1951 al 1960, come solista e come membro del duo musicale Jimmy & Johnny (con Jimmy Lee Fautheree). Mathis lasciò il gruppo per andare da solo a metà degli anni 1950, lasciando il fratello di Fautheree, Lynn, a riempirsi le scarpe. Jimmy e Lynn, tuttavia, salvarono il nome Jimmy& Johnny, che si rivelò ideale per Mathis che tornò nel gruppo dal 1959 al 1961., Come artista solista, ha pubblicato diversi singoli per D Records, Decca, United Artists e Little Darlin’. Il suo ultimo singolo fu “Please Talk to My Heart”, pubblicato nel 1963. Ha anche incontrato un notevole successo come cantautore, scrivendo canzoni per Johnny Paycheck, George Jones e Webb Pierce, tra gli altri. Per alcuni decenni, fino alla fine del 1990, ha cantato musica gospel e si è concentrato sulla sua famiglia.

Mathis ha subito un ictus nel febbraio 1999, e non era più in grado di eseguire., L’ictus lo ha lasciato in cattive condizioni di salute fino alla sua morte a Cornersville, Tennessee, il 27 settembre 2011, alla vigilia del suo 81 ° compleanno. È sopravvissuto da Jeannie Mathis, sua moglie di 43 anni e quattro figli.