John Mathis blev født den 28.September 1930 i Maud, te .as. Han spillede på Louisiana Hayride fra 1951 til 1960, som solist og som medlem af den musikalske duo Jimmy & Johnny (med Jimmy Lee Fautheree). Mathis forlod gruppen for at gå solo i midten af 1950 ‘ erne og forlod Fautherees bror Lynn for at fylde sine sko. Jimmy og Lynn reddede imidlertid navnet Jimmy & Johnny, hvilket viste sig at være ideelt for Mathis, der vendte tilbage til gruppen fra 1959 til 1961., Som soloartist udgav han flere singler til D Records, Decca, United Artists og Little Darlin’. Hans sidste charting single var “Please Talk to My Heart”, udgivet i 1963. Han stødte også på betydelig succes som sangskriver, penning sange til Johnny Paycheck, George Jones, og amongebb Pierce blandt andre. I få årtier, indtil slutningen af 1990 ‘ erne, sang han gospelmusik og fokuserede på sin familie.

Mathis fik et slagtilfælde i februar 1999 og var ikke længere i stand til at udføre., Stroken efterlod ham i dårligt helbred indtil hans død i Cornersville, Tennessee den 27.September 2011, på tærsklen til hans 81-års fødselsdag. Han er overlevet af Jeannie Mathis, hans kone af 43 flere år, og fire børn.