John Mathis 1930. szeptember 28-án született Maudban, Texasban. 1951-től 1960-ig a Louisiana Hayride-on játszott, szólóművészként és a Jimmy & Johnny zenei duó tagjaként (Jimmy Lee Fautheree-vel). Mathis elhagyta a csoportot, hogy egyedül menjen az 1950-es évek közepén, így Fautheree testvére, Lynn, hogy kitöltse a cipőjét. Jimmy és Lynn azonban megmentette a Jimmy nevet & Johnny, ami ideálisnak bizonyult Mathis számára, aki 1959-től 1961-ig visszatért a csoportba., Szólóművészként több kislemezt is kiadott A D Records, a Decca, a United Artists és a Little Darlin’számára. Utolsó kislemeze a “Please Talk to My Heart” volt, amely 1963-ban jelent meg. Dalszerzőként is jelentős sikereket ért el, többek között Johnny Paycheck, George Jones és Webb Pierce dalait írta. Néhány évtizeden át, az 1990-es évek végéig gospel zenét énekelt, és a családjára összpontosított.

Mathis 1999 februárjában agyvérzést kapott, és már nem tudott fellépni., A stroke rossz egészségi állapotban maradt haláláig Cornersville-ben, Tennessee-ben, 2011.szeptember 27-én, 81. születésnapja előestéjén. Túlélője Jeannie Mathis, 43 éves felesége és négy gyermeke.