John Mathis se narodil 28. září 1930 v Maud v Texasu. V letech 1951 až 1960 hrál na Louisianě Hayride, jako sólový umělec a jako člen hudebního dua Jimmy & Johnny (s Jimmy Lee Fautheree). Mathis opustil skupinu jít sólo v polovině roku 1950, opouštět fautheree bratr, Lynn, naplnit jeho boty. Jimmy a Lynn však uložili jméno Jimmy & Johnny, což se ukázalo jako ideální pro Mathise, který se vrátil do skupiny v letech 1959 až 1961., Jako sólový umělec vydal několik singlů pro D Records, Decca, United Artists a Little Darlin‘. Jeho poslední mapovací singl byl „Please Talk to My Heart“, vydaný v roce 1963. S významným úspěchem se setkal také jako skladatel, mimo jiné napsal písně pro Johnnyho Paycheck, George Jonese a Webb Pierce. Několik desetiletí, až do konce 90. let, zpíval gospelovou hudbu a zaměřil se na svou rodinu.

Mathis utrpěl mrtvici v únoru 1999 a již nebyl schopen provést., Mrtvice ho nechala ve špatném zdravotním stavu až do své smrti v Cornersville v Tennessee 27.září 2011, v předvečer svých 81. narozenin. Přežil Jeannie Mathis, jeho manželka 43 let a čtyři děti.