John Mathis urodził się 28 września 1930 roku w Maud w Teksasie. Występował w Louisiana Hayride w latach 1951-1960, jako artysta solowy i jako członek duetu muzycznego Jimmy& Johnny (z Jimmym Lee Fautheree). Mathis opuścił grupę, aby pójść solo w połowie lat 50., zostawiając brata Fautheree, Lynna, aby zapełnić jego buty. Jimmy i Lynn zachowali jednak nazwę Jimmy & Johnny, która okazała się idealna dla Mathisa, który powrócił do grupy w latach 1959-1961., Jako solowy artysta wydał kilka singli dla D Records, Decca, United Artists i Little Darlin'. Jego ostatnim singlem był „Please Talk to My Heart”, wydany w 1963 roku. Odniósł również znaczący sukces jako autor tekstów piosenek, pisząc piosenki m.in. dla Johnny 'ego Paychecka, George' a Jonesa i Webba Pierce ' a. Przez kilkadziesiąt lat, aż do końca lat 90., śpiewał muzykę gospel i skupiał się na swojej rodzinie.

Mathis doznał udaru mózgu w lutym 1999 roku i nie był już w stanie wykonać., Zmarł 27 września 2011 w Cornersville w stanie Tennessee, w przeddzień swoich 81. urodzin. Przeżył Jeannie Mathis, jego żonę od 43 lat i czworo dzieci.