John Mathis nació el 28 de septiembre de 1930 en Maud, Texas. Tocó en Louisiana Hayride de 1951 a 1960, como solista y como miembro del dúo musical Jimmy & Johnny (con Jimmy Lee Fautheree). Mathis dejó el grupo para ir en solitario a mediados de la década de 1950, dejando al hermano de Fautheree, Lynn, para ocupar su lugar. Jimmy y Lynn, sin embargo, salvaron el nombre Jimmy & Johnny, que resultó ideal para Mathis que regresó al grupo de 1959 a 1961., Como solista, lanzó varios sencillos para D Records, Decca, United Artists y Little Darlin’. Su último sencillo fue «Please Talk to My Heart», lanzado en 1963. También tuvo un éxito significativo como compositor, escribiendo canciones para Johnny Paycheck, George Jones y Webb Pierce, entre otros. Durante algunas décadas, hasta finales de la década de 1990, cantó música gospel y se centró en su familia.

Mathis sufrió un derrame cerebral en febrero de 1999, y ya no fue capaz de realizar., El derrame cerebral lo dejó en mala salud hasta su muerte en Cornersville, Tennessee el 27 de septiembre de 2011, en la víspera de su cumpleaños número 81. Le sobreviven Jeannie Mathis, su esposa de 43 años, y cuatro hijos.