因境内袁水（今袁河）中游原称渝水得名新渝；后演化为新余，且属市级行政区划单位，故名新余市。
春秋时期属吴国，秦属九江郡。汉高帝六年（公元前201年）为宜春县地，属豫章郡。三国（吴）宝鼎二年（267年），析宜春县东境钟山以东，置新渝县，属荆州安成郡。晋元康元年（291年），属江州安成郡。隋开皇九年（589年），县撤入吴平县，属洪州；开皇十一年（591年），吴平县并入宜春县，属洪州。开皇十八年（598年），复置新渝县，属袁州。大业三年（607年），属宜春郡。唐武德五年(622年), 新渝分属袁州始平县和西吴州。贞观二年（628年），属江南道袁州。开元二十一年（733年），属江南西道袁州。天宝元年（742年），更名新喻，属江南西道宜春郡。乾元元年（758年），属江南西道袁州。咸通六年（865年），属镇南军袁州。五代十国（吴）天祐六年（909年），属镇南军新淦都制置使。天祐七年（910年），属镇南军袁州。南唐昇元元年（937年），属镇南军新淦都制置使。昇元二年（938年），属镇南军袁州。
宋淳化三年（992年），属临江军。至道三年（997年），属江南路临江军。天禧四年（1020年），属江南西路临江军。元至元十四年（1277年），属江西行中书省临江路。元贞元年（1295年），新喻因人口5万余户，升为州，属江西行中书省临江路。明洪武二年（1369年），新喻州改县，属江西行中书省临江府。洪武九年（1376年），属江西布政使司临江府。清袭明制。
民国元年（1912年），属江西省庐陵道（今吉安）。1932年复隶省，二十一年（1932年），属江西省第八行政区。1935年属江西省第二行政区。1949年7月14日，新喻全境解放，属袁洲专区辖29个乡，1953年袁洲专区与南昌专区合并后属南昌专区。1957年5月经国务院批准，将新喻更名为新余。1960年9月30日，经国务院批准撤销新余县设立地级新余市，下辖45个人民公社（乡）级以上行政区，1963年7月26日，经江西省人民委员会批准撤销新余市恢复新余县，属宜春地区。1983年7月26日，经国务院批准，撤销新余县恢复地级新余市，并将宜春地区的分宜县划分归于新余市管辖，新余市人民政府正式成立。1983年10月，江西省人民政府批准在原新余县管辖范围内设置渝水区，新余市辖新余市渝水区和分宜县。新余市得名后沿用至今。