四会古名为百越地。秦始皇帝三十三年（公元前214年）平定岭南，设置桂林郡、南海郡、象郡；秦代置四会县，初属桂林郡。四会的得名，历来都被认为与其境内的河流有关。北宋乐史撰《太平寰宇记》载：“四会者，东有古津水，南有浈江，西方有建水，北有泷江，四水俱臻，因以为名。”
不过，据清代学者王先谦在《汉书补注地理志》有按语云：“四会者四，西有绥江水，又有溱、浈、洭为北江，艮、郁水为西江水，四方来汇，故名。”
根据王先谦的解释，四会之“四”，并不是具体指哪四条河流，而是形容多条江河之水“四方来会”,该解释越来越多地得到今人的认可。
