怀集县位于中国广东省北部，历史悠久，早在新石器时代晚期就有人类在此繁衍生息。春秋战国时期，怀集地区属于楚国，秦朝时设有怀集县，隶属南海郡。汉代时，怀集县改隶桂阳郡。唐宋时期，怀集县先后属于广州、韶州等地。明清时期，怀集县隶属广东布政使司，是广东省北部的重要行政、军事和商贸中心之一。

20世纪初期，怀集县先后隶属广东、广西两省。1952年，怀集县划归广东省管辖，隶属韶关地区。1988年，怀集县升格为县级市，成为广东省第一个县级市。