赵佗城遗址在乐城西南约１公里的武江西岸。秦二世元年（西元前２０９年），龙川令赵佗接任南海尉，尔后称南越王。《乐昌县志》记载：“赵佗为南海尉，值中原大乱，移檄南安横浦关（南雄梅关）、桂阳湟溪关（阳山县阳山关），絶新道筑城二：一在今仁化县北（城口），一百三十里，以壮横浦。一在今县治西南二里，以壮湟溪。”“秦二世三年，南海尉赵佗筑城河南水。”又《广东新语》记载：“泷口西岸，有赵佗古城。佗昔自王，首筑此以扼楚塞，盖以秦新道惟此泷最险。彼北从浈水，西从漓水以入者，险不及泷口。”由此可见，当年“以扼楚塞”的赵佗城。在絶了秦辟的梅关、阳山关新道之后，为防卫疆土，定然驻扎了大量军队，商贾的往返，必然走此未絶的泷水之道。

　　从城址附近的大拱坪村后山（麻纺厂），１９８７年至１９８８年出土２００多座战国、秦汉时期的古墓来看，却反映了当地的历史文化、居民生活水准和社会发展概况。中原文化通过泷口进入赵佗城，也势必通过赵佗城与岭南各地交流。那么，赵佗城亦非纯粹军事上的关隘，它还包含着交通要地和贸易市镇，相信其市井规模亦非一般的屯兵营盘可比。

　　汉元鼎六年（西元前１１１年），南越国亡，汉朝统一，赵佗城的作用随之起了根本变化，地位下降了。后来在千多年的历史演变中，再没发现留下有关文字。在《乐昌县志》中只有“元至元十二年（西元１２７５年），城为郴寇所毁”的简单记载。据此赵佗城的存在有着１４００年左右的历史，自汉以后，此处大概仍居住着相当数量的男耕女织的平民，且经济上还值得“郴寇”的光顾，是遭到暴力后才受到破坏的。康熙十二年（１６７３年），广东史学家屈大均从骑田岭经湘南入泷水，出泷口（张滩）仍见赵佗故城耸立眼前，这时屈大均诗兴大发，作五律《任嚣城》：“泷口高城在，将军旧启疆，观星知越霸，絶道待秦亡。……”可见赵佗城址仍然是存在的。

　　１９８６年８月，县考古工作者查阅了众多有关资料，虽看到不少志书中有赵佗城的记载，但欠确切的地点，从祝鹏着《广东省广州市、佛山地区、韶关地区沿革地理》的书中可考：“在乐昌县城西南三里，隔武水，北对泐溪，流入武水之口，也就是任嚣城，任嚣城是一座现在还有确址的古城。”终于在武江西岸找到了古城遗址。

　　遗址建筑于沿河台地，现存台地往南延伸约５０米，高出一般地面约２米，距河水面约１０余米。东北紧靠武江，西望今衡广复线武水铁桥，南距乐昌县第一中学２００余米。１９８８年６月，于遗址试挖探方（４米×４米），发现距表土０．５米处为文化层堆积，出土大量的筒瓦、板瓦和陶器残片。文化层以下发现残墙基址，为西南方位的城墙转角。高约０．６米，厚２米，呈曲尺形，从西往北长３米，从西往南长１２．８米，建筑材料为河卵石与黄泥。墙廓内往北延伸处是今之武江河中心，当年的城址已大部分为河床，靠河边的土层剖露处仍见有板瓦、筒瓦和陶器残片。在城廓基址内同时出土两件高４０厘米、长宽各６０厘米的河卵石状柱础石和红烧土块，可能是当时梁柱和伙房留下的残迹。这些器物以及建筑形制，均具秦汉时期的特点。

　　赵佗城遗址的发现与文物出土，弥补了各种志书中未及记载的一些历史史实。为岭南乐昌补上了古文化的积淀与遗存。