元至大年间，县治从固城迁此。任县古城周长五里五步，高三丈，基阔四丈，顶阔二丈，外皮石基砖墙，内皮为三合土。城门有三，东曰巩固门，西名金汤门，北为锁钥门。门上建楼，城隅置炮台，橹门外皆设吊桥。护城河阔三丈，深一丈五尺，引达活泉之水注之，城外有三关。沿街牌坊林立，当时认为除邢台城外，任县城为顺德府所属县城之冠。明景泰五年、成化中、弘治中重修。大明万历年间，知县袁谋辟南门，后来精通易经风水之术的顺德府通判凌子任在看了之后，认为南门不利于士子科举进仕，于是塞之。