庙为二进院落，四合院式布局，前后殿之间有长方形砖铺天井，四边竖有花岗岩石井栏，庙门正门上方镶由清代龙川知县胡一鸿题写的“南越王庙”的阴文楷书石刻横匾。后殿右墙上镶有一块胡一鸿题写的重修越王庙碑记，阐述南越王赵佗的德政及后人为纪念他而多次建造、重修庙宇的过程。广东历史上共有４座南越王庙，而今仅尚存龙川南越王庙。

据龙川县志记载，越王庙分别于清康熙六十一年（公元１７７２年）和乾隆四十五年（公元１７８０年）两次重修和改建。“赵佗遗址有台有井，佗令龙川时宅此，后任南海尉，特祀于此，宋改名为光孝寺”，“庙初在县署右，本平寇祠”。清康熙六十一年重修，前栋祀越王，后栋祀十贤。乾隆四十五年改建三楹，中