关于上谷郡治所在，曾有谬误流传很久。
早年，宣化鼓楼街的牌坊上题写着“古上谷郡”四个大字。因上谷郡的辖境大致相当于清朝的宣化府辖区，故清代文人称宣化府为古上谷郡。而《汉书·地理志》载上谷郡治在沮阳县。明《宣府镇志》误将新保安认做沮阳故城，清康熙《怀来县志》也延续了这一论断。 而实际上，北魏郦道元《水经注·卷十三》清夷（妫）水记事中载：“清夷水东南流迳沮阳城，秦始皇上谷郡治所也”；“沮阳城东八十里有牧牛山”，“沮阳城东北六十里有大翮、小翮山”，“涿鹿（矾山）东北至上谷城六十里”，“居庸关东沮阳城东北六十里”。
《水经注》的记述从多方位点明了沮阳城的地理位置。而根据考古调查表明，在今怀来县大古城村北约1000米处残存的一座古城遗址，是这一带同时期诸城中规模较大的一座，这里便是古称沮阳（又称造阳）的古上谷郡的郡治所在地。
上谷郡始建于战国燕昭王二十九年（公元前283年），因建在山谷之上而得名。当时，燕昭王派曾在东胡做人质归来的大将秦开击败东胡，使东胡北退千余里，将燕国的北部疆土拓展至辽东。其后，沿北部边界修筑长城，置上谷、渔阳（治今北京密云一带）、辽东（治今辽阳市）、辽西（治今辽宁义县西）、右北平（治今河北平泉县）五郡，上谷郡为燕国北长城的起点。其地北以燕山屏障沙漠，南拥军都俯视中原，东扼居庸锁钥之险，西有小五台山与代郡毗邻，汇桑干、洋河、永定、妫河四河之水，踞桑洋盆地之川。所辖范围大致包括今张家口市怀来县、宣化县、涿鹿县、赤城县、沽源县以及北京延庆县等地。
秦统一中国后，将天下分为三十六郡，上谷郡亦名列其中。郡设郡守，也称郡将，本为武官，后渐为地方行政长官。汉景帝中元二年（公元前148年），改称太守，太守之下设郡丞和郡尉，分管民事和军事。汉代飞将军李广、大将军霍去病都曾任上谷郡太守。秦汉时期，上谷郡下辖十六个县（汉弃斗辟县后为十五个）。三国曹魏时郡治曾移至居庸，大古城仍为沮阳县治所。西晋时上谷郡治又迁回沮阳。五胡十六国中的后赵、前燕、前秦、后燕诸朝，上谷郡辖地范围虽几经变化，但郡治城却一直沿用。南北朝时期，北魏改上谷郡为平原郡，仍与沮阳县同治。北魏以后上谷郡与沮阳县从记载中消失。据史料记载：北魏末年，北方六镇爆发了声势浩大的边民起义，特别是孝明帝正光六年（525年），柔玄镇人杜洛周发动的上谷郡农民起义，以“真王”为年号，攻克燕州（今涿鹿），并一路南下，先后占领涿州、定州。上谷郡城很有可能毁于这次农民起义的战火，以致废弃。由此推算，上谷郡城自战国燕昭王时始设，一直到北魏后废弃，共经七个大的历史时期，10个封建王朝，历808年。
另据考古证实，发现属于战国时期的陶器残片占陶器总量的绝大多数，属于秦汉时期的次之，属于魏晋南北朝时期的较少，辽代以后的则极为少见。由此可推断，该城址最为繁荣的时期在战国中晚期至秦汉时期，至南北朝时期则较为萧条冷落，而到隋唐时已沦为一般村落，辽代以后则逐渐被废弃。