早在20世纪60年代，就有学者建议在条件良好的朝西山脉修建天文台，不过碍于紫金政府的财力，这项提议在当时并未收到重视。到了1971年，紫金政府对于科研项目开始重视，而且由于位于雪烟市郊的入江天文台备受光污染影响，因此在朝西山脉建设新天文台的项目提上了议事日程，1974年，紫金随着宇航员上天迎来科技发展和天体物理研究的热潮，紫金科学研究院开始对新天文台进行选址，天鹅绒山谷的天文观测条件十分良好，被选入候选列表中，并在1975年综合多方面因素而获选。

1976年，天鹅绒山谷天文台正式开始规划设计，其被列入七五计划的重点项目，并征求诸多大型设计局进行设计，最终由紫金中央工业艺术设计院的设计被选中。在建筑设计选定后，政府任命时科技研究院院长熊钰齐兼任天鹅绒山谷天文台临时台长，负责协同政府部门、各个企业为天文台购置设备。

紫金在1976年12月开始修建天鹅绒山谷天文台，首期工程包括了设置天文台主馆，设置了由紫金自研的TORT 1光学望远镜，并建设了科研人员住宅和配套服务设施，通往天文台的专线铁路也在紧锣密鼓地建设中。这次庞大的建设耗费了大量钢材和资金，不过在快速建设之下，在1980年5月1日天文台就正式投入使用，比预期快3年左右。

天鹅绒山谷天文台在投用以后迅速发展，在短短三年时间里就已经承担了几乎所有紫金重要的天文观测活动，成为紫金天体物理研究的中心。这段时间里，天鹅绒山谷天文台又进行了数次扩建，根据天文台主体风格设计的配套城镇进行开发，天鹅绒谷火车站也开通营运。同时，紫金综合大学、雪烟大学、东洋大学等多所大学也在这里开设研究院，紫金科学研究院也在这开设了支部。

1981年，天鹅绒山谷天文台同紫金综合大学联合开办了《国家天文》和《星辉信使》刊物，开始在文创领域也迈步发展，前者是相关于天体物理研究和宇宙之探索，面朝天文研究者、爱好者这一类受众；后者是简单的天文知识科普和精致图集，面朝普通民众、摄影爱好者和初步天文爱好者。

1990年，天鹅绒山谷天文台又新建了供给外国科研人员居住的地方，为来自极东亚各国及和各友好国家的天文科研工作者共同进行天体研究和观测，同时也兴建了天文博物馆，开放旅客参观，不过这时对旅客参观的限制较大，要求台区内一日旅客量不得超过300人，不过进入台区参观为完全免费，进入资格票需要抢先办理。

同时天鹅绒山谷天文台也开设贩售周边纪念品，设立了紫金天文出版社，发行诸多有关天文的科普、小说书目，也和紫金光学集团联合推出了新款式的天文望远镜。

1995年，紫金天文台系统提出了要再建造一个配置射电望远镜的观测站的意见，最终决定对天鹅绒山谷天文台进行进一步扩张，新的观测站建立在距天鹅绒山谷天文台观测总站以南5公里处，并配置有引进国外先进技术的70米口径射电望远镜，最终新的观测站于1999年底竣工投用，有公路连接总观测站，并用班车运送科研人员。

在1995年同年7月，天鹅绒山谷天文台对于旅客的限制完全放开，诸多旅馆坐落于此，配套的纪念品商店、旅客集散中心也开始兴建，这里成为了紫金旅游的新目的地。

到2001年，在天鹅绒山谷天文台附近居住的居民、科研人员和亲属已经达到了一万人之多，并且由于旅游业方面超速迅猛发展，这里设置了新的区级单位，定名为北辰区，寓意为象征天文台同北极星一样为人类的发展指明道路。

同时，天鹅绒山谷天文台的外国科研人员也被这里优异的条件、舒适的环境吸引而来，达到了总科研人数的四成左右，并与紫金的科研人员联合进行了多个研究项目，同时，国外旅客也蜂拥而至，这象征着天鹅绒山谷天文台的国际化发展。

至今，天鹅绒山谷天文台被紫金人誉为“紫金科研中心”，北辰区也被称为“紫金科学城”，这里在数十年间顺利完成了多项寻天任务和科研项目。在文化领域，这里也陆续兴建了观星步道、观景台、观星穹顶客房和自助捷运系统等旅客服务设施，被选为“紫金必去的景点”之一。