市古称金城， [37]因初次在这里筑城时挖出金子得名，还有一种说法是依据“金城汤池”的典故，喻其坚固。隋文帝开皇三年（公元583年），改金城郡为兰州，置总管府。因城南有皋兰山，故名兰州。

距今1.5万年前的旧石器晚期，今兰州市就有先民居住。距今5000年至4000年间，今兰州市处于马家窑文化、齐家文化时期。夏商周三代，今兰州市为羌戎驻牧地。春秋时期，羌族发展起来，今兰州市西部的河湟一带是他们的聚居地之一。战国时期，北方的匈奴族趁秦国统一六国战争之机，南下驱走月氏族，占领黄河以南至战国秦长城之间的“河南地”，进入今兰州市。

秦始皇统一六国后，派大将蒙恬北伐匈奴，攻占“河南地”。 [39]秦始皇三十三年（公元前214年），在今兰州市城关区东岗镇附近设置榆中县，属陇西郡， [40]管辖今兰州市黄河以南地区，黄河以北地区为匈奴驻牧地， [36]这是兰州地区最早的行政建置。 [40]

西汉初，依秦建制，今兰州市仍为陇西郡辖地。 [36]汉武帝元狩二年（公元前121年），霍去病率军西征匈奴，在今西固区西固城附近设金城县，属陇西郡。 [36] [40]元鼎二年（公元前115年），汉朝在今永登县境筑令居以西塞，开始经营河西地区。元鼎六年（公元前111年），徐自为打败羌人，攻占了河湟地区；汉在河西设置了酒泉郡、张掖郡，并改置令居塞为令居县（今永登县城附近）；还设置了浩亶县（今永登县河桥镇附近）、允吾县（在今青海省民和县古都乡），移民充实新县。 [40]昭帝始元元年（公元前86年），在今兰州市始置金城县，属天水郡管辖。始元六年（公元前81年），又置金城郡。宣帝神爵二年（公元前60年），赵充国平定西羌、屯兵湟中后，西汉在金城郡的统治得到加强，先后又新置七县。

东汉光武帝建武十二年（公元36年），并金城郡于陇西郡， [38] [40]次年恢复金城郡，原辖十三县减为十县，白石、河关、枹罕三县划入陇西郡。东汉中期，河湟地区羌人反抗汉朝的战事扩大，汉朝于汉安帝永初四年（公元110年）将金城郡治迁至陇西郡襄武县（今陇西县），延光三年（公元124年