Тврђава Ново Брдо настала је током првих година владавине Краља Милутина (1282—1321). Постало је једна од најважнијих насеобина немачких рудара Саса, који су је звали Nyeuberghe, а по њима се звало и Сашко Место. Оно се први пут у историјским изворима јавља 1326. године, као већ познато рударско и трговачко средиште, у коме су Дубровчани водили трговину и држали царину.
Његови први становници били су рудари, али не само Саси које је у краљевство први довео Краљ Урош I Велики. Већину су чинили наши људи који су овим занатом већ овладали. Рудари су били повлашћени: имали су предност при набавци намирница, а у Закону о рудницима (другом таквом документу у Европи, одмах после немачког) даје им се право да заложе баштину власника рудника ако им он на време не исплати наднице, што је вероватно и први законски члан о заштити права радника на свету.
Од целога насеља до данас се очувала једино тврђава, упола порушена, која се налази на брегу на 1100 метара надморске висине, као и многобројни темељи зграда у њеној непосредној околини. Тврђава се састојала од мањег Горњег и већег Доњег града који су делили један заједнички зид и били повезани капијом.
У оном мањем била је смештена посада и део градске управе, док су у већем, где се данас назиру трагови зграда и складишта, вероватно живели најутицајнији Новобрђани. Већина његових житеља ипак је обитавала у вароши око брега коју су звали Подграђе, а које се ширило око километар на све стране.
Тврђава је подигнута са циљем заштите богатог рудног подручја у коме се експлоатисало гвожђе, олово, сребро и злато и које од средине XIV века (од 1349. године кује сопствени сребрни новац) постаје најзначајнији рудник у Србији, а свој врхунац достиже у доба деспотовине када су рудници Деспоту Ђурaђу годишње доносили од 50.000 до чак 200.000 златних дуката.
За време Цара Душана постаје један од најважнијих рудника царства, у коме постоји и ковница новца, а налазишта су толико велика да он 1348. године поклања Хиландару 87 килограма сребра. Новобрдски рудници били су у XV веку нарочито познати по производњи гламског сребра (argentum de glama).
Ова врста сребра садржала је у себи одређени проценат злата. Према проценама историчара, из новобрдских рудника се добијало годишње од 5 до 6 тона сребра.
Овај “град сребрни и у истину златни”, како га описује сведок тог времена Константин Михаиловић, родом из Новог Брда, имао је средином XV века, по неким проценама, чак 50.000 становника, што је у том историјском периоду било пет пута више становника од Лондона.
Османлије су први пут опселе Ново Брдо 1412. године, али су после дуже опсаде морали да се повуку. Коначно се предаје 27. јуна 1441. године, када опседнути грађани “једу непристојне и забрањене ствари”, па чак и своје руке само да се не предају Османлијама, али већ две године касније долази до ослобођења.
1455. поново пада и остаје под Османлијама. после неиспуњеног обећања султана Мехмеда II Освајача да ће његове житеље поштедети (међу заробљеницима је био и горепоменути Константин Филозоф (Михаиловић) који бива одведен у јаничаре, да би успео да побегне међу хришћане и свој живот окончава у Пољској, далеко од свог родног града.
У време најезде Османлија, тадашњи липљански митрополити су све чешће боравили у Новом Брду, пошто је ова тврђава била најбезбедније место на подручју њихове епархије. Управо по граду Новом Брду, Липљанска епархија је понекад називана и Новобрдском.