Посебну бригу Краљ Милутин је посветио манастирским утврђењима, због честих напада гусара на манастире, који су се завршавали пљачком и насиљем. Опасност је претила и од одметнутих и незадовољних чета најамника Каталанаца. И сам Хиландар је доживљавао дуге опсаде, при чему су долазиле до изражаја храброст калуђера и чврстина зидина. Преживео их је без тежих последица захваљујући доброј организацији под руководством игумана Данила, потоњег архиепископа. За трећину висине је дограђен пирг Светог Саве, главна одбрамбена кула манастира. Над Савиним пиргом, који је био изграђен од ломљеног камена, постоји део изидан притесаним каменом и опеком, као и све Милутинове грађевине. На том делу су изведене велике конзоле на којима почивају ступци или пиластри, повезани луковима. Проширење највишег дела пирга омогућавало је, као и машикули, успешнију одбрану.
Кавалиров пирг, доминантна грађевина над Савиним пољем где се данас налазе хиландарски виногради, недалеко од хиландарског пристаништа (арсане), први пут се помиње средином XVI века. Тек од краја XIX века се почео називати Милутинов пирг, што се одржало до данас.
Но, то je погрешан назив, jep je Краль Милутин обновио пирг и утврђење Хрусија на обали, између 1300. и 1302. године, како би заштитио Хиландар од гусара.
Не зна се тачно ко je био Кавалар(ос) – „коњаник“, претпоставља се да je у питању прониар који je имао доживотни посед због службе Цару Душану, а за кога се зна да je одржавао везе са светогорским манастирима.
Кавалиров пирг je обновљен и дограђен око 1350. године, пошто je постављен на темељима старије грађевине с почетка XIII века.
Пирг je правоугаоне основе кога сачињавају приземље и пет спратова који су повезани спиралним степеништем.
На последњем спрату се налазила црквица. Око пирга je био конак и келија који су нестали око 1930 год. До данас се пирг сачувао цео, за разлику од куле у Хрусији.
