Название палаты произошло от архитектурного решения главного восточного фасада, выходящего на Соборную площадь. Он облицован белокаменными блоками, каждый из которых отесан на четыре грани.
азвание взято по восточному фасаду, отделанному гранёным каменным рустом (бриллиантовым рустом), характерным для итальянской архитектуры эпохи Возрождения.