Ao lado da catedral (como em outros...
Ao lado da catedral (como em outros locais medievais) estão localizados os edifícios que foram os mais representativos na história desta cidade, como é o caso do Palácio dos Condes e a Casa-Palácio do Bispo.
Atualmente em ruínas, a sua construção começou no ano de 1137, com a intenção de mudar o bispo de Birsay para Kirkwall, coincidindo com a construção e fundação da catedral. Desde então, os bispos e os representantes da igreja em Orkney habitaram o palácio.
Da janela do que era o quarto principal do bispo, observa-se que há uma bela vista do que seria o cruzeiro da catedral. Essa proximidade tem explicação histórica, pois o bispo era o único habilitado a celebrar missas na catedral ou atender a outros eventos sociais importantes, que podiam exigir a presença dele e da igreja.