Het Aalmoezeniersweeshuis op de Prinsengracht bood in de 17e en 18e eeuw de onderdak aan wezen en de allerarmste kinderen van de stad. De kinderen waren geen kinderen van poorters (de officieel geregistreerde burgers van de stad) en kwamen daarom niet in aanmerking voor een plekje in het Burgerweeshuis of in een weeshuis van een kerkelijke instelling.

De stad stelde in 1663 twee brede kavels- aan de toenmalige stadsrand- ter beschikking voor de bouw van dit weeshuis. Bouwmeester Daniël Stalpaert ontwierp het gebouw rondom twee binnenplaatsen.

Het pand was berekend op 800 kinderen. Veertien jaar na de opening was het aantal kinderen al gegroeid naar 1300. In 1820 woonden er ongeveer 3000 kinderen. In dat jaar werden de kinderen van het weeshuis - onder meer vanwege de overbevolking in de stad - naar gestichten in Drenthe gestuurd.

In 1825 verbouwde stadsarchitect Jan de Greef het voormalige weeshuis tot Paleis van Justitie. Na een complexe renovatie onder leiding van Studio Piet Boon is het leegstaande historische gebouw op 1 mei 2025 heropend als het 6- sterren ultra- luxe Rosewood Amsterdam hotel. De gevelstenen, inclusief de sluitsteen met het wapen van Amsterdam, zitten in de gevel van het zogeheten Beudeker-gebouw. Dit gebouw is genoemd naar Frans Beudeker (1815- 1898), oud- directeur van de kleinschalige 'Inrichting voor Stadsbestedelingen' dat de opvolger was van het aalmoezeniershuis.

De twee gevelstenen dateren uit 1915. Ze tonen twee van de traditioneel zeven werken van barmhartigheid: de hongerigen spijzen en de naakten kleden- kerntaken van een weeshuis. De reliëfs werden ontworpen door de beeldhouwer C.A. Oosschot en gemaakt in diens werkplaats 'De Ploeg' aan de Jacob van Lennepkade.