Det ble bygget av Belfast Charitable Society, og fungerte som fattighuset i Belfast frem til 1880-årene. Med stemningen til et herskapshus og en fredelig atmosfære, var dette helt sikkert mye bedre innkvartering enn det de tidlige beboerne var vant til. Men det er viktig å huske på at bygningen har gjennomgått flere renoveringer siden den gang.
På tiden som fattighus ga det tak over hodet og vann til de fattigste innbyggerne i Belfast. Barn som bodde her, fikk lære nyttige ferdigheter, slik som spinning og veving, som senere ble de viktigste industriene i byen. To av grunnleggerne av Clifton House var avisredaktører som bidro til å fremme de gode gjerningene som ble utført her, selv om en av deres nevøer, Henry Joy McCracken, ble hengt for sin deltakelse i det irske opprøret i 1798 og begravet på kirkegården i Clifton Street. Dette førte til at hæren, som var stasjonert i brakkene i nærheten, insisterte på å tømme Clifton House på grunn av forbindelsen til urolighetene.
I dag er Clifton House delvis bolig og delvis konferansesenter og lokale hvor det arrangeres ulike begivenheter i løpet av året. Tolkesenteret ligger også under det karakteristiske hvite spiret som pryder toppen av bygningen.
Clifton House ligger i hjertet av byen i Clifton Street i nærheten av A12, og besøkende i Belfast bør virkelig ha dette på listen over viktige severdigheter.
