汉的尚书台，三国魏的中书省，都是代表皇帝发布政令的中枢机关。后因以“臺省”指政府的中央机构。

南北朝以来，虽然尚书台已多改称尚书省，并逐渐形成中书、门下、尚书三省分权的制度，但“臺省”之称仍沿用不变。《三国志·魏志·夏侯玄传》“丰不知而往，即杀之”裴松之注引三国魏鱼豢《魏略》：“丰在臺省，常多託疾。”《旧唐书·刘祥道传》：“汉魏以来，权归臺省，九卿皆为常伯属官。”唐杜甫《醉时歌》：“诸衮省衮登臺省，广文先生官独冷。”

唐代有时亦将三和公御史台合称为“臺省”。