1928年国民革命军完成北伐，东北军事首领张学良宣布支持南京国民政府后，国民政府于同年10月3日通过《中华民国国民政府组织法》，并依此法设置行政院为全国最高行政机关。同年10月8日，国民政府通过任谭延闿为首任行政院院长。当时的行政院设有内政、外交、军政、财政、农矿、工商、教育、交通、铁道、卫生等10部。10月25日，行政院院长及十部部长宣誓就职，行政院正式办公。

《中华民国宪法》于1947年元旦公布施行后，定行政院为国家最高行政机关，为与“训政”时期作为国民政府五院之一的行政院相区别，一度将其更名为“行宪行政院”；同年3月31日，《行政院组织法》公布，经过六次修正，成为“八部二会”的组织架构。

“行政院”本部下设院长一人、副院长一人、秘书长一人、不管部会之政务委员5至7人。由于“行政院”管辖“中央政府”各行政部门，故名义上等同为台湾当局（“中华民国”）的内阁。

“行政院”所属各“中央政府”部门，共有九“部”、四会、二总处、三署、十委员会、三独立机关和二附属机构，由“行政院”直辖的“中央银行”与台湾故宫博物院亦纳入“中央政府部门”编组。其中，“中央银行”、“行政院金融监督管理委员会”、“中央选举委员会”、“行政院公平交易委员会”、“行政院飞航安全委员会”、“国家通讯传播委员会”等6个机关为“独立机关”；除“行政院金融监督管理委员会”外，各独立机关首长皆采取任期制，不随“内阁”改组而有所变动。但实际上，仅有“国家通讯传播委员会”符合《“中央行政机关组织基准法”》中对于独立机关的标准，其他独立机关仍受“行政院”的督导与指挥。

依照《“行政院人事行政局组织条例”》第一条的规定，“行政院”设有人事行政局。依照《“中央银行法”》第一条的规定，“行政院”设有“中央银行”。依照《“原子能法”》第三条的规定，“行政院”设有原子能委员会。依照《“公职人员选举罢免法”》第八条的规定，“行政院”设有“中央选举委员会”。依照《“公平交易法”》第二十五条及二十九条的规定，“行政院”设有“公平交易委员会”。依照《“消费者保护法”》第四十条的规定，“行政院”设有“消费者保护委员会”。依照《“飞航事故调查法”》第三条的规定，“行政院”设有“飞航安全调查委员会”。（台湾“新组织条例”在“立法院”尚未审议通过前，仍系依民用航空法第84条规定，设置飞航安全委员会）依照《“通讯传播基本法”》第三条的规定，“行政院”设有“国家通讯传播委员会”，依法独立行使职权。

“行政院院长”、“副院长”、“政务委员”，与九“部”四会、各委员会首长共同组成“行政院会议”（简称院会），为“中央政府”各行政部门的最高决策会议。至于“行政院”秘书长、副秘书长、主计长、人事行政局局长、新闻局局长，以及台北市市长、高雄市市长等经“行政院院长”指定之机关首长，虽应列席“行政院”会议，但没有表决权。

原则上，“行政院”会议每周举行一次，但台湾发生重大事件时，“行政院院长”得召开临时会议。2000年之前，“行政院会议”固定为每星期四召开，民主进步党在2000年至2008年执政期间曾调整为星期三，但刘兆玄“内阁”上任后再度改回星期四。截至2009年9月底止，行政院共计召开过3163次院会。

从陈马两任领导人对“内阁”的操作来看，台湾的“行政院”制度不同于“议会制内阁制”，即“内阁”不对“议会”负责，而直接对“总统”负责。由于“总统”和“国会”均是民选，两者之间互不隶属，这和美国的总统制类似，内阁当然也就不需要对国会负责。但是如果总统亲政的话，将会承担政治责任的风险，所以总统制下责任内阁的出现就成为了一种历史的选择。总统制下的责任内阁制，既维持了“三权分立”的大格局，又让总统能够超脱政治责任之外，一旦总统出现执政危机，他完全可以通过更换内阁的方式转移矛盾焦点，而不需要自己下台。即使总统的政治危机已经到了非常严重的时候，他仍然可以通过宣布“权力下放”的方式来保住自己的地位。“总统制”下的“内阁制”，是台湾“五权宪法”理论在实践中产生的新政治体制，它的优点在于，将选举和治理区分开来。传统认为选举制度和文官制度不可调和，通过选举上台的官员往往只知道政治斗争和选举，对治国则往往力不能及；而传统的文官制度则不能代表民意，虽然行政效率较高，但容易滋生腐败。“总统制”下的“内阁制”很好的解决了这个问题，“总统”专心政治，而“内阁”则专心行政，“总统”通过选举产生，然后由“总统”任擅长于行政管理的文官来执掌内阁，做到选举和治理的最完美结合，以刘、吴两届“内阁”为例，“阁员”中不少是精心培养的学者，还有不少博士。

总统制下的责任内阁制，是西方“三权分立”学说和中国传统政治传统相结合的结果，中国古代皇帝并非都有治国的才能，往往将大权授予以宰相为代表的政府来管理国家行政事务（明代为内阁，清代为内阁和军机处）。总统制的缺点在于总统权力太大，人民往往无法控制政府，如袁世凯时期，容易导致独裁；内阁制的缺点是，中央没有权威，地方各自为政，政权更替频繁，不利于国家和社会的稳定。总统制下的内阁制，将总统制和内阁制的优点结合来，取两者之长处，舍两者之不足，是一种比较科学的政治体制。

以往的“内阁”一般都作为领导人施政无能的的替罪羊，如陈水扁在位八年间，就换了六届“内阁”。“内阁”承担责任的惯例始于2008年民进党在台湾“立法院”大选中失利，时任“阁揆”张俊雄向台湾当局领导人请辞未获批准。2009年9月，为对八八水灾救灾不力负责，刘兆玄“内阁”请辞获准，正式建立了“内阁”承担政治责任的先例。

当然，这种新的政治体制，是否能够适应新时期的社会发展要求，则需要历史的进一步检验了。

1947年“宪法”规定“行政院长”对台湾当局领导人的决定有副署权，依此规定，“行政院长”拥有较大的权力。但经90年代后历次“修宪”，“阁揆”不再有副署权，领导人大权多好揽，形成了“总统”「有权无责」，“行政院长”「有责无权」的体制，“行政院长”需要到“立院”汇报工作并接受质询，而当局领导人则无此义务，超乎体制约束之外，如此分权体制，举世独有，以至于2008台湾大选前施明德曾告诫说「若不改变政制为“议会制”，大选将无比惨烈」。谢长廷任“阁揆”时期，传闻扁欲更换“内阁”，谢长廷非常无奈，只能感慨「把每天当作最后一天来过」；苏贞昌任“阁揆”时期，饱受社会各种攻击，亦只能苦笑「真正做事的人没有时间去骂人」。很多时候，“阁揆”成为“总统”的替罪羊，这让行政当局不能安心布政，此为现行体制的缺陷。

部

“内政部”、“外交部”、“国防部”、“财政部”、“教育部”、“法务部”、“经济部”、“交通部”、“文化部”

会

“侨务委员会”、“蒙藏委员会”、“客家委员会”、“金融监督管理委员会”

独立机关

“中央选举委员会”、“国家通讯传播委员会”、“公平交易委员会”

署（名义上为行政院附属机关）

“行政院卫生署”、“行政院环境保护署”、“行政院海岸巡防署”

委员会（名义上为行政院附属机关）

“行政院经济建设委员会”、“行政院劳工委员会”、“行政院农业委员会”、“行政院大陆委员会”、“行政院国家科学委员会”、“行政院原子能委员会”、“行政院研究发展考核委员会”、“行政院公共工程委员会”、“行政院国军退除役官兵辅导委员会”、“行政院原住民族委员会”

总处（名义上为行政院附属机关）

“行政院主计总处”、“行政院人事行政总处”

其他机关

“中央银行”、“国立故宫博物院”

行政院直辖的中央三级机关，不纳入内阁序列，首长亦没有参加行政院会议的义务。

独立机关

“飞航安全调查委员会”

委员会

“国家金融安定基金管理委员会”、“行政院国家发展基金管理会”

行政院在1928年成立后，设于南京市国民政府办公区（即南京总统府旧址）之内；抗战爆发后，1937年随国民政府各机关迁至重庆。1945年抗战胜利后，迁至南京市原国民政府铁道部旧址办公。

民国38年（1949年），“行政院”迁台后由阎锡山召开的首次院会中，决议“总统府”与行政院以“介寿馆”（今“总统府厅舍”）为办公场所，于是确定“行政院”与“总统府”共署办公。此共署情形直至1957年后“行政院”迁出为止。

台湾当局所谓的“行政院”位于台北市中正区忠孝东路与中山北路交叉口（此路口亦为台湾公路原点），与“监察院”隔街相望。“行政院大厦”原为日治时代的台北市役所（台北市政府前身）所在地，设计者是总督府营缮课课长井手薰，由大同公司前身的协志商会施工，1940年落成；二战后，1945年至1957年间曾先后成为台湾省行政长官公署、台湾省政府的办公厅舍，已被列为“国定古迹”。

行政院的第一任院长是谭延闿，中央政府迁台时的院长是阎锡山，迁台后首位被新任命的院长是陈诚，现任院长为江宜桦。

中国民主社会党籍知名学者张君劢在1947年起草宪法时，设计偏向内阁制，行政院院长由总统提名，经立法院同意后任命。总统政令以行政院院长副署为条件，近似内阁总理。由于国共内战爆发，国民党政府实行动员戡乱，宪法增设临时条款赋予总统大权；中华民国政府播迁台湾后，蒋中正长期担任总统，并以带有军事专政性质的《动员戡乱时期临时条款》作为统治根基，导致宪法原始设计无法施行；仅有在蒋经国担任“院长”时，政府体制一度形同内阁制。“中华民国”在台湾实行“总统”直选前后数次进行修宪，并增订《“宪法”增修条文》后，“行政院院长”副署权被取消，“行政院院长”之任命亦改为不需经由立法院同意。台湾学界认为现制的“行政院院长”近似“偏向总统制的双首长制”，部分人士则认为“行政院院长”近似“总统”之幕僚长。

由于“宪法”并没有明定副领导人（所谓的“副总统”）不应兼任行政院院长，因此在戒严时代，“副总统”陈诚、严家淦曾兼任“行政院院长”。在1996年间连战则以“行政院院长”身份当选“副总统”，并续任“院长”，引来宪政争议。“司法院”大法官于《释字第419号解释》中，认二者职务性质虽非显不相容，但仍不宜兼任，此争议最后因连战请辞而划下句点。

马英九上台后，主张不干预“宪法”独立机关的工作，恢复了“监察院”的运作。同时，他宣布上台后主要是退居二线研究宪政，同时成立府院党五人组会议，作为最高决策机构，“行政院”作为最高“行政机关”的地位得到恢复，只有在“行政院”已出现无法处理的危机时，马英九才出面来协调解决。

“行政院”职权得到加强的原因，源于苏贞昌任“阁揆”的时候，陈水扁因为国民党占据了台湾“立法院”多数，且自身弊案缠身，不得不宣布「权力下放」，苏贞昌的实际权力已经超过了历任阁揆，已经有实力进行一系列的改革。其上台后，提出了一系列改革措施，包括改善两岸关系，被称为「苏修主义」。但改革因为受到陈水扁和民进党的扼杀而胎死腹中。但是，“内阁”权力从此得到了加强。其后的“看守内阁”阁揆张俊雄，在任间无什么作为，但是为大陆四川地震承诺了巨额捐赠，对改善两岸关系起着重大的贡献。

刘兆玄上任后，因为有马英九的支持，所以可以放开手脚施展自己的才华，把“内阁”权力扩大到了最高点，这也是“内阁制度”的最新发展。反对党曾多次要求刘揆下台，但都在马英九的保护下得以留任，这也是马英九对“内阁制度”的捍卫。

2009年9月因马英九当局应对莫拉克台风造成的八八水灾严重反应迟钝，社会舆论压力巨大，马英九被迫弃车保帅，批准刘兆玄请辞，另任命吴敦义为“院长”，由其“组阁”。

2012年1月14日，国民党在台湾地区领导人及民意代表选举中获胜。因吴敦义已当选台湾地区副领导人，故辞去“行政院长”一职。2月6日，新“内阁”组成，陈冲就任“院长”。