1898年11月，山县有朋组成第二届山县内阁。为便于推行其对内镇压、对外扩张的政策，大搞军人治政。如10名阁僚成员中的1／2由有军籍者担任；制定军部大臣现役武官制，规定军部大臣必须由现役军人的大将、中将担任等。在他主持召开的第14次会议上，为进一步侵略中国和朝鲜，还企图制订在中国福建省铺设铁路和在朝鲜铺设京城至仁川、京城至釜山的铁路计划。对内则颁布了所谓《治安警察法》。
1900年，中国爆发义和团爱国运动。山县有朋认为这是侵略中国的良机，伙同俄、法、英、美、德、奥、意等国大举侵犯我国，日本充当急先锋。8月，八国联军侵占北京时总兵力有3.2万人，其中日军就占1.2万人，扮演了“远东宪兵”的可耻角色，对中国人民犯下了滔天罪行。
1900年9月，伊藤博文组成政友会，与山县有朋相对抗，山县内阁不得不于10月总辞职。
山县有朋辞职后，以元老自居，继续左右日本国内外政策，并于1901年提出所谓“东洋同盟论”。在他的推动下，翌年签订了《日英同盟条约》，目的是为了对抗俄国南下，与俄国争夺在朝鲜和中国的所谓“利益”，他还推荐积极主张扩张的桂太郎接任伊藤组阁。1904年，终于挑起了日俄战争。同年4月，山县有朋作为参谋总长和兵站总监，亲自制定作战计划，指挥日军与俄军作战，并先后侵占我国东北辽南地区，给中国人民带来巨大灾难。