왜란이 있을 것에 대비하여 형조정랑 권율(權慄)과 정읍현감 이순신(李舜臣)을 각각 의주목사와 전라도좌수사에 천거하였으며, 경상우병사 조대곤(曺大坤)을 이일(李鎰)로 교체할 것을 요청하는 한편, 진관법(鎭管法)을 예전대로 고칠 것을 청하였다.
1592년 3월에 일본사신이 우리 경내에 이르자, 선위사(宣慰使)를 보낼 것을 청하였으나 허락하지 않아 일본사신은 그대로 돌아갔다.
그해 4월에 판윤 신립(申砬)과 군사(軍事)에 관하여 논의하며 일본의 침입에 따른 대책을 강구하였다.

4. 임란시의 군무총괄

4월 14일 일본이 대거 침입하자 병조판서를 겸하고, 도체찰사로 군무(軍務)를 총괄하였다. 이어 영의정이 되어 왕을 호종(扈從), 평양에 이르러 나라를 그르쳤다는 반대파의 탄핵을 받고 면직되었다.
의주에 이르러 평안도도체찰사가 되고, 이듬해 명나라의 장수 이여송(李如松)과 함께 평양성을 수복, 그뒤 충청·경상·전라 삼도도체찰사가 되어 파주까지 진격하였다.
이해 다시 영의정에 올라 4도의 도체찰사를 겸하여 군사를 총지휘하였으며, 이여송이 벽제관(碧蹄館)에서 대패하여 서로(西路)로 퇴각하는 것을 극구 만류하였으나 뜻을 이루지 못하고, 권율과 이빈(李$빈01)으로 하여금 파주산성을 지키게 하고 제장(諸將)에게 방략을 주어 요해(要害)를 나누어 지키도록 하였다.
그해 4월 이여송이 일본과 화의하려 하자 그에게 글을 보내 화의를 논한다는 것은 나쁜 계획임을 역설하였다.
또 군대양성과 함께 절강기계(浙江器械)를 본떠 화포 등 각종 무기의 제조, 성곽의 수축을 건의하여 군비확충에 노력하였으며, 소금을 만들어 굶주리는 백성을 진휼할 것을 요청하였다.
10월 선조를 호위하고 서울에 돌아와서 훈련도감을 설치할 것을 요청하였으며, 변응성(邊應星)을 경기좌방어사로 삼아 용진(龍津)에 주둔하게 함으로써 반적(叛賊)들의 내통을 차단시킬 것을 주장하였으며, 1594년 훈련도감이 설치되자 제조(提調)가 되어 《기효신서 紀效新書》를 강해(講解)하였다.
또, 호서의 사사위전(寺社位田)을 훈련도감에 소속시켜 군량미를 보충할 것과 조령(鳥嶺)에 관둔전(官屯田)을 설치할 것을 요청하는 등 명나라와 일본과의 화의가 진행되는 기간에도 군비보완을 위하여 계속 노력하였다.
1598년 명나라 경략(經略) 정응태(丁應泰)가 조선이 일본과 연합하여 명나라를 공격하려 한다고 본국에 무고한 사건이 일어나자, 이 사건의 진상을 변명하러 가지 않는다는 북인들의 탄핵으로 관작을 삭탈당하였다가 1600년에 복관되었으나 다시 벼슬을 하지 않고 은거하였다.
1604년 호성공신(扈聖功臣) 2등에 책록되고 다시 풍원부원군에 봉하여졌다.