1452년(문종 2) 수양대군이 사은사(謝恩使)로 명나라에 갈 때 서장관으로 추천되어 수양대군과의 유대가 이때부터 특별하게 맺어졌다.
1453년 승정원동부승지에 오른 뒤 우부승지·좌부승지를 거쳤다. 같은해 수양대군이 이른바 계유정란을 일으켰을 때 외직에 나가 있었으며, 수충협책정난공신(輸忠協策靖難功臣) 2등에 책훈되고, 곧 도승지에 올랐다.
1455년 수양대군이 즉위한 뒤에는 동덕좌익공신(同德佐翼功臣)의 호를 받고 예문관대제학에 초배(超拜)되어 고령군(高靈君)에 봉하여졌다. 이어 주문사(奏聞使)로 명나라에 가서 새 왕의 고명(誥命)을 청하여 인준을 받아온 공으로 토전(土田)·노비·안마(鞍馬)·의복을 함께 받았다.
1456년(세조 2)에 병조판서로서 국방에 필요한 외교응대의 일을 위임받아 사실상 예조의 일을 전장하게 되었다. 곧이어 판중추원사(判中樞院事)가 되어 판병조사(判兵曹事)를 겸하고, 우찬성이 되어서는 대사성까지 맡았다.
1457년 좌찬성을 거쳐 우의정에 오르고 1459년에는 좌의정에 이르렀다. 이 무렵 동북방면에 야인(野人)의 침입이 잦았는데, 그는 강경론을 펴 1460년에 강원·함길도의 도체찰사에 임명되어 야인정벌을 위하여 출정하였다. 그는 군사를 몇 개 부대로 나누어 여러 길로 한꺼번에 진격하는 전략을 펼쳐 야인의 소굴을 크게 소탕하고 개선하였다.
1462년에 영의정부사가 되고, 1464년에 지위가 너무 높아진 것을 염려하여 사직한 적이 있으며, 1467년에 다시 예조를 겸판하였다.
이듬해 예종이 즉위함에 유명(遺命)으로 승정원에 들어가 원상(院相)으로 서무를 참결(參決)하고, 같은해 이른바 남이(南怡)의 옥사를 처리하여 수충보사병기정난익대공신(輸忠保社炳幾定難翊戴功臣)의 호를 받았다.
이듬해 겨울에 예종이 승하하자 대왕대비에게 후사(後嗣)의 택정을 서두를 것을 건의하여 대통(大統)의 승계에 공이 컸다.