남명이 을묘사직 상소를 올려 벼슬을 거부한 이면에는 당시 어린 명종을 대신하여 문정왕후와 외척 윤원형의 세도와 폭정 때문이다. 문정왕후(文定王后 1501 ~ 1565)는 조선 11대 왕 중종의 왕비이자 13대 왕 명종의 모후로서 명종대 수렴청정을 실시하며 윤원형과 결탁하여 막강한 권력을 휘둘렀다.

 이런 까닭에 윤원형을 미워하고 그가 하는 일에 대하여  절대 반대하였다. 윤원형(尹元衡 ? ~ 1565년·명종 20)은 1528년(중종 23) 생원시에 합격하고, 1533년 별시 문과에 을과로 급제해 벼슬길에 올랐다.1537년 권신인 김안로(金安老)에 의해 파직, 유배되었다가 같은 해 김안로가 사사되자 풀려나왔다.

 그 뒤 수찬·교리·지평·응교 등을 역임하였다. 세자(世子 뒤에 인종)를 폐위하고, 문정왕후의 소생인 경원대군 이환을 세자에 책봉하려는 모의를 진행하면서 세자의 외숙인 윤임(尹任)과 알력이 생겼다. 이에 1543년에는 윤임 일파를 대윤(大尹), 윤원형 일파를 소윤(小尹)이라 하여 외척간의 세력 다툼이 시작되었다.

 인종이 즉위하자 정권을 장악하게 된 남명의 친구 송인수(宋麟壽)의 탄핵으로 삭직되었다.

 그러나 인종이 8개월 만에 죽고, 11세의 어린 나이로 명종이 즉위하면서 문정왕후의 수렴청정이 시작되자, 이를 계기로 득세해 예조참의에 복직되었다.

 권력을 장악한 윤원형은 4, 5명의 악한 무리를 심복으로 삼아 평소에 원한 있는 이들을 유배 또는 삭직해 적대 세력을 도태하였다. 을사사화 후 그 공으로 보익공신(保翼功臣) 3등이 되고, 이어 위사공신(衛社功臣) 2등으로 개봉(改封)되어 서원군(瑞原君)에 봉해졌다.

 547년 양재역벽서(良才驛壁書) 사건을 계기로 대윤의 잔당을 모두 숙청하였다.

 이 벽서의 내용은 "여자 임금이 위에서 정권을 잡고 간신 이기 등은 아래에서 권력을 농락하고 있으니, 나라가 망할 것을 서서 기다리는 격이다……"라는 것이었다.

 이로 말미암아 봉성군 이완(鳳成君 李玩)과 참판 송인수 및 이조좌랑 이약해(李若海)는 사형되고, 이언적(李彦迪)·정자(鄭滋)·이염·임형수(林亨秀)·노수신(盧守愼)·정황·유희춘(柳希春) 등 잔존 인물을 숙청하였다. 1560년 서원부원군(瑞原府院君)에 봉해졌다.1563년 영의정에 올라 영화를 누리다가 1565년(명종 20)문정왕후가 죽자 실각해 관직을 삭탈당하고 전리(田里)로 방귀 되었으며, 강음(江陰)에 은거하다가 죽었다.

 조석주(趙錫周,1641~1716)의 백야기문(白野記聞)에 남명과 윤원형에 얽힌 실화가 있다.

 남명이 정암 나루터에서 서둘러 시동을 시켜 뱃사공을 재촉하여 건너려고 하였다. 이때 윤원형의 종이 배에 구리와 철을 싣고 장사꾼으로 일했는데, 사공에게 윤대감에게 죽지 않으려면 빨리 가자고 하여 남명을 태우려고 하지 않았다. 그러자 사공이 "윤원형에게 죽으면 원귀가 되지만 조공(曺公)을 괄시하면 악귀(惡鬼)가 되오"하고는 남명을 배에 태웠다. 배에 오르니 구리와 철이 잔득 실린 것을 본 남명은 "사대부가 어찌 윤원형의 동철(銅鐵)과 같이 타고 가겠는가?"라며 동철을 모두 강에 던져 버리도록 하였다. 이윽고 배가 닿자 윤원형의 종이 사공을 끌고 윤원형에게로 가서 사실을 말했다. 그러자 윤원형은 "내가 복이 없구나 하필이면 조공을 거기서 만나다니 정말 복이 없구나"하고는 사공을 풀어 주었다」

 세도가도 남명을 어찌 할 수 없다는 당시 세인들의 민심을 말해주고 있다.