於是，“王安石變法”僅僅取得了少許成效，但是弊端頻現，出現了開封等多地百姓為逃避保甲之法，自斷手腕等情況，然後免役錢之事有引起民怨沸騰，朝野上下議論紛紛，加上保守派大臣不斷上表宋神宗，言王安石變法未見其利、先見其弊，與古人所言“利不百，不變法；功不十，不易器。”背道而馳，並非興國之舉，卻有亂天下之實，請罷王安石之法。

  宋神宗得聞民間之事，憂形於色、寢食不安，後熙寧七年（1074年）春，天大旱，久不雨，安上門監鄭俠繪東北《流民圖》，寫成《論新法進流民圖疏》，請求朝廷罷除新法。

  鄭俠奏疏送到閣門，不被接納，隻好假稱秘密緊急邊報，發馬遞直送銀台司，呈給神宗皇帝，疏稱：“但經眼目，已可涕泣，而況有甚於此者乎？如陛下行臣之言，十日不雨，即乞斬臣宣德門外，以正欺君之罪”。

  宋神宗閱畢疏奏，反複覽圖，長籲數四，袖以入，是夕寢不能寐，翌日即下令開封府發放免行錢，三司使查察市易法，司農發放常平倉糧，三衛上報熙河用兵之事，諸路上報人民流散原因，青苗、免役法暫停追索，方田，保甲法一起罷除，共采取了十八條措施。

  可以說新法大半被停止執行了，由是民間歡呼相賀，神宗又下《責躬詔》，求直言，恰巧三日後大雨，輔政大臣俱入宮祝賀，神宗皇帝把鄭俠所進的流民圖及奏疏拿給這些大臣看，並說出責備之言，群臣於是再拜謝罪。

  王安石不得不上表請求去職，宋神宗也沒有挽留，於是王安石首次罷相，被遣往江寧府做知府，幸得宋神宗還念君臣之義，同意了王安石的推薦，讓呂惠卿、韓絳任參知政事（等於後世的中國共產黨中央委員會政治局常務委員會委員），朝政還是掌握於變法派手中，於是以呂惠卿、鄧綰為首的變法新黨就圍著神宗痛哭流涕勸說道：“陛下數年以來，忘寐與食，成此美政，天下方被其賜，一旦用狂夫之言，罷廢殆盡，豈不惜哉。”

  宋神宗被變法新黨說服，將新法全部恢複，於是呂惠卿、韓絳二人繼續堅持王安石製定的成法，推進變法，及後呂惠卿掌握大權後，擔心王安石回朝奪其權位，便欲借辦理鄭俠案件的機會陷害王安石的弟弟王安國，又興起李士寧案件想入罪王安石，由此激起了與韓絳的矛盾，韓絳便秘密奏請宋神宗召回王安石。

  不久到了熙寧八年（1075年）二月，王安石再次拜相，但是宋神宗變法之心已經大大動搖，不再支持王安石力行變法，而且變法派內部分裂嚴重，新法很難繼續推行下去。

  王安石眼見現實如此，漸漸心灰意冷，次年熙寧九年（1076年），王安石多次托病請求離職，同年長子王雱病故，王安石上辭表，宋神宗準許，王安石再次罷相，從此隱居江寧，其所頒法令亦陸陸續續被廢止。

  元豐八年（1085年），宋神宗去世，宋哲宗即位，高太後垂簾聽政，起用司馬光為宰相，司馬光提出“以母改子”，新法幾乎全被廢掉，史稱“元祐更化”。

  元祐元年（1086年）四月，王安石病逝，享年六十六歲，獲贈太傅，葬於江寧半山園，至此，宋朝轟轟烈烈的“熙寧變法”（王安石變法）就宣布壽終正寢，完全失敗了。

  王安石變法失敗，正應了宋神宗與韓琦問對時，韓琦說的那句話“安石為翰林學士則有餘，處輔弼之地則不可。”，王安石學問和人品都好，但是治政能力還真的不是商鞅那個水平，無法使宋朝與秦朝一樣，變法而強。