要论王韶与王安石的关系，原本一向正常，王韶在西部的拓边行动，就长期得到王丞相的鼎力支持。在王安石看来，这种拓疆活动符合国家的战略利益，也是自己的一个夙愿，故彼此在这一点上理念吻合。因而，以往每当朝中有人非议王韶时，他都坚决予以回击，又说服并打消皇帝的疑虑。就王韶受到诽谤的事，王相公曾在天子面前鸣过不平：如今王韶不过以二三分心力经营边事，却要耗费七八分精力防备他人的陷害。王韶先后三次被指控有贪污嫌疑，也都是在王安石的辩驳下洗去冤屈，王丞相当日甚至不惜以辞职来为他担保。正因为如此，王韶才能无后顾之忧，全力投身于前线，天子也才能长期对他毫无芥蒂之心，赋予全面用兵大权。
    入朝之前，王韶对王安石一直满怀信任，当时发生的一件事足以说明这种信任的程度：熙宁七年四月中，王安石主动辞职。王韶在西陲得知消息后，深为自己的前途忧虑。此时还有人散布谣言，称朝廷将要废除熙河路，将他调回秦州。王韶闻听愈加忧虑困惑，不免心灰意冷，即使天子屡降诏书安慰，也不能打消他的顾虑。在此情况下，神宗只得请卸任的王安石给王经略使写信，借助特殊的信赖关系加以劝慰。正是因为得到故相的书信，王韶才继续安心从事军务活动。但必须承认，他们俩的关系到底是建立在开拓西北的相近志向上，其实并没有多少深入的私交。不巧的是，当王韶进入枢府时，王安石已罢相离朝半年多，这使他失去了最初讨教与深交的机会，仅仅维持着以往的公事关系。
    据说，次年王安石复相以后，在处理一些问题上与王韶出现分歧，素来性格强硬的宰相当时正因变法受到反对派的围攻，很可能就此对昔日的部下产生了看法，两人之间遂有了隔膜，感情上便疏远了。这更使王韶陷于极大的苦恼之中。
    为了摆脱尴尬境地，王韶一度萌发了离朝的想法。神宗出面做和事老，劝王相公安慰昔日的英雄，说服王韶放弃了辞职的打算。经过天子的调和，双方恢复了以往的关系，但其他大臣对王韶的态度依旧，他的处境也就难以完全改善。
    苦闷而死
    王韶是个身强体壮的人，发迹后娶了多位妻妾，由此育有十多个子女，大的已经成年，小儿子才刚会说话，从这一点说可谓多子多福。在他的精心栽培下，几个成年儿子顺利踏入仕途，连开口不久的幼子也被教导得异常聪明。
    有一次，遇到京城过元宵节，王韶打发仆人带着乳名叫南陔的幼子去观灯，谁知小孩头上戴的镶嵌着珍珠的帽子引来了盗贼，人流拥挤中突然南陔不知去向。四处寻找不到后，家仆只得惊恐地回来报告，不料当爹的却不十分在意，对家人宽慰道：若换作别的孩子，就得马上去找，南陔这孩子倒不要紧，过些天就会自己回来。
    果然，十来天过后，南陔竟坐着一顶官轿进了家门。从稚嫩的孩子口中，父母才得知了事情的经过，原来那日贼人乘乱将南陔从仆人肩上抢走，这孩子人小鬼大，反应很快，明白都是值钱的帽子惹的祸，便悄悄拿下帽子揣入怀中。当看到有皇宫的车马从身旁经过时，他就大声呼救，吓得强盗扔下他惊慌逃走，于是他被带回宫内。次日，天子听说此事，颇感惊奇，遂叫来询问，这才知道是王枢密的幼子。神宗喜欢南陔的聪明伶俐，便留在皇宫多日，最后才派人带着压惊的金钱和果子送回来。
    发生在南陔身上的这件事，以后流传甚广，成为民间教导儿童的一个著名故事。由此可见，王韶教子有方，从小就培育出孩子沉着冷静的性格。南陔的大名叫王寀，成年后科举入仕，以辞章闻名，之后却沉溺于神仙方术，又以此名动朝野，最终因遭到宫廷道士林灵素的谗言而被流放岭南。他的大哥王厚，在哲宗、徽宗两朝继承父业，成为活跃西北的知名将帅，官拜节度观察留后，这当然都是后话。
    到熙宁九年（1076）十月，王安石第二次罢相后，王韶更为孤立了。他性情耿直外露，多年紧张的疆场生涯养成了雷厉风行的作风，而这与朝中的氛围却格格不入。他自知失去施展才能的环境，又拙于权势争斗，因此在朝堂待久了，不免心灰意冷。
    一次，在讨论解决对交趾（今越南）用兵、宦官李宪在西部拓疆等问题上，王韶又因言语不当，招致天子的不满，这使他处境越发艰难。数月之后，他不得不递上辞呈，不料皇帝并不挽留，当即发布调任他到洪州（今江西南昌市）做知州的诏命。不过，神宗念其过去的功勋，特为他加上了户部侍郎兼观文殿学士的官衔。
    王韶回到家乡的洪州就职，因为有一种被遗弃的感觉，就在给天子的《谢到任表》中流露出不满和怨言。这一举动立即遭到御史的弹劾，并且旧账重提，指责他曾经贪污军费。于是，他被削去观文殿学士的职衔，改调鄂州（今湖北武昌）知州。
    接连受挫之下，王韶困顿于鄂州地方衙署。他大概看透了官场的险恶无情，遂懒于政务，纵情于杯中之物。宋人野史称，一天，他设宴请客，一位来客借着醉意想调戏他的家姬，家姬哭着跑到主人面前诉说，他却对受到委屈的女子说：叫你们来就是助兴的，怎么搞得客人扫兴。说罢，他举起一大杯酒罚这位家姬饮尽。事后，众人都为其气量所叹服。
    --