其实，蔡京初次被罢相，也非是犯了多么重大的错误，实是因了徽宗皇帝迷信，看重天象之故，加之其他大臣的弹劾，徽宗皇帝无奈，方罢免了蔡京的宰相职务，蔡京给徽宗皇帝皇帝甩脸，只是个借而已。

蔡京也打回府。回到府中，蔡京尤满腹怨气。对蔡京来讲，党人碑被拆毁，就等于他本人被否定了。

徽宗尚是端王时，每退朝遇到蔡攸，蔡攸都急忙下，立于路旁，趋弓腰，双手抱拳，对端王极为恭敬。

蔡京声音之，响彻朝堂，满堂大臣尽皆惊诧。

回到内的徽宗皇帝，也因蔡京当殿碰，心中甚是不悦。

徽宗皇帝接奏，犹豫不决。

此是蔡京被初次罢相。

众大臣皆被蔡京气势所镇住，没有敢班言明。

徽宗见状，离了龙椅，下到殿中，来至蔡京边，亲手扶起蔡京，又是一番抚。

蔡京闻言，方知元祐党人碑乃是徽宗皇帝指使人毁去的，心里虽是不想再争辩，但当着众大臣之面，大话已说，怎好收场，遂怒睁双，厉声喝：“何人有此谏言？！”

又过了几天，有天监官殿，奏称太白昼见，恐非吉兆，应加修省。得知这个情况，赵之、刘逵也赶忙，觐见徽宗，请求罢免蔡京，以宽松环境。

蔡京闻听到徽宗皇帝并无追究朝会上不恭之罪，动得涕泪横，跪趴在地上，连扣着响，声喊：“臣谢主隆恩。祝吾皇万岁、万岁、万万岁1”

虽是如此，徽宗心里尚觉愧对蔡京，乃将蔡京所的私人，擢为龙图阁学士，兼官侍读，以笼络蔡京之心。

不过半日，陆续有大臣本参奏，奏请罢免蔡京宰相职务。赵之、刘逵也联名本参奏，斥责蔡京，请求罢免。奏折：“蔡京佞，擅权专横，目无君父，党同伐异，陷害忠良，兴役扰民，损耗国帑，擅招敌国边民，轻开边衅，当亟加罢黜，定国安民。”

于是，蔡京连夜，觐见徽宗，跪伏于地，涕泪齐下，哭诉自己不该撞圣上，自己实乃是怕旧党得势，阻扰各项法规顺利实行，一时急迫，有了朝会上不恭之举，万望圣上饶恕。

擢为龙图阁学士的蔡京私人是谁？乃蔡京的长蔡攸也！

徽宗览奏，心中甚是痛快，遂有意罢免蔡京左相职位；然而，徽宗皇帝念在蔡京书画绝，才华众，心里虽怨恨蔡京鲁莽，当殿撞自己，但喜蔡京之才，对罢贬蔡京，犹豫不决起来。

徽宗见蔡京哭得悲切，言辞诚恳，遂打消了罢免蔡京的念，对蔡京说：“蔡太师且起。卿今日之举，实在是过于孟浪，以后绝对不可了！”

又是接连几日，对奏请罢免蔡京之事，徽宗一直没有表示。群臣不服，便又有奏折递中，请求徽宗皇帝，罢免蔡京。

蔡京被罢相后，并未失去徽宗皇帝对他的信任，双方在书法及绘画方面，常有切磋；况且蔡京罢相后，还留下了大批余党充斥在朝廷中，只要有机会，蔡京余党皆在徽宗皇帝面前说蔡京的好话，向徽宗谏，请求启用蔡京。

蔡京怒气未休，往上吼：“碑可毁，名不可灭！”

快至傍晚时，蔡京怒气渐消，想到自己当殿撞徽宗皇帝，那徽宗皇帝定然恼怒不堪，定然要罢免自己的宰相职务。如此一想，蔡京又后悔不迭，想着如何挽回此事的影响。想来想去，蔡京觉得必须连夜去觐见徽宗皇帝，当面解释清楚，否则后果十分严重，说不定自己的相位便没了，就成别人的了。

赵佶嘉奖其有礼，由此将蔡攸记在了心里。现在，徽宗皇帝因罢了蔡京左相职务的原因，想到了蔡攸，遂提蔡攸升职为龙图阁学士，兼官侍读，以此作为对蔡京被罢相的补偿。

端王喜其有礼貌，乃问其曰：“你乃何人？”蔡攸遂答曰：“端王在上，下官乃蔡学士长蔡攸是也。”

蔡京见徽宗皇帝已无怨气，遂放心告辞回府。

徽宗皇帝也被蔡京此举吓了一，顿觉掉了面，遂不满地看了蔡京一，微怒容，起离座，拂袖而去。

徽宗闻奏，乃赦免一切党人，尽还所徒，暂罢崇宁诸法，并免去蔡京左相职务，贬为太乙使，留居京师。

当日朝会随即结束，众大臣皆退大殿。