立法院日前因藍白所推「國會改革五法」修法，讓朝野之間劍拔駑張，而正反兩方的支持者都表示要罷免不適任立委，包括國民黨葉元之、徐巧芯，民進黨的吳思瑤、吳沛憶等人都被雙方支持者點名要被罷免。對此，前中廣董事長趙少康今（7）日表示，除非公職人員極端不適任，不然不應該發動罷免，尤其是報復性罷免更不值取。
趙少康表示，我國公職人員現在都是四年一選，沒有萬年公職，定期改選就是定期淘汰，為了政治安定性，除非公職人員極端不適任，否則不應該動輒發動罷免，尤其是輸不起的報復性罷免，更不值取。
他指出，我國「公職人員選舉罷免法」中公職人員包含甚廣，從中央立法委員到地方議會議員、代表會代表、直轄市長、縣市長、鄉鎮市長、區長、村里長。對於單一只選一人選區，當選票數高，但需罷免票數少，對於複數多選選區，當選票數少，但需罷免票數多，都是奇怪的現象。
趙少康以立委或縣市長單一選區為例，競爭激烈選區投票率大概在 70% 上下，主要由兩位候選人捉對所殺，當選票數應該在 36% 以上，落選者也應該會有超過四分之一，即 25% 的選票。但當選者被落選者陣營仇恨動員罷免時，很有可能獲得 25% 的罷免票數而被罷免，仇恨力量大，原來支持者再投票意願不會太高，當選需要 36% 選票，罷免只要 25%的 選票。
若以實際數字解釋，假定某選區全體選民 100 萬人，投票率 70%，也就是 70 萬票入匭；而當選者需要比 35 萬多 1 票甚至更多，落選者會拿到比 35 萬差 1 票或更少。
他質疑，罷免時只要有比 25 萬還多 1 票出來投罷免，且多於反對罷免者，原當選人就會被罷免，但當選卻需要 35 萬還多 1 票，罷免票數只要 25 萬 1 票，前後差 10 萬票，合理嗎？而對複數選區的議員來說，剛好相反，也許 6 至 8% 的選票就可當選，但罷免卻要 25% 以上，票數也差太多。
對此，趙少康建議，選罷法應該立即修正，罷免票數需要多過當選票數，「我 10 萬票當選，你就不能夠用 9 萬票甚至更少罷免我，而是必須用 10 萬票以上，才能罷免我。」
