發起罷韓案的公民團體曾質疑高雄市副市長陳雄文任選委會主委，有球員兼裁判之嫌。民進黨立委提出中選會組織法修正草案，明定被罷免人本人或任命的政務人員、機要人員任選委會主委時，必須迴避辦理。
雖然高雄市選舉委員會7日已審查通過市長韓國瑜的二階段罷免連署書，但發起罷免案的公民團體曾於3月檢舉陳雄文違反公職人員利益衝突迴避法，要求陳雄文免兼選委會主委。為避免衍生爭議，民進黨立委沈發惠、高嘉瑜都分別提出中央選舉委員會組織法修正草案因應。
沈發惠提案版本說明指出，實務上有縣市首長或副首長擔任選委會主委，但考量罷免案將直接影響與首長同進退的人員，若仍由其辦理罷免選務，不僅有失公正性，更會遭質疑未利益迴避。
沈發惠所提的修法草案明定，縣市選委會辦理縣市首長罷免案時，主委若是被罷免人或其任命政務人員、機要人員，視為具有公職人員利益衝突迴避法所稱之利益衝突，應依法進行迴避。
高嘉瑜提案說明指出，提出罷免案相當程度代表人民不信任民選公職，但選委會主委有權指揮監督所屬職員，若辦理罷免案的主委與首長同進退，形同球員兼裁判。
高嘉瑜所提修法草案明定，若各縣市選委會主委是首長或其任命政務人員、機要人員，於辦理罷免時不得執行職務。
國民黨立法院黨團總召林為洲表示，修法必須通盤檢討，不能針對個案修法，況且現行許多縣市的選舉委員會主委，多是由副市長或秘書長擔任。
林為洲說，外界若質疑罷免時選委會主委恐行政不中立，同樣的狀況在縣市長競選連任時也會出現，台灣已是相當成熟的法治社會，各縣市選委會也辦過多場選舉，不至於有偏頗情況。
林為洲指出，縣市選委會的主管機關是中選會，如果真的有爭議，仍會交由中選會裁處，直言沒必要針對個案修法。
