民眾黨主席黃國昌日前在《向光前行》新書發表會上回顧政壇歷程，提及 2020 年前後時代力量面臨嚴重退黨潮，並形容當時得知柯文哲有意組黨時「晴天霹靂」，坦言承受相當大的政治壓力。不過，曾任柯文哲攝影官的潘俊霖隨即在臉書發文直言「鬼扯」，直指時代力量當年的困境主要源自黨內問題，而非外界打壓。
潘俊霖指出，時代力量出現大規模出走潮，是因為內部經營與路線問題所致。他在貼文中直言，「時代力量當年是你黃國昌自己內部問題導致出走潮」，並批評黃國昌如今將相關責任歸咎於民進黨，「別笑死人了」。
全站首選：水情兩樣情！德基跌破9成警戒 曾文暴雨狂灌重回雙位數
潘俊霖也提到，柯文哲及後來成立的台灣民眾黨，其實早在創黨之前就已將時代力量視為主要競爭對象。他透露，柯文哲曾私下向他提及要「養、套、殺」黃國昌，顯示雙方之間的競爭關係並非近年才出現。
對於黃國昌在新書中回憶 2019 年曾透過時任台北市政府社會局前局長許立民打聽柯文哲是否有意組黨一事，潘俊霖也提出質疑。他表示，許立民當時早已離開台北市政府、返回台大醫院執業，因此對相關說法的時序提出不同看法。
潘俊霖進一步回顧 2019 年的政治布局，稱柯文哲年初便有意角逐總統大選，當時因政黨立案時程問題，團隊甚至已規劃超過 2000 個連署據點，並透過「柯粉俱樂部」系統進行組織動員，相關工作直接向柯文哲本人報告。
全站首選：漲多現賣壓! 美股費半暴跌逾10%疫情來最慘、台積電ADR跌6.69%
他表示，後來曾在市長室召集幕僚討論總統參選議題，甚至當場詢問「贊成柯文哲選總統的舉手」，結果無人表態支持。他因此向支持柯文哲投入總統大選的人士表示，若連核心幕僚都不認同此時參選，未來恐怕難以推動政策論述與選戰文宣。
潘俊霖指出，柯文哲最終未登記參選 2020 年總統大選，之後由蔡壁如等人推動成立民眾黨。他認為，民眾黨在沒有總統候選人帶動選情的情況下，仍於 2020 年立委選舉取得 5 席不分區立委席次，背後重要基礎正是「柯粉俱樂部」累積的組織能量。
最後，潘俊霖再度將矛頭指向黃國昌，稱「黃國昌的時代力量一個政黨，輸給我一個網路社團柯粉俱樂部」，並批評黃國昌將政黨衰退歸因於民進黨打壓，而非檢討自身問題，「現在竟然把自己的無能說成民進黨打壓，笑死人」。
