原是木造日式官舍的虎尾郡守官邸，在關閉多年後重見天日，2006年搖身一變成為「雲林故事館」，是雲林第一座歷史建築再利用的案例，利用該據點，雲林故事人交流在地的生活、藝術及教育故事。
雲林故事館沒有多餘的飾品，但多是雲林人想要訴說的故事；曾有人問雲林故事人協會創辦人唐麗芳「你們虎尾的特色是什麼？」，她想想回答可能是被中國打著跑的毛巾產業，於是在與眾多小朋友接觸的過程裡啟發她將毛巾製作成毛巾偶戲的想法。
唐麗芳說，一個故事人最重要的不是轉述別人的故事，而是自己對故事起源或發展有切身的在地經驗，那麼講起故事來，絕對是滔滔不絕且情感真摯。
結合毛巾、畫紙等素材，唐麗芳與故事人夥伴能在雲林故事館裡生動地操弄布偶，她說連吵雜的小朋友，都會被說故事人的精彩情節營造的氣氛影響，專注而投入偶戲的想像世界裡。
其實唐麗芳會結合志同道合的故事人，甚至最後立案成立協會，都是起源於唐麗芳到女兒的幼稚園班級講故事，因為風評太好，幼稚園其他班級的孩子也要求唐麗芳來說故事，漸漸的隔一個班級，隔一個學校說故事培養出她的興趣。
她記得最有趣的例子，是詢問聽眾如果要撿一顆石頭（交一個朋友），你要撿怎樣的石頭？結果這個適用5至95歲的故事，看到了各年齡層的聽眾對交友的想法；幼稚園的孩子當朋友為玩具，所以各色各樣都喜歡，問到大學的聽眾，則以結婚為前提挑選石頭。
唐麗芳說，故事創造聽眾的想像力與創造力，也能整合說故事者的思緒想法，兩方藉由聽與說之間，還能討論故事的任何可能性，達成相互瞭解溝通的目的。
唐麗芳與夥伴進到圖書館、書店，或就只是說故事給孩子聽，她說現在的孩子最可悲的就是不會做夢，而現在的故事人協會培養了多個小小說故事家，藉由打造屬於雲林的在地故事文化，讓孩子在聽、說、讀、寫故事的過程中，培養創造力、自信心，也培養孩子閱讀的興趣。
