2006年3月，在县委、县人民政府和中共巧家县委宣传部及社会各界的关心下，孙世祥读书社在巧家成立，为乡村图书馆的建设作出了有益的探索。 在2006年1月在清华大学召开的“《神史》研讨会”会议期间，余世存先生即提出在全国筹建乡村图书馆的构想，建议在巧家先做起孙世祥读书社，待乡村图书馆建起来后，即可以给予支持。孙世祥读书社成立后，积极参与巧家文化建设，开展了图书借阅、学术讲座、传统经典诵读、民间文化收集整理等活动。但由于经费的问题，到2006年底，图书借阅工作已无法开展。2008年11月，孙世祥读书社申请，经市新闻出版局同意，由孙世祥读书社主办的《堂狼山文化报》出版。2009年8月，孙世祥读书社向巧家县人民政府、巧家县旅游局提出申请，筹建由巧家县旅游局主管、孙世祥读书社主办的巧家旅游网（www.巧家旅游网.com、www.qjwhly.com）。在县委、县人民政府领导和旅游局领导关心下，2009年9月巧家旅游网试上线试运行于2009年11月正式上线运行。2009年9月，孙世祥图书社开始筹建中国药山药用植物园，拟于10年内筹资1.5亿元，打造集旅游、科研、娱乐、餐饮于一体的旅游风景区。

 为尽快启动孙世祥图书馆的建设。2009年10月4日至10月7日，受孙世祥读书社的邀请，立人乡村图书馆项目负责人李英强到巧家考察孙世祥图书馆的建设事宜。李英强老师在巧家考察了孙世祥高中时的母校——巧家县第一中学，拟将孙世祥图书馆的第一个分馆建于此，以后逐步在全县各县乡中小学筹建分馆。考察结束后，李老师相当满意，决定尽快将孙世祥图书馆建立起来。