陶行知的一生都是从事教育工作。他从美国完成学业回国后，真正想把杜威的实验主义教育理论带到中国，为了实现他“教育救国”的理想。在20世纪20年代早些时候，他参加了改造中国教育的组织和提高中国人教育的平民教育组织，他编写了《平民千字课》，建立了学习场所。在不到一年的时间里，大众教育成为风靡一时的事物。根据统计，在那时候，50万中国人为平民阅读《平民千字课》。那时，中国仍处于北洋军阀的统治下，平民百姓连饭也吃不饱，他们怎么能够愿意识字呢？大众教育运动最终没有持续下去。陶行知告诉他的朋友们：“我回国后，尽力实践杜威的教育理论。现在我是到了山穷水尽的地步了，必须另寻出路。”
在倡导大众教育一些年后，陶行知发现，大多数农民生活得非常苦，农村地区是中国改革的基础。因此，他决定去农村发展乡村教育以创造环境让农民能够识字。在1927年，他提倡“用最少的钱，办最好的学校，培养大多数农民”。他想“筹建一百万元钱，召集一百万同志，建一百万所学校，改造一百万乡村。”他放弃了大学教授的优裕生活，拿出自己节省下来的1000元钱，聚集了一些志同道合的朋友，在南京市和平门外的晓庄建立了南京市实验乡村师范学校。