“小学”一词，最初见于《大戴礼记·保傅篇》：“及太子少长，知妃色，则入于小学，小学者，所学之宫也。”这里的“小学”指的是少年从学的机构，与当今通常所言的“小学”在含义上是基本一致的，同时，“小学”也指在此一阶段所学习的内容。周代的贵族子弟入“小学”要学习“六艺”，即礼、乐、射、御、书、数这6门知识，这是当时作为贵族子弟必须要具备的基本技能。这些知识是与后来入“大学”所学的齐家治国之学相对应的。

隋唐以后，小学成为文字学、音韵学与训诂学的统称。有清一代，因为统治者对于思想的严密钳制，众多的一流学人埋首所谓的“故纸堆”，悉心专研，小学达到了极盛的局面。