刘先生稍长，治学兴趣转向史学，他受启发最深、最为钦崇的学者就是大倡“六经皆史”的章学诚（1738—1801年）。学诚字实斋，会稽（今浙江绍兴）人。他于1778年中进士，一生主要从事讲学、著述和编定方志，他当乾嘉汉学鼎盛之时，不屑为考订之学。且认为性命之学，易流为空虚，皆所不取，而特重史学，尤致力于史学理论的研究。他强调治学目的在能实用，反对趋时好名和为学术而学术的风气，他认为求学的根本目的在明道，在经世致用，而著书考据或言义理都不过只是手段。他批评汉学家笃守经传训诂，征实太多，发挥太少，故主张独立思考，“全其所自得”。
刘先生读书治学，把重点转向到史学，完全是受了章学诚思想见解的影响。大约20岁后，服膺章氏，循其轨迹，领会越深越透，不特做了大量阐扬章学诚的工作，而且青出于蓝，大有发展，把文、史、哲诸方面的论述和研究，更加紧密结合起来，开辟出“大史学”的新天地，使人们把这门学问作为对象，能够看得更远和考察更深入了。他私淑章氏，奉之为师，屡表钦崇，但他一旦发现章氏的见解和主张还存在缺点或不足之处，也不回护，而提出自己认为正确合理的意见。例如章氏说“为学莫大乎知类”，刘先生即予以纠正说：“为学莫大乎明统，明统然后能知类。诸子统于老、孔；校雠论文统于《七略》；史法统于三体；《诗》统于三系。”刘先生认为章氏标举“明统知类”，实则其学多表现在“知类”方面，而“明统”则殊不足。他指出这点，是说章学全讲后天，与槐轩之学偏重先天者正可互相补充，始能天人一贯，道器不二，臻于完备。又章氏分别“撰述”与“记注”，这是对史学的一大贡献，但仍嫌不足者，“撰述”具有史家的倾向性见解，“记注”则不过是史料性质的记录，两者性质有异，如从史学的角度加以比较，“撰述”自必优于“记注”。刘先生还有深一层的看法，即使写成一部历史著作，如果缺乏“贯通之识”也是不行的，并说章氏的撰述也未免此病。刘先生并说“贯通之识”在著作中居于主体地位，有时还存文外，要精察细探始能掌握。他引《孟子》所说：“尽信书不如无书。”这就是说真知灼见有时存于文外，光读死书，定会受骗，因为为文字所障蔽，便难以了解史实的真相了。章氏述史书体例及其源流，评价历史著作的得失是非，固是能手，但一切史著，只是客观存在的史实之反映，究竟不是史实的本身。刘先生的史学研究，比章氏所讲的文史之学，范围扩大得多，所着眼的对象是史实而不仅仅是史料和史书，所以刘先生继承章学而又大大发展和改造了它，这是不应忽视的。