历史小说一词的出现是进入20世纪以来的事情，1902年《新民丛报》第14号刊载《中国唯一之文学报(新小说>》一文，指出：“历史小说者，专以历史上实事为材料，而用演义体叙述之。盖读正史则易生厌，读演义则易生感。征诸陈寿之《三国志》与坊间通行之《三国演义》，其比较釐然矣。故本社同志，宁注精力于演义，以恢奇俶诡之笔，代庄严典重之文。”这篇文章虽然提出了“历史小说”的概念，但实际上只是做了一个概念上的引进，并没有对历史小说的内涵作深入的剖析。
传统中国小说中并没有历史小说，只有以历史为题材的讲史和演义。宋代说话分为四家。宋代吴自牧《梦粱录》记载，“说话者，谓之舌辨，虽有四家数，各有门庭”，这四家为“小说”、“谈经”、“讲史”和“合生”。“小说”名“银字儿”，“如烟粉灵怪传奇公案朴刀杆棒发发踪参之事。……谈古论今，如水之流”；“讲史书者，谓讲说《通鉴》，汉唐历代书史文传，兴废征战之事”。鲁迅认为：“说话之事，虽在说话人各运匠心，随时生发，而仍有底本以作凭依，是为话本。”说话四家中的话本，发展成为话本小说。但在宋代，说话中的“小说”和“讲史”之间是有区别的。从内容上说，“小说”讲述的不外是儿女、神怪及英雄等故事，题材来源于轶事和小故事，而且形式较短，“盖小说者，能讲一朝一代故事，顷刻间捏合”，即说话者是讲“一人一家的，有头有尾，不需要多大时间”，听众能“立知结局”，元明短篇话本小说，就是从“小说”说话中发展出来的。说话中的“讲史”则不同，讲史由唐代“变文”中的“俗变”发展而来，孙楷第指出，“俗变”不再向佛经中寻求故事，而是把目光投向了教外的书史文传，其中有说《列国志》的，有说《汉书》的，这便是“讲史”。可以看出，“讲史”说话的内容直接取自史书，“历叙史实而杂以虚辞”，不仅内容冗长庞杂，而且也借鉴了史书的结构形式，元明以来的长篇历史演义如《三国演义》，就是从“讲史”的话本中发展而来的。说话中的“小说”与“讲史”的区分，传达了这样信息，即当时的人们把史书文传以外的逸闻轶事或虚构故事当做小说，把“讲史书”的说话依然当做历史来看待，虽然后者与史书比较起来，“大抵真假相半”，但并不妨碍下层百姓从“讲史”中发现历史。小说与历史之间依然有着严格的界限，在这种情况下，就无所谓“历史小说”一说了。
自《三国演义》出现以来，关于长篇历史演义的争论就分为两派：一派以张尚德为代表，强调演义应“羽翼信史而不违”，“据实指陈，非属臆造，堪与经史相表里”(毛宗岗《三国志演义序》)，“文不甚深，言不甚俗，事纪其实，亦庶几乎史”(蒋大器《三国志通俗演义序》)，“循名稽实，亦足以补经史之所未赅”(陈继儒《叙列国志传》)，即把演义作为通俗历史来写，要求演义必须严格地遵从史书的记载，不可向壁虚构、随意篡改；一派以熊大木为代表，认为演义可以在正史之外有所增饰和虚构，他说：“小说不可紊之以正史，……若使的以往事迹显然不泯者得录，则是书竟难以成野史之馀意矣。”所以他得出结论：“质是而论之，则史书小说有不同者，无足怪矣。”(《新刊大宋演义中兴英烈传序》)甄伟认为：“若谓字字句句与史尽合，则此书又不必作矣。”(《西汉通俗演义序》)褚人获说：“其间阙略者补之，零星者删之，更采当时奇趣雅韵之事点染之。”(《隋唐演义序》)谢肇淛批评《三国演义》等书“俚而无味”，原因就在于“事太实则近腐，可以悦里巷小儿，而不足为士君子道也”。围绕着历史演义所产生的两派看起来意见相左，一派讲求历史演义的纪实性，可以看做是征史派；一派则努力发掘其中的虚构艺术性，是艺术派，若仔细比较，二者之间的共同之处则大于分歧。就演义的艺术派而言，他们对演义虚构艺术的追求，是建立在正史基础之上的，在保证历史框架和主要历史事件及人物真实的前提下进行的艺术想象，他们追求艺术虚构，但并不同意演义像小说那样向壁虚构。可以说，艺术派强调的艺术性是一种对正史的有限改造和虚构，他们并不反对征史派对历史的忠实，只是反对征史派对正史照搬不误而不容许丝毫增补与润色的僵硬做法。二者具有相同的历史观念。
从文学史的角度看，演义中的征史派占据绝对重要的地位，直至清代章学诚还指责《三国演义》“七实三虚惑乱观者”(《丙辰札记》)。从创作和接受的两个方面说，历史演义反映的是正史的，而非小说的观念，它的结构或许启发了古典长篇小说的创作，但从内容与思想上，只是起到教育普通百姓的通俗史书的作用，人们通过这一形式学习到正史的观念并发现历史演变的规律。严格地说，演义既不是小说，也非以历史为题材的小说，而是历史的一种通俗形式。称演义为历史小说，只是现代人们后来的追认，并不代表当时人们的观念。
晚清开展的“小说界革命”运动，使西方小说类型理论得到借鉴和引入，人们开始运用历史小说的概念重新整合传统中国小说。吴趼人指出，“自《三国演义》行世之后，历史小说，层出不穷”，历史小说不仅可以“补足记忆力”，而且还“易输入知识”，所以他“发大誓愿，编撰历史小说，使今日读小说者，明日读正史如见故人；昨日读正史而不得入者，今日读小说而如身亲其境”，从而起到“变法”和“维新”的作用(《历史小说总序》)。他所说的历史小说，从形式上说指的还是传统长篇历史演义，表达的却是近代政治的观念。清末民初的小说作家，由于片面夸大小说在“群治”方面的作用，认为小说具有改良社会的强大作用，人们写作小说，并不是出于审美的意识，而是为了着眼于政治的目的，所以历史小说的概念，不仅没有突破传统演义的界限，甚至在某种程度上比传统演义更加接近历史，而且具有直接把历史小说当做政治斗争的工具的倾向。吴趼人作历史小说就是为了替代历史，起到历史教科书的作用，所以严格按照历史的样子编撰诠释，防止出现“蹈虚附会”的结果。黄小配不满于官史颠倒是非、戕同媚异的做法，所以他用“史笔”的方法撰写《洪秀全演义》，“其中近三十万言，皆洪氏一朝之实录，即以传汉族之光荣”，从历史的角度宣扬排满复汉的政治诉求。他们所谓的“历史小说”，严格地说，既非传统演义，也不是历史小说，而是用传统演义形式写就的政治小说。
历史小说概念的引入，开始时虽没有获得创作上的成功，但他们对历史小说的理论倡导和写作实践，显然给五四时期的新文学作家留下了历史的经验和教训，在这一基础上，他们开始接受新的观念，并从新的角度思考历史小说。胡适首先从现代短篇小说的概念中提出了历史小说问题。在他看来，短篇小说是西方现代小说一种特定的形式，“在文学上有一定的范围，有特定的性质，不是单靠篇幅不长便可称为‘短篇小说’的”，中国传统的笔记、杂纂，以及现代报纸杂志上的“某生体”小说，都不算真正的短篇小说。进而他提出短篇小说的定义：“短篇小说是用最经济的文学手段，描写事实中最精彩的一段，或一方面，而能使人充分满意的文章。”从这个
标准出发，重新梳理中国短篇小说的历史时，胡适从唐代传奇《虬髯客传》中提出了历史小说的问题。他认为，《虬髯客传》不仅符合现代短篇小说的文体标准，而且是历史小说。所谓历史小说，“不可全用历史上的事实，却又不可违背历史上的事实”。全用历史上的事实，便成了“演义”体，如《三国演义》和《东周列国志》，没有真正“小说”价值；若违背了历史的事实，却又不成“历史的”小说了。所以“最好是能于历史事实之外，造成一些‘似历史又非历史’的事实，写到结果却又不违背历史的事实”。显然，胡适不仅把历史小说作为小说看待，而且从现代小说的文体形式与观念中探讨历史小说问题。这样，历史小说不仅成为现代短篇小说的一种类型，更重要的是，历史小说的观念得到现代性的洗礼和更新。
当然，历史小说的现代转化，不只反映在一个方面，鲁迅借鉴日本近现代历史小说理论，提出了“历史小说”和“历史的小说”的问题。他指出，芥川龙之介的《罗生门》是一篇“历史的小说”，而他的《鼻子》则是“历史小说”。在《鼻子》中，芥川“多用旧材料，有时近于故事的翻译”，而在《罗生门》中，他却做了许多的改动，不仅把《今昔物语集》中两个不相干的故事捏合在一起，而且把女死者写成一个骗子，表现出比《鼻子》更多的主观性。鲁迅感兴趣的是这种不拘泥于历史材料的“历史的小说”，但无论“历史小说”，还是“历史的小说”，芥川都“想从含在这些材料里的古人的生活当中，寻出与自己的心情能够贴切的事物，因此那些古代的故事经他改作之后，都注进新的生命去，便与现代人生出干系来了。”(《<现代日本小说集>附录关于作者的说明》)鲁迅借鉴了日本历史小说的二分法，不仅把中国现代历史小说分为“博考文献，言必有据”的“教授小说”和“只取一点因由，随意点染”的两种类型，进一步深化了中国现代历史小说理论，而且他“并没有将古人写得更死”，而是把新的生命注进这些古代故事及人物中，使之不仅与现代人生出干系，而且与现实生活构成一个共时的空间，使其完全现代化了。
郁达夫《历史小说论》(1926年)的发表，标志着中国现代历史小说理论的成熟，历史小说开始有了一个较为明确的概念和比较系统的理论构成。郁达夫认为，中国现代的小说，实际上是属于欧洲文学系统的，是“中国小说的世界化”，它从内容到结构人物背景，与传统中国小说之间有着巨大的差别。中国现代历史小说就是在这一背景中产生的，它指的是“由我们一般所承认的历史中取出题材来，以历史上著名的事件和人物为骨干，而配以历史的背景的一类小说”，进而郁达夫从历史小说的意义、写作方法、历史小说与历史的关系等几个方面对现代历史小说进行了综合论述。中国历史小说由此脱离了讲史与演义的传统，完全转入了现代的轨道。