贵州文化在秦汉以前，史乏记载。自东汉章、桓年间（76-149），毋敛人尹珍（字道珍）北上求学，先后师从许慎、应奉，回乡设馆传授许、应之学，后曾官尚书丞郎、荆州刺史等，开创了南疆教育之风。至此，贵州文化始有可述。尹珍是贵州教育的拓荒人。莫与俦的《毋敛先贤考》，对尹珍事迹，考证尤精。
追溯影山文化的渊源，得从东汉以来毋敛县的史地文化叙述起。东汉时,毋敛县辖今都匀南部、独山、平塘、荔波、三都和广西壮族自治区的南丹、思恩一带，治所在独山。独山地处交通要道，秦五尺道由北到南，贯穿辖境，直达象郡（今广西桂林）；水道北有紫水（独山江），流经三脚屯（今三都县）汇合都柳江至粤流入珠江，今番禺（今广州市）入海；南有刚水（打然河），流经荔波与打狗江汇合入柳江。毋敛县气候温和，土地肥沃，多民族聚居，民风朴实。由于交通便利，三蜀（汉初郡置广汉郡，武帝又分置犍郡，合称三蜀）的尹、谢、龙、傅等姓氏早有名声，时称“一方豪强”（范文澜：《中国通史·二辑》）。其时，士人读书虽无庠序（官学），但私塾已渐兴起。以尹、谢二氏最为知名。尹氏以经术称，谢氏以武功显，尤以尹珍对开拓南中（川、滇、黔）文化，功绩显著，影响最深，成为一代经学大师，震古铄今，贵州境内多立“尹子祠”祀之。这是影山文化最早渊源。
珍卒后，其族已渐没落，惟谢氏后裔武功历汉、三国、晋、唐不衰，直延至宋、元、明、清，仍见其余绪。其间毋敛人谢恕更值得一提。据《华阳国志》载：“晋怀帝永寿初年（约307年），李雄据蜀，毋敛谢恕独保 ，官历宁州（益州郡味县）刺史。”“后谢氏势力西扩，直到唐初，诸谢入朝，置庄（独山地区）、□、应、矩、充、琰六州，皆以谢氏为刺史。武后圣历元年（698），庄州继黔州置都督府，自领石牛（庄州首府，治在今独山麻万乡）等七县，兼督黔、播等经制州及羁縻州五十一个”（万大章：《汉晋毋敛县及谢、尹二氏略述》）。在此期间，文教方面虽亦不乏传人，因历年战乱，文献资料亡逸，已无考证。贵阳陈矩说：晋后虽有传人，兵燹屡兴，著述散逸，寂寞风流千有余载（陈矩《翰林院检讨万公民钦墓表》）。明初，南中平定，地方稍趋安定，工农业生产逐渐恢复，读书之风渐起，但仍多限于私塾。永乐十一年（1413），置贵州布政使，仅播州（今遵义地区），矩州（今贵阳地区）两宣慰司设有司学；思州（今铜仁地区）则将旧宣慰司学改为府学，其余均未建学。至宣德八年（1433），都匀府建学，独山州附之。后，其他各府亦陆续相继建学。因此，“贵州自宣德以来，名臣如张孟弼，黄用章；名儒如孙淮海、李桐野；敢谏如詹秀实、陈见羲；忠贞如申天锡、何腾蛟；文学如谢君采，吴滋大诸先生联袂而起，指不胜屈，较之初省，亦可谓盛极也矣”（莫与俦：《贵州置以来建学记》），弘治末年至万历初年（1504--1575），著名的三位学者王守仁（字伯安世称阳明先生，卒谥文成）、张（羽中）（字鹤楼，卒谥忠简）、邹元标（字尔瞻，号南臬，卒谥忠介），都因得罪权贵，先后被贬谪到贵州。王守仁移居修文龙场驿，承陆九渊余绪，倡导“知行合一”说：张（羽中）、邹元标迁戍都匀卫，以经学为主，讲学授徒，对贵州文化的发展和影山文化的形成都有影响。尤其是邹元标，万历三年（1575）在都匀卫所（后改名南臬书院）讲学，培养一批人才。独山州人余显凤（字德翥）赴都匀求学，拜元标为师，同时拜师求学于元标的还有都匀陈尚象（字见羲）、吴解元铤（字金廷），当时在教育界称“邹门三先生”。余显凤举于万历七年（1579）乡试，成为独山州乡举第一人，官教谕，升巩县知县。莫友芝在《黔诗纪略》中说：“州人讲正学，有科名，并自巩令始。”后又有岁贡余显祖、袁懋奇、黄金鼎、黄恩宠等寄学都匀。其中黄金鼎善文学，曾著有梅花诗120首，颇受称道。这些学人，对发展地方文化都起到一定作用。
康熙二十八年（1689），独山知州赵元壁出资建义学一所，址于学宫旁，经常亲临馆学主讲，并造田20亩，以解决馆员用粮。赵完壁卸任后，义学改称“赵公书院”，同时聘师讲学。康熙三十八年（1699），王燕任贵州籍赴省乡试，选拔举贡。于是独山人才辈出，一代胜一代。康、雍之际，共出翰林1人，举贡19人，其中“蔡希端长于治易，其子暄（雍正癸卯拔贡）能传家学，著有《周易撮要》2卷，叩河图奥秘者，门无虚日”（《贵州通志.人物志》）。最突出的是万民钦于康熙四十一年（1702）中举后，次年连捷进士，选翰林院庶吉士。6年后改官检讨，与族兄万经（字授一）同入史馆。民钦因羡万经得父万斯大（字充宗）、叔万斯同（字季野）之学及所承戢山（刘宗周）、黎洲（黄宗羲）之学，而成为浙东学派的主要传人。于是，决心和他穷力探究。后又与长洲何焯、南昌万承苍等以文学交友，互相砥砺。居馆13年，经术日深，著述日富。主张治学必须穷经，而后求证于史。注重史料和通经致用的学风。康熙五十四年（1715）民钦还乡教学。时万经已简任贵州督学，仍与函共商学业，并主讲于独山赵公书院，传浙东学派万氏之学。“游其门，接其传者，如从春风，鼓之舞之，不能自己，多成名儒，不啻首膺馆选，开边疆风气之先，致后起甲第蝉联，科名鼎盛”（陈钜：《翰林院检讨万民钦墓表》）。执教23年，桃李遍全州，对黔南学术开拓最多，影山文化亦深受其直接影响。乾隆二年（1737），民钦卒后，独山廪生黄捐资扩建赵公书院，历时3年建成，改名“紫泉书院”。聘请名师如易学专家蔡暄、太史艾茂等主讲，为当时州之最高学府。二十一年（1756），城乡求入学者日益增多，州城一所书院已容纳不下，知州小格（满族）捐建义学一所，以暂解当时入学者读书之难。在此期间，万民钦子豫及州人刘师基等联翩中举。二十七年（1762）后，万民钦之孙邦英、蔡希端之孙其发和州人黄琼、都其忠又先后举于乡，万邦英和蔡发又同科中进士。三十年到六十年间（1765--1795）州人杨凤台、袁学中举于乡。后杨凤台又同莫与俦联袂中嘉庆四年（1799）进士。而蔡氏一家兆清、兆新、兆盛、兆馨均先后中举或选拔贡；万民钦曾孙全善及州人黄泰儒同举于乡，为名儒洪亮吉拔识之士。独山万、蔡两家，又多长期教学于乡里，对地方学术文化的发展颇多贡献。数十年间，万、蔡文风盛极一时，对后来影山文化的形成，起到了促进作用。