万历二十五年，坐落湖南郴州宜章县，有一举人，姓席，名瑱，字臣光，早年父辈经营绸缎生意，家境殷实，本指望子承父业，怎奈他打小就闻不得铜钱臭，对做生意一窍不通，却天资聪颖，苦读诗书，仅有十几岁便常去酒馆棋社与人吟诗作对，父母也便纵了他去，倘若考取功名也是光宗耀祖，人前体面。臣光也是十分争气，先后考中了童生，秀才，之后便是举人。随即便是进京赶考，连试三年，终究是付诸东流，成果丧失。臣光也明白，自己纵然学富五车，才高八斗，也重不过那一锭黄金，按理说臣光并非家境贫寒，但一想，哪怕自己考取功名，将要与这些决疣溃痈，卖官贩爵之辈共事，倒也没什么指望。
转眼间，十年春秋已逝，因生意破败，光景不顺，父母双亡，仅留下些房屋地产，还有一些名贵字画，金银首饰。那臣光兑当的兑当，变卖的变卖，只剩下些古典诗卷，尚且保存。可长期如此，哪怕有座金山也会吃空，无奈仅靠朝廷那点俸禄，妻儿老小，无不抱怨，日积月累，不由得浑浑噩噩，艾发衰容。
一日，臣光正在阁楼上小憩，忽听得楼下一阵嘶喊声，便探出窗外，用目观瞧，见有一小吏用手拖拉着一个乞丐，口中怒斥道：“哪里来的泼皮无赖？纵然不是天子脚下，可也是有王法的。”那乞丐手捧着酒葫芦，早已鼻如酒糟，似醉如痴，疯言疯语。
臣光本想坐视不管，可忽听闻那乞丐口中吐出几句诗云：“劝君莫怨世态凉，别有天地洞中藏。古往今来皆到此，几人哀来几人狂。”随后便仰天长笑。酒气喷薄而出，那小吏早已捂住口鼻，难以忍耐。
臣光听罢，却顿感汗毛直立，若有所思，疑问这厮是何许人也?并快步走下楼阁，来至近前。那小吏也认得他，毕竟此县有功名的人不多，但是却没几个混的像他如此落魄，这镇子上的人也都拿他当个笑柄，便草草了事的行了个礼，说道：“此地原来是席相公的府邸，多有得罪。”臣光也拱手还礼说道：“敢问军爷，此人犯了何等罪过?”
小吏道：“相公有所不知，此人疯疯癫癫，行至大街上，冲人就要锛凿斧具，众人不肯借他，他便入室劫抢，幸亏小人正在游街，不然就让他钻了空子。”
臣光面色凝重，上下打量此人，只见他衣衫褴褛，千疮百孔，沾满了尘土，头发上还有几颗树叶，胡子拉碴，但细看样貌，眉眼之间倒也透着一股清秀，犹为注意，双手早已鲜血淋漓，血肉模糊。便言道：“说来羞愧，此人乃是鄙人的堂弟，只因儿时受过些刺激，故而如此，恳求军爷行个方便。”说罢从腰中掏出些细软，递了上去。小吏接过，心中冷笑道，应了那句话，无论何人与官府作对，终究没有好下场。就连席臣光这等人士，也会干这徇私舞弊的勾当。却脸上堆笑道：“那既是席相公的亲戚，况且也并未造成何等影响，那便交于你了。”
臣光急忙答谢道：“回去后定将好生看管，万不可出来作乱。”听罢小吏便去了。
臣光将此人带入家中，换身平常衣服，整理衣冠，并备了一桌好酒好菜招待于他，那乞丐风卷残云，狼吞虎咽，不难看出已多日未曾进食。不出一刻，桌上盘子已干干净净。那乞丐打了个饱嗝，目光呆滞，不知在想些什么。便问道：“对此菜肴，兄台可否满意?”谁知此人又打了一饱嗝，随后站起身来。倚在桌子上呼呼大睡。臣光小心翼翼走至近前，轻咐道：“听闻兄台口中，有一仙洞，暗藏妙机，现在何处?可否带小弟游历一番。”谁知不一会儿，便传来了阵阵鼾声。
臣光不肯死心，一心把握时机。妻子孔氏百思莫解，质疑道：“相公今日大街上携此人到家中，意欲何为?”臣光言道：“你且莫要多问，终有一日，便知分晓。”孔氏本是争强好胜之人，但跟随臣光多年，早已心灰意冷，便也不再争执。
那人于家中住了几日，给饭便吃，给酒便饮，其余时不吭不语，呆若木鸡活脱就是一痴人。臣光也寝食难安，夜不能寐，暗中观察。一日夜里，臣光忽听楼下有动静，便穿靴更衣，走下楼去，一进房屋，那人便不见了踪影。又听闻柴房有动静，此刻正为寅时，天渐微亮，恍恍惚惚见有一人从柴房出来，怀中不知抱有什么东西，只听见叮叮当当铁器碰撞声，悄悄启开后门，一声不响，不辞而别。
臣光若有所思，紧随其后。只见此人往后山走去，心中已猜出一二，藏踪蹑迹，定要探个究竟。
此人来到的乃是“莽山”，此地真是仙山琼阁，峰峦雄伟，连绵起伏。便顺着羊肠小道，步伐缓慢前行。走了能有半个时辰，总算在半山腰处停了下来。
臣光躲在一树木后用目观瞧，只见此人面前有一石碑，那石碑上镌刻的便是那人先前吟的那几句诗。之后又叩拜了三下。那石碑下有一石盘，只见他向左转了两下，右转了三下，喊了一声“开”。那石碑后竟有两扇门分隔开来。此人见石门开启，便声音上扬道：“先生既有心同往，还不现身?请吧。”
臣光直觉冷汗直冒，惊慌失措，背后一股凉气直冲天灵盖，不知如何面对是好。迟疑了片刻，抖落抖落身上的尘土，稳了稳心神，站起身来，移步至前，含羞笑道：“惭愧，惭愧！”
臣光尾随此人行至洞底，一见眼前光景，大为观赏。这石壁上刻有诗词，甚至还有壁画，此画中有一美人，可谓是沉鱼落雁，愁眉啼妆，出水芙蓉，绰约多姿，可用“一想之美”来形容。唯一美中不足便是着装过于简单，并且还有一条长尾。
可最先映入眼帘的，便是正中央有一棵“梧桐树”，树下用泥土铺衬，并附有青草，洞中有泉水渗进，流至树周边，形成一个水槽。臣光不禁犯疑惑，此时已是深秋季节，而此树还是那么枝繁叶茂，底下也是绿草茵茵，属实难解。
那人带着锛凿斧具，携至美人画下，继续雕刻起来。臣光走至近前问道：“敢问兄台姓甚名谁，家居何府?”
那人便停下回复道：“小生乃是江苏徐州人士，姓胡，名谥，字俊卿。”
臣光又问：“那俊卿兄为何落得如此处境?”
俊卿无奈道：“我本是赴京赶考的穷儒，不料想却落榜而归，心灰意冷，于返程途中，途经莽山，因天色已晚，不得前行，想找一地方休息，便看到此石碑，故按那石碑指引，扭动石盘，便发现此仙洞，常驻于此”。
臣光言道：“此洞虽好，却不是长久之计，俊卿兄未曾想过回去?”
俊卿道：“我之前也有此想法，可情缘难却，舍不得我那情人。”
臣光言道：“俊卿兄那情人，莫不是那画中女子?”
俊卿笑道：“正是，正是！”
臣光道：“那此女现在何处?”
胡俊卿手指了指梧桐方向，言道：“便在于此”。
臣光笑了笑说道：“贤弟莫要玩笑，若非说贤弟痴情于一棵树?荒谬，荒谬！”可说完此话，胡俊卿面目冷漠，眼神坚定，无有一丝嬉戏之意。见此状，臣光心中也有些彷徨。
胡俊卿看了眼壁画，言道：“先生不难看出，此女子虽面容姣好，却生有异相，断不是凡间人士。”
臣光仔细琢磨，也有道理，迟疑了片刻，却细思极恐，差点跌倒在地上喊到：“若非是妖魔鬼怪，纠缠于你?”
胡俊卿笑了笑道：“先生说她是邪魅，可在我眼里，就连九天仙女都敌她不过，先生若有兴趣，我愿细详于你，你道好否?”
臣光道：“愿闻其详”。
胡俊卿言道：“那日我误入此洞，被此处别有洞天之景象所震撼，见有一棵梧桐，栽于正中央，便倚在树下休息，忽闻耳边有阵阵女子笑声，轻盈悦耳，惊慌失措，以为是山川精怪作祟，遗了一滩精，高喊问是何人?过了一刻，那树中竟回复了一句，我见它无有恶意，便卸下心防，侃侃而谈，就这样过了数月，便有了爱意，我几次三番向她询问芳名，家居何府，她却遮遮掩掩，推三阻四，既然如此，我只好让她把相貌告知于我，不然岂不是太可悲了。可没想到就在一个月前，她便消失于虚空中，音讯全无，故而儿，我这三魂七魄仿佛也随她一起去了，剩下的只不过是一副空荡的躯囊，我在石壁上刻上她的尊容，也为解相思之苦，也正是为此，才如同得了失心疯一样，流落大街上去劫抢，结识先生，我见先生，宅心仁厚，才带你到此，将我之所见所闻，告知于你”。
臣光听罢，不由得浑身直冒冷汗，天下竟有这等奇事，更惊叹天下竟有如此痴情之人。
随后二人览阅石壁上的诗词，竟发觉唐朝时，便有人游历于此，大为惊叹。诗词中，句句锥心刺骨，行行悲欢叹息。尤其一首诗，让臣光颇为注意，历历在目，诗中写道：
虎啸风生胆气豪，五洋下海敢捉蛟。
百兽称臣众朝礼，攀树狸猫把头摇。
臣光览毕此诗，不禁热泪盈眶，顿足捶胸，感慨道：“猛虎纵有捉蛟之能，却比不上会攀树的狸猫，枉我席瑱，痴活半世，却比不过一只狸猫聪明，惭愧，惭愧呀！”
说到此处，臣光不由得突发一奇想，对着胡俊卿说道：“此处能感化我一人，今后也必能感化世人，若将此事杜撰为书卷，定能传唱千古，流芳百世，何乐而不为呢?”
胡俊卿点头示好，俩人便不谋而合，那席臣光便从家中携带铺褥，笔墨纸砚，并告知妻子孔氏，自己将要远行一段时间，孔氏还觉奇怪，刚要细问，便无有了踪影。
此二人，一个口述，一个着笔，将此事由始至终，稍加杜撰，闭关钻研，洞外之光景已忘乎脑后。此期间，妻子孔氏也曾担心丈夫安危，告知于官衙，但却寻觅不着，也就不了了之了。
十五年后，《异境怪谈》完结，从古洞中出来，席臣光已是花甲之年，颤颤巍巍从山上下来，回到家中，妻子孔氏早已去世。长子席炽与次子席衡也已成了家，臣光见此情形，物是人非，凄入肝脾，两个儿子见父亲回来，百感交集，说不出是什么滋味。席臣光，双手颤抖，将此书递于长子手中后，当即就咽了气。
两子看罢此书，难以理解，以为父亲在外多年，患了臆想之症，便将此书匿于箱中，不让后世观瞧，几百年来，都无有人知道此书的存在。