潘家园最具江湖感觉的景象是鬼市。“鬼市”说的是凌晨三四点钟专卖古董的一种临时集市，说起“鬼市”还要追溯到清末民初。当时国运衰落，许多达官显贵家道中落，便偷拿了家中的古玩站街变卖。毕竟这是件有失身份的事，只能选在凌晨三四点打着灯笼交易，这样买主看不到脸。因看起来像鬼一样，以此得名。所以古董行都知道，鬼市出好货。
潘家园每周有两天鬼市，周六和周日，其中周六鬼市尤为火爆。凌晨4点钟，潘家园门口人影憧憧，摊主们用三轮车载着装满小件工艺品的纸箱子，顾客们开着车、走着路聚集在潘家园市场门外，噌杂拥挤，把大门顶得叮咚作响。等到4点半大门一开，人群一拥而入，迅速各就各位。
开市以后，虽然人多，但市场并不喧哗，大家都在窃窃私语。老顾客人手一只手电筒，本意是为了把货看得更清楚，这都是从上辈子传下来的规矩了，倒不必那么隆重，因为潘家园市场的灯非常亮。但手电筒是必须要带的，这只是一个标志，说明买家懂行。
天渐渐亮了，鬼市时间结束，市场继续营业，此时就可以看清楚大家的表情了。卖家的动机都一样，赚钱：而买家绝对是一道风景，人人不同：有专心致志真心淘货的，有来打探自家藏宝的大概价钱的，有附庸风雅的，有看热闹的。
尽管潘家园人的身份、动机千差万别，但还是形成了一些约定俗成的规矩。比如，别人拿在手里的东西，你不能问价。要等别人放下，你再拿起来问价；不能因为被人捡漏就恼羞成怒，要认栽。
既然是江湖，就少不了传奇般的发迹故事。
潘家园里老头老太太很多，他们年轻时也许根本没想过当富翁，本来只是想在晚年找个营生，有一搭没一搭地做，结果就成了先富起来的人。这里很多人90年代中期就靠一块破布起家，房车都有、身家数百万的人比比皆是。中国北京潘家园旧货市场