西单墙是在北京西单十字路口东侧路北的人行道旁，几路公共汽车站都设在这里。在这些公共汽车站的后面，是一排约有200米长的灰色矮墙。因为这里来来往往的人很多，常常有人在这排矮墙上贴寻人启事和小广告，引人注目。从1978年春开始，有些人在这里贴大字报，看大字报的人很多，一传十，十传百，逐渐形成一个自发的聚拢人越来越多的场所。
民众寻找宣泄怒气的场所
这种在北京街头自由张贴发表政见的大小字报的源头，要追溯到1976年清明节时的天安门事件。那时，"四人帮"的罪行早已天怒人怨，趁清明节怀念周恩来的时机，人们纷纷到天安门广场烈士纪念碑前送花圈送挽联，越来越多的贴出反对"四人帮"的政治诗文，这也是促使结束"四人帮"专政的一股强大的群众力量。
粉碎"四人帮"后的1977年清明节，天安门纪念碑周围也贴了很多怀念周总理和庆贺粉碎"四人帮"的诗文。1978年清明时，纪念碑周围贴的政治诗文更多。1978年4月6日一篇署名霍华和尹明的大字报发出建议，他们认为，应当把张贴政治性的大字报经常化，不必限于清明节。
文章说："我们应该把这块地方作为不中断的论坛，不闭幕的会场，不休战的阵地，随时把我们的思想言论写出来，把我们的作品发表出来，在这里‘百花齐放，百家争鸣'。""在这里，每一个人都可以作为政治家、思想家、科学家、艺术家、理论家、作者，同时又是读者、听众、观众、批评家。在这里，每一个人都是社会的主人。"
当时，人们认为这就是"民主墙"的倡议书。当然，天安门广场不适于成为经常张贴大字报的地方，人们在寻找一个更为适合的场所。这时，出现了一件事，更直接引发了西单民主墙的出现。
民主墙上"百花齐放"
"文革"一开始，深受广大读者欢迎的《中国青年报》和《中国青年》杂志被停刊了。粉碎"四人帮"以后，《中国青年》于1978年9月复刊，《中国青年报》于10月复刊。出人意料地是，《中国青年》的第一期复刊号却触怒了当时主管宣传的党中央副主席汪东兴，他下令把已经发出去的《中国青年》复刊号通通收回，禁止发售，这引起了广大青年读者的愤慨。
一个不知名的人，把这一期杂志一页一页地张贴在西单那一排矮墙上，轰动了北京城，成千上万的人们涌到西单墙去看大字报。很多人读后在这个墙上贴出短短的大字报和长长的小字报，表示反对禁止发售《中国青年》。另一些要求肃清专制余毒、要求民主、要求言论出版自由的大字报，也越来越多。如这年12月贴出的任畹町、魏京生等写的文稿，要求政治民主化，引起很大的反响。一些青年还自发地组织了一些民间团体，出版了一些民间刊物。来这里贴大字报看大字报的人越来越多，因而人们把这里叫做"西单民主墙"。
民主墙上大小字报的内容很多，有蒙冤受屈者的申诉，有批评建议，有揭发恶人丑事，有新闻消息，后期主要是政论。其中讨论最多的是民主与法制问题。主要有以下几点：（1）从总结历史经验的角度来探讨社会民主问题；（2）主张民间办报、民主办报的问题；（3）要求言论自由，废除"恶毒攻击罪"的问题；（4）赞赏推崇西方民主的问题；（5）公开评毛泽东的功过问题，等等。形式多样，有诗词、小说，有对话，有致某人的公开信，有赞成或反对的批注；有署真名的，署笔名的，或不署名的；有的大字报具有一定的理论水平和文采，也有谩骂讥讽式的胡言乱语，有自我批判、自我表扬的等等。
民主问题逐渐成为焦点
在最初的几个月，西单墙的大小字报绝大多数的内容以申冤诉苦为主，只是就事论事，不大涉及政治内容。随着官方报刊批判两个"凡是"和真理标准讨论的宣传，西单墙大字报的内容也越来越集中到政治民主问题，越来越接近一些敏感问题，引起了人们的纷纷议论。
人潮涌动的西单民主墙
议论的焦点是：西单民主墙的主流是健康的，还是反动的？它是中国政治生活中一种生动活泼的表现，还是一种不安定的因素？民主墙应当在中国政治生活中消失，还是应当加以引导，使之更加健康地发展？
但是关于"民主"的讨论越来越尖锐化，意识到事态开始朝难以控制方向发展的中共高层，开始逐渐有取缔"西单墙"的想法。
1979年11月，中共五届人大二次会议讨论关于取缔"西单墙"的问题，1980年9月五届人大三次会议对关于取消"四大"（大鸣、大放、大字报、大辩论）的问题，正式作了决议。
