1920年初，李大钊、陈独秀等开始了建党的探索和酝酿。4月，俄共(布)西伯利亚局派维经斯基等一行来华，了解中国情况，考察能否在上海建立共产国际东亚书记处。他们先在北京会见了李大钊，后由李大钊介绍到上海会见陈独秀，共同商谈讨论了建党问题，促进了中国共产党的创立。从5月开始，陈独秀邀约李汉俊、李达、俞秀松等人多次商谈建党的问题。8月，陈独秀在上海成立了中国共产党的发起组。10月，李大钊在北京建立了共产主义小组。接着，在湖南、湖北、山东、广东等地相继建立了共产主义小组，同时在法国和日本也由留学生中的先进分子组成了共产主义组织。
　　各地共产主义小组建立以后，开展了多方面的革命活动。为了广泛传播马克思列宁主义，统一建党思想，1920年9月，上海发起组把《新青年》杂志(从八卷一号开始)改为党的公开刊物；同年11月，又创办了《共产党》月刊，在全国主要城市秘密发行，这是中国共产党历史上第一个党刊。新青年出版社还翻译出版了《共产党宣言》、《国家与革命》等马克思列宁主义经典著作，以及多种宣传马克思主义的通俗小册子。各地共产主义小组又创办了一批面向工人的通俗刊物，在上海有《劳动界》，北京有《劳动音》和《工人月刊》，济南有《济南劳动月刊》，广州有《劳动者》等，对工人进行阶级意识的启蒙教育。在此基础上，各地共产主义小组积极深入工人群众，举办工人夜校，建立工会组织。各地还建立了社会主义青年团，发展了一批团员，青年团成为党的有力助手和后备军。
　　1921年3月，在俄共远东局和共产国际的建议和支持下，召开了各共产主义小组的代表会议，发表了关于党的宗旨和原则的宣言，并制定了临时性的纲领，确立了党的工作机构和工作计划，表明了党组织对社会主义青年团、工会、行会、文化教育团体和军队的态度。这次会议为党的成立作了必要的准备。维经斯基回国不久，1921年6月，共产国际派马林等到上海。他们建议召开党的全国代表大会，正式成立中国共产党。上海党的发起组在李达的主持下进行了全国代表大会的筹备工作，并向各地党的组织写信发出通知，要求各地选派两名代表出席大会。来自北京、汉口、广州、长沙、济南和日本的各地代表7月23日全部到达上海。
　　1921年7月23日—31日，在上海召开了中国共产党的第一次全国代表大会。这次大会，宣告了中国共产党的成立。