1924年2月1日，孙中山任命王柏龄、李济深、沈应时、林振雄、俞飞鹏、宋荣昌、张家瑞等为军校筹备委员会委员。军校筹备委员会正式办公，推进各项具体筹备工作。其间，苏联军事顾问小组也对军校筹办给予了热情的指导与帮助。2月3日，国民党中央任命蒋介石为中国国民党本部军事委员会委员。
第一次筹备委员会议
1924年2月7日，军校筹备委员会召开第一次会议。2月8日，筹备委员会在广州市南堤设立筹备处，其下分设教授、教练、管理、军需、军医五个部门，暂定王柏龄、李济深（由邓演达代理）、林振雄、俞飞鹏、宋荣昌为各部主任，分管各部筹建。
从2月8日至5月9日，陆军军官学校筹委会前后召开了32次会议，明确了办学宗旨为“本校希望对于军队有彻底的改良进步，故拟使全国热心有志堪以造就之青年，得有研求军事学术之机会，并教以三民主义，俾养成良好有主义之军人，以为党军之下级干部”，并研究讨论了军校的各种规章制度、教练计划、教职员的甄选、学生的招考以及修建校舍等各项事宜，制订第1期的教学计划，决定全校师生必须加入国民党，选定服装和教育书籍式样、种类及购置办法等。在学校筹备委员会第七次会议上，廖仲恺受孙中山委托列席了会议，他说：“创办本党军官学校事，近日在刚刚结束的全国代表大会上获一致通过。这次大会，确定了‘联俄、联共、扶助农工’的各项政策，决议在苏俄帮助下，接受中国共产党以个人身份加入本党共同奋斗……同志们，中国共产党之加入本党，与本党携手联合奋斗，这在中国革命的历程上，是一件开天辟地的大事情，我们所期望的中国革命的高潮已经来到了。在这个高潮中，本党军官学校的筹办，将是涌于潮头的最为引人注目的一朵浪花，它将更有力、更迅速地推动这个潮头澎湃向前。”
修缮校舍
2月14日，管理部主任林振雄率士兵和工匠入驻黄埔岛，对校舍、教学场地、道路进行修缮整理，工程历时两个多月。蒋介石聘请建筑设计师郑校之（当时称“画测师”，曾担任过大元帅府参军处技师）为筹备员，带多数办事人员同往黄埔校址勘验，校内工程“概归郑校之担任”。4月17日，校舍基本修缮完毕，校园内建筑焕然一新，道路也变得平坦整洁。“以前蛇鼠丛众之墟，一变而为跃马谈兵之地，于是弹丸孤岛之黄埔，遂为本党武力发祥之地矣。”经过修缮的军校校舍“内可容学生300余名”，但是教员及办事人员，仍要到前海军学校住宿，因此黄埔军校自开学之日起，就面临校舍紧张的问题。为解决校舍问题，军校曾在大操场四周临时用芦席搭成棚子作为校舍。此后，军校还陆续在长洲岛上及广州市内建设房舍，设立分驻地。短短3年间，校舍就从扯旗山下扩展到本岛的平岗炮台、蝴蝶岗炮台、大坡地炮台，以及珠江对岸的鱼珠炮台、沙路炮台和广州北较场、陈家祠、曾家祠、四标营以及虎门等地。1927年，学校修筑大俱乐部和动工兴建东征阵亡将士墓时，黄埔岛上的校舍格局才基本定型。
开展招生工作
由于军校筹备委员会7名委员之一的李济深还负责粤军第1师和西江讲武堂事务，工作繁忙，便呈请第1师第3团团长邓演达代理负责军校筹备工作，得到孙中山的批准。随着招收、考试工作日益紧张，孙中山又任命邓演达为筹办黄埔军校入试委员会委员，“专司负责制定各种招考办法及各项具体考试事宜”。筹委会很快制定了《考选学生简章》：
一、本校为养成革命军干部军官，完成国民革命起见，特续招入伍生，施以军事预备教育。
二、入伍生期限6个月，期满后甄别及格者，升入本校为学生，修习军事学术，一年毕业。
三、投考者须于8月25日以前，持二寸半身相片3张，中学或与中学相当之学校毕业文凭，及党证或各地区党部之介绍书，分赴广州“中国国民党中央执行委员会本校驻省办事处”，上海“中国国民党上海执行部”报名（党证报名时验毕发还，文凭试毕发还）。
四、投考者之资格如下：A.年龄：18岁以上，25岁以内。B.学历：旧制中学毕业及与中学相当程度之学校毕业。C.身体：营养状态良好，强健耐劳，无眼疾、痔疾、肺病、花柳病等疾害。D.思想：中国国民党党员，能了解国民革命速须完成之必要者，或具有接受本党主义之可能性，无抵触本党主义之思想，有本党党员之介绍者。
五、试验之种类：A.学历试验：按旧制中学修了之程度出题，求笔记之答案。B.身体试验：准陆军体格检查之规定，分身长、肺量、体重、目力、听力等项。C.性格试验：用口试法，观察对于三民主义了解之程度和性质，志趣、品格、常识、能力等项之推断，及将来有无发展之希望。
六、在广州投考者，无论从何地来试，录取与否，均不发给川资；在上海、开封取录者，则给予川资来粤。
七、入队后，服装、书籍、食费、零用，概由本校供给。
八、本简章之外，关于试验手续、课目调制、成绩等，另有细则。
约在此时，何应钦向蒋介石建议：“中级以上人员，只能依赖各方举荐，经考察后，凡革命意志较坚强者，多予任用；中下级干部则需要经过选考和培训。”蒋介石表示同意。军校筹委会于23日发布《陆军军官学校采用下级干部布告》，公开招考区、分队长等教官。10日，军校筹委会确定第1期招生324名，并给各省、各军分配了招生名额：东三省、热河、察哈尔共50名；直隶、山东、山西、陕西、河南、四川、湖南、湖北、安徽、江苏、浙江、福建、广东、广西，每省12名，共168名；湘、粤、滇、豫、桂五军，各15名；本党先烈家属20名，尚余11名；另招备取生30至50名。
在军校筹备过程中，蒋介石突然于2月21日呈文辞去筹委会委员长职务。廖仲恺虽然不是军校筹备委员，但他是大本营指定筹办军校事务的负责人。第二天，廖仲恺来到筹备处，明确表示：“黄埔军校是孙中山先生亲自要办的，是党要办的，不是某个人的奇想。第一，军校肯定要办，不管蒋先生他来不来当校长，不管他个人意见如何，我们都要办。第二，你们许多同志都是蒋先生找来的，同蒋先生共事多年。君子爱人以德，你们要从大处爱他。他走了，我们照常办，照常开学，争取他能回来与我们共同工作，这才是道理。如果党要办，蒋先生不办，或因此而致军校办不成，蒋先生要开罪于全党，开罪于天下。将来，他如果又想回来参加革命，怕也很困难了。大元帅让我转告各位，现在我们不但不能因蒋先生离去，有半点懈怠，而且，各项筹备工作还须进一步加快。”2月23日，孙中山正式委派廖仲恺代理筹备委员会委员长。廖仲恺一面奉劝蒋介石复职，并派邓演达到上海劝告蒋介石，一面领导筹备工作继续进行。