1923年8月，玛格丽特·哈里森从纽约出发前往君士坦丁堡44岁的她5个月前刚刚从俄罗斯回来，她在俄罗斯因涉嫌间谍活动第二次被监禁。哈里森是一个十几岁男孩的丧偶母亲，她原以为自己最终会在纽约安顿下来，但她对这个世界有一种好奇心，这种好奇心无法满足她富裕家庭所设想的家庭生活。这位前战地记者和美国间谍很快加入了一个小型探险队，计划拍摄巴赫蒂亚里(Bakhtiari)游牧民族在政治不稳定的前奥斯曼帝国的漫长迁徙。在接下来的一年里，哈里森主要骑着马，徒步穿越了今天的土耳其、叙利亚、伊拉克、沙特阿拉伯和伊朗，观察了一种西方人很少见过的文化。然而，当她在1924年回到纽约时，报纸并不想听到这位“女探险家”对人种学的见解。

“记者们想知道我是否迷恋上了酋长!”哈里森说。

1925年初一个大风的冬日，在纽约上西区的一间公寓里，四位女士聚在一起喝茶，她们都有哈里森的抱怨:在一个家庭主妇的时代，她们都是探险家。

在过去的几十年里，这三位女性——哈里森、布莱尔·奈尔斯、格特鲁德·谢尔比和格特鲁德·爱默生——总共在五大洲旅行了数十万英里。他们会说近十几种语言。奈尔斯是一位旅行作家和小说家，曾乘牛车游历哥伦比亚;谢尔比是一位经济地理学家，她曾独自生活在南美洲“荒野海岸”的一个小村庄里——该地区包括今天的苏里南——研究当地居民的民间传说;爱默生是三人中最年轻的，年仅34岁。他是一名编辑，也是一名崭露头角的活动人士，曾在1921年与圣雄甘地(Mahatma Gandhi)一起旅行并采访过他。像哈里森一样，他们都写了大量关于他们在工作中遇到的文化、地理和经济的文章，但他们的贡献没有得到公众的重视，他们认为这位女性探险家只是一个新鲜事物。

更让女性感到难堪的是，她们没有得到男性同行的认可，而男性同行则是在探险者俱乐部(Explorers Club)与她们亲密无间。这个卓越的组织成立于1905年，其会员资格明确保留给“从事探险或对世界地理知识有所贡献的人”。哈里森目睹了拍摄巴赫蒂亚里家族的探险队成员被欢迎进入俱乐部。

那天，这四个女人在谢尔比的公寓里见面，那里离探险家俱乐部只有几个街区远，这是她们第一次被奈尔斯称为“义愤填膺的会面”。但在喝茶的时候，这些妇女的愤怒变成了决心，然后做出了一个决定:她们将建立自己的组织——女性地理学家协会。它以新兴的学术学科命名，同样具有排他性。哈里森在给探险家哈丽特·查尔默斯·亚当斯(Harriet Chalmers Adams)的信中写道，该协会的成员“只有真正做过事情的女性”。哈丽特·查尔默斯·亚当斯后来成为该协会的第一任主席。

1932年2月，女性地理学家协会在纽约的美国自然历史博物馆举办了第一次晚宴。这是一场优雅的活动，报纸报道说，宾客名单上都是一些著名的女性探险家，包括乔治·帕尔默·普特南夫人——今天更广为人知的名字是阿米莉亚·埃尔哈特——和伊丽莎白·迪基，她带来了一个南美印第安人的木乃伊头。(“如果其他女性探险家感到害怕，她们会掩饰自己的颤抖，”《纽约时报》写道纽约时报记者。“一个男记者吞下了一个橄榄核。”)

探险家俱乐部主席罗伊·查普曼·安德鲁斯也被邀请参加庆祝活动，但他没有出席。这次邀请并不友好。协会希望这位著名的冒险家为他最近对巴纳德学院的女学生所做的一次演讲作出回答。“女性不适应探索，”他告诉学生们。安德鲁请求另一个约会，给协会写了一封信，在宴会上大声朗读。他对该协会的女性成员大加赞赏——“我想起了许多女性在这个领域做出杰出工作的案例，我对她们的成就非常钦佩”——但他清楚地说明了为什么女性探险家需要女性地理学家协会的支持。“然而，我认为你会同意我的看法，即一两个女人不适合在一个大的(远征)男人。”事实上，直到将近50年后，探险家俱乐部才放弃了这一观点;该组织于1981年首次接纳女性。

该协会在过去的几十年里不断发展壮大，吸纳了环境学家雷切尔·卡森、文化人类学家玛格丽特·米德和灵长类动物学家简·古道尔等著名女性。

在该组织成立50周年之际，也就是至今仍很活跃格特鲁德·爱默生·森(Gertrude Emerson Sen)是最后一位在世的创始人，他给会员们写了一封信:“我对你们的文章、书籍和出版的讲座留下了深刻的印象，并为与你们有联系而感到谦卑的自豪。”在天堂，在地球，在海洋，在海洋之下，没有一个地方是你们中的某个人没有进入过的，”她在喜马拉雅山的家中写道。“然而，我有时会想，如果你今天去北极或南极或任何其他偏远地区旅行，当你可以在几个小时内飞到那里时，是否会像我们过去那样迷人，当我们乘坐缓慢的货运船或骆驼，或骑马或步行旅行时。”