李蛰的一意孤行，一定要和两千年来根深蒂固的家族观念联系起来观察，才能使人理解。因为按照当时的习惯，他一旦回到泉州，他所需要照顾的决不能仅止于自己的家庭。他是族中有名望的人物，又做过知府，那就一定会陷入无数的邀劝纠缠之中而不可自拔。
早在二三十年前，在丧父家居的时候，李贽就已经有了这种经验。当时倭寇犯境，城市中食物奇缺。他虽然只是一个最低级的文官，也不得不接受亲族的拥戴，负起了为20多人的大家庭寻找饮食的义务。和他同时的何良俊，《四友斋丛说》的作者，就提到过他在南京为避难的亲族所包围，要求解决吃饭问题。另一位著名的散文家归有光则在信上向朋友诉苦，说他不能避难他迁。因为如果离开昆山，他必须随带“百余口”的族人同行。
这种对宗族的照顾，不是暂时性的责任，也不仅是道德上的义务，而有其深刻的社会经济和历史的背景。
我们的帝国不是一个纯粹的“关闭着的社会”，——在那样的社会里，各种职业基本上出于世代相承。——然而它所给予人们选择职业的自由仍然是不多的。一个农民家庭如果企图生活稳定并且获得社会声望，惟一的道路是读书做官。然而这条道路漫漫修远，很难只由一个人或一代人的努力就能达到目的。通常的方式是一家之内创业的祖先不断地劳作，自奉俭约，积铢累寸，首先巩固自己耕地的所有权，然后获得别人耕地的抵押权，由此而逐步上升为地主。这一过程常常需要几代的时间。经济条件初步具备，子孙就得到了受教育的机会。这其中，母亲和妻子的自我牺牲，在多数情形之下也为必不可少。所以表面看来，考场内的笔墨，可以使一代清贫立即成为显达，其实幕后的惨淡经营则历时至久。这种经过多年的奋斗而取得的荣誉，接受者只是一个人或至多几个人，但其基础则为全体家庭。因此，荣誉的获得者必须对家庭负有道义上的全部责任，保持休戚与共的集体观念。
这种集体观念还不止限于一个小家庭的范围之内。一个人读书中举而后成为官员，如果认识到他的成功和几代祖先息息相关，他就不能对他家族中其他成员的福利完全漠视。何况这种关心和帮助也不会全是无偿的支付，因为没有人能够预测自己的子孙在今后不受他们的提携。这种经济上的利害关系被抽象而升华为道德。固然，这种道德观念并不能为全体民众所奉行，从海瑞的文集中可以看到兄弟叔侄间争夺产业以至斗殴致死的事情所在多有。但这种情形正好从反面说明了教养的重要，有教养的人则决不能以利害义。
在整个社会没有为它的成员开放其他门径的时候，多数像李贽一样的人物，已经不加思考地接受了这种生活方式。如果李贽回泉州，他必定受到多少庄稼人的期望和逼迫，然而当时的李贽，已迭经生活的折磨，同时又研究过佛家和道家的思想。他在重新考虑生命的意义，重建人生观之余不能再墨守成规。也就是说，他不能把读书、做官、买田这条生活道路视为当然，也亟待摆脱由于血缘关系而产生的集体观念。
对于这样背离传统的行为，他的亲族自然不能善罢甘休。但是亲族的压力越大，他的反抗也越强烈。在给曾继泉的一封信里，李贽说到他所以落发，“则因家中闲杂人等时时望我归去，又时时不远千里来迫我，以俗事强我，故我剃发以示不归，俗事亦决然不肯与理也”。所谓闲杂人等，是他的弟兄还是叔侄；俗事，是买田还是建立宗祠宗塾，或者竟是利用势力干预词讼，虽然语焉不详，大体上当不出这些范畴。最有趣的是，他的家族不顾他的愿望，仍然指定一个侄子作为他的继承人。这件事引起的反抗方式也同样有趣，他有一封遗书，题名为《豫约》，其中就提到他的这个侄子“李四官若来，叫他匆假哭作好看，汝等亦决不可遣人报我死”。这封遗书草于1596年，上去他削发为僧已有8年。
李贽所居住的僧院坐落在麻城城外的一座山上，称为“芝佛院”。它不是正式的寺庙而仅仅是私人的佛堂，但规模却颇为宏大。院中有正殿、左右厢房，还有和尚的宿舍和客人的招待所。李贽自己居住的精舍位于全院的最后山巅之处，极目四望，水光山色尽收眼底。在芝佛院的鼎盛时期，全院有僧侣40余人，统率众僧的方文则是李贽的朋友。僧众中有人还带着徒弟、徒孙。
芝佛院始终没有向政府登记，没有领到正式执照，因之也没有向政府纳税。它不属于任何宗派，也没有董事会的管制。李贽是全院唯一的长老及信托老。其创建和维持的经费，绝大部分来自他一人向外界的捐募。他常常写信给朋友，要求得到“半俸”的援助，或者以“三品之禄，助我一年”。有的朋友，周济他的生活前后达20年。他过去没有经历过富裕的生活，但在创建佛院之后，却没有再出现过穷困的迹象。
在李贽被任为姚安知府之前，他已经享有思想家的声望，受到不少文人学者的崇拜。这些崇拜者之中有人后来飞黄腾达，或任尚书侍郎，或任总督巡抚。李贽得到他们的接济，即使不算经常，但也决非绝无仅有。而且这种金钱上的关系还不是单方面的。他的朋友焦竑也是一位著名的学者，不善理财，据说穷得“家徒四壁”。当焦竑的父亲80寿辰，朋辈称觞聚会，有的竟不远千里而来。李贽是这次盛会的襄助者，他写信告诉与会的人，嘱咐他们“舟中多带柴米”。
这种方式的金钱周济和往来之不同于一般，在于授受者之间具有共同的思想，或者说共同的目的。从心理学的角度来研究，这种关系还是以道德作为施政方针的副产。因为这种施政方针的思想根据，乃是认为宇宙间的任何事物都息息相关。一个人或一种事物，其所以具有特性或功能，全靠和其他人或其他事物的相互关系。一个人的品质高尚，就因为他的志趣和行为得到别人的赞赏；他的识见深远，就因为他分析理解其他事物的正确。所以人的生活目的，就不能不是合作互助与共同享有。但是，在现实中，为什么所有的人身上都存在或多或少的自私？这个问题使读书明理之人为之不安，而高级官员由于负有治国乎天下的重任，其不安尤为严重。按理说，他们所受到的教养，都要求发扬为公众服务的精神；然而一旦接触实际，这种精神常常只是海上神山，或者干脆销声匿迹。有时他们身上的自私苟且，还远过于不识字的愚氓。这种不安，或者由此发展而来的内心交战，需要有一种适当的方式来缓解排除。志趣相投的研究讨论，可以触发彼此的灵感，深入探索人生的真谛，俾使内心的不安涣然冰释。所以他们来往密切，集会商谈之余，还互相通信，刊印文集。李贽落发为僧以后，仍然经常外出旅行，参加这些活动。在当时，还谈不上旅费必须报销，或者演讲应当收入费用，这些问题，都可以根据习惯，在往来交际之间安排妥帖。以李贽的名望，加上化缘和尚的姿态，他已经用不着再为经济问题而踌躇。
他和耿定向的辩论，促成和巩固了他要求个人自由的信念。多年之后，他仍把这次辩论视为生命中一个重要的转折点。