导致脑损伤的因素很多，但大致可分成两类——感染和环境伤害。
1)感染。能够导致弱智的感染既可能发生在怀孕的母亲身上，也可能发生在出生后不久的婴儿乃致幼儿身上。母亲如患风疹，梅毒和单纯性疱疹，使可能通过感染造成孩子弱智。在母亲怀孕的前三个月，风疹的威胁最大。而梅毒，单纯性疱疹等性病则在母亲怀孕的后期构成较大威胁。
脑膜炎和脑炎是影响儿童智力发育的两种感染。脑膜炎属于脑膜感染，可以由多种细菌或病毒引起。脑炎是一种大脑炎症，它引起弱智的情况更普遍，对智力发育的影响程度也更深．脑炎可能会立即导致弱智，其影响也可能在若干年之后才会显现出来。
感染以及其他因素还可能造成小头畸形或脑积水。小头畸形的特征是患儿的头部很小，前额倾斜。它由风疹之类的感染或遗传异常引起，导致的结果往往是重度和极度弱智。脑积水是由脑脊髓液在脑内或脑外聚积而造成。脑脊髓液循环受阻会使脑压过高和颅骨增大，其病因多种多样，包括脑炎，脑膜炎，脊柱畸形和肿瘤等。由此引起的弱智程度取决于诊断和治疗时间的早晚。治疗方法是通过外科手术将一根导管插入耳后或颈部的静脉中，从脑内抽出多余的液体。
2)环境伤害。可能产生弱智的环境伤害包括头部遭击打、中毒、辐射、营养不良、婴儿早产或晚产、产伤等等。虽然我们将在《程度较重的弱智》一节里探讨这些潜在起因，但是有明显证据表明，这些致病因素如果程度较轻，可能只会造成轻度弱智。
孩子头部受到撞击显然可能引起弱智。除汽车事故等会导致脑损伤外，虐待儿童正被越来越多地引证为造成弱智的脑损伤的原因。
导致弱智的中毒可能发生在怀孕的母亲身上，也可能发生在孩子身上。目前，我们对各种有害物质的影响已经有了进一步了解，其中既包括显而易见的毒剂，如海洛因，含铅油漆等，也包括那些潜在的“有毒物质”，如烟草、酒精、咖啡因以及食品添加剂等。尽管新闻媒介有时夸大了上述潜在有毒物质可能造成的危害，但越来越多的证据表明，如果怀孕的母亲大量摄入尼古丁、酒精和食品添加剂，的确会对未出生孩子的行为能力发展造成影响。胎儿酒精综合征尤其被认为是危害怀孕母亲和胎儿健康的严重问题。麻醉品已被证明对胎儿发育有不良影响。还有研究表明，分娩过程中服用镇痛药物往往在婴儿身上造成行为差异。
关于辐射对胎儿的危害，人们早已有所认识，所以，除非迫不得已，医生绝不让孕妇接受X射线检查。
孕妇营养不良和要儿出生后长期饮食不当都有可能造成弱智。有证据表明，严重的营养不良会导致大脑发育异常，从而产生弱智。
怀孕期异常——过短或过长，也有可能导致弱智。当然，晚产并不一定就会造成弱智，尽管胎儿在母体中时间过长有可能营养不良。伯奇和古索1970年就婴儿早产可能产的影响作了如下总结：“在损伤神经系统的各种情况中，最明显的莫过于让无法独立生存的孩子过早来到这个世界上。”
如果胎儿在母亲子宫中胎位不正，出生时也有可能造成脑损伤。另外，有时难产也会产生缺氧症而损伤大脑。
