В 1620 году на острове, на берегу длинного узкого морского залива, получившего название Троицкая губа, был основан Свято-Троицкий скит.
Слава о его духовных подвигах распространилась далеко за пределами Поморья, и к подвижнику стали стекаться люди, ищущие уединения. Так был основан скит.
В первые годы существования скита преподобный Елеазар был только духовным руководителем братии, но в 1624 году ему пришлось взять на себя и бремя управления скитом. Он лично составил правила иноческой жизни для насельников, ориентируясь на древние образцы монашеских наставлений. Особое внимание в уставе уделялось правилам для молодых монахов и их отношениям с опытными старцами-наставниками. Изначально насельники скита жили каждый в отдельной келье, построенной своими руками, на расстоянии примерно одной версты друг от друга, трудились и собирались вместе для общей молитвы сначала раз, затем два раза в неделю, а с 1646 года – ежедневно.
Около 1636 года в Троицкий скит пришел священник Никита Минов, будущий патриарх Никон, и принял здесь монашеский постриг. Он провел на Анзере около трех лет.
Преподобный Елеазар преставился 13 января 1656 года и был погребен к востоку от алтаря Троицкой церкви. Впоследствии рядом с ним были погребены два его любимых ученика Никодим и Никифор. В 1757 году состоялось открытие мощей преподобного Елеазара.
До нашего времени не дошли древние постройки скита, за исключением частично сохранившейся трапезной XVII века. Существующая каменная Троицкая церковь с приделом во имя преподобного Михаила Малеина, третья по счету, сооружена в 1880—1884 годах. Она примыкает к двухэтажному келейному корпусу, построенному в 1803 году. Из деревянных построек сохранились бревенчатый двухэтажный дом для трудников, скотный двор, конюшни, амбары.