Вход на территорию римской крепости Вавилон ведет между двумя массивными башнями. Среди многочисленных сооружений здесь стоит Церковь Святого Сергия (Church of St Sergius), основанная в IV-V веках и перестроенная в X-XI веках. Согласно преданию, Церковь Святого Сергия была построена над пещерой, где в течение месяца прятались Иосиф, Мария и недавно родившийся младенец Иисус, когда они бежали в Египет, спасаясь от преследования иудейского царя Ирода. В пещеру (а сейчас склеп) можно спуститься по ступеням справа от алтаря. Каждый год 1 июня здесь проходит особая служба в память о тех событиях.
Церковь представляет собой базовый тип египетско-византийской базилики раннего периода, которому до сих пор отдают предпочтение копты. Церковь имеет центральный неф с открытыми потолочными балками и меньшие боковые нефы, трансепт (хор) и галереи в боковых нефах. Боковые стороны центрального нефа состоят из двух рядов колонн, один выше другого, с килевидными арками между колоннами; галереи поддерживаются дополнительными группами из двух колонн и каменной опорной конструкцией. Мраморные колонны, заимствованные от древних зданий, использованы безотносительно к их диаметру или архитектурной форме.
Два лестничных пролета ведут вниз, в самую старую часть церкви - Склеп пятого века - маленькую сводчатую часовню с древними мраморными колоннами, отделяющими неф от проходов. В конце нефа находится алтарь, указывающий на место, где отдыхала Мария с младенцем Иисусом.
