Родители Джоли разошлись в 1976 году (развод оформлен только в 1978), и Бертран с годовалой Анджелиной и её братом переехала в Нью-Йорк. Год спустя Войт получил «Оскар» за свою роль в «Возвращении домой», а Бертран была вынуждена оставить свои мечты стать преуспевающей актрисой и посвятила своё время воспитанию детей. Она часто водила Анджелину и Джеймса в кино, чем пробудила у неё интерес к актёрству. По крайней мере, именно этим Джоли объясняла позже в прессе свой выбор в пользу кинематографа (а не успешной карьерой отца). Когда Анджелине исполнилось 11 лет, семья снова переехала в Лос-Анджелес, где Джоли два года проучилась в Театральном институте Ли Страсберга, а также в Высшей школе Беверли-Хиллз, где оказалась далеко не единственной студенткой с актёрскими амбициями, однако всегда чувствовала себя аутсайдером из-за своего нестандартного внешнего вида, привычки одеваться в одежду из секонд-хенда и худобы. Её уверенность в себе пострадала ещё сильнее после того, как все попытки стать моделью окончились неудачно. Позже Джоли признавалась, что чувствовала себя в то время сильно подавленной и несчастной, считала, что она бесполезна, и, как следствие, начала наносить себе порезы и раны на тело. Однажды в интервью телеканалу CNN она сказала следующее: «Я коллекционировала ножи и всегда имела подобные вещи вокруг себя. По каким-то причинам ритуал нанесения ран самой себе и ощущение боли от этого, возможно, ощущение самой себя живым существом, ощущение некоего освобождения были терапией для меня». В этом возрасте Анджелина носила исключительно чёрную одежду, красила волосы в красный цвет и, по собственным признаниям, ненавидела себя.

Анджелина Джоли известна также своей неприязнью к отцу, Джону Войту. Джоли всегда винила отца за измены своей жене и уход из семьи, однако, несмотря на это, попыталась восстановить отношения, пригласив Войта на съёмки в фильме «Лара Крофт – расхитительница гробниц» (2001), в котором она играла главную роль. Однако во время съёмочного процесса между ними произошло несколько ссор, после которых Джоли в принципе отказывается упоминать о нём как об отце. В середине 2002 года Джоли подала заявление в официальные органы с просьбой окончательного оформления её имени как «Анджелина Джоли», без «Войт». В тот же год Джон Войт в прессе сделал заявление о том, что его дочь имеет «серьёзные психические проблемы». В 2004 году Джоли в интервью журналу «Premiere» сказала, что не заинтересована продолжать отношения с отцом, однако до сих пор не известны причины такого её решения. Джон Войт до сих пор ни разу не встречался с детьми Анджелины, потому что она не разрешает ему этого; не был он приглашён и на семейные торжества по случаю рождения дочери Анджелины и Брэда Питта – Шайло Нувель.