Ларри Эллисон родился в Бронксе, штат Нью-Йорк. В девять месяцев он заболел пневмонией, и его незамужняя 19-летняя мать отдала Ларри на воспитание своим тете с дядей. Детство Лари проходило в двухкомнатной квартире в южной части Чикаго. До 12 лет он не знал, что является приемным ребёнком Лиллиан и Луиса Эллисонов. Во время Великой Депрессии его приемный отец Луис потерял свой бизнес в сфере недвижимости и стал занимать должность аудитора с небольшим доходом. В подростковом возрасте Ларри был достаточно независимым, самостоятельным, с непростым характером, что часто приводило к стычкам с приемным отцом. Ларри проявлял высокие способности в науке и особенно в математике и в Университете Иллинойза был назван студентом года.
Во время выпускных экзаменов умерла приёмная мать Ларри, и он бросил Университет.

После этого он поступил в Университет в Чикаго, но, проучившись всего семестр, вылетел и оттуда. Его приёмный отец окончательно разочаровался в Ларри, он был убежден, что Ларри уже никогда не будет ничего делать для собственного развития. Но в это время Эллисон изучил зачатки компьютерного программирования в Чикаго и стал подрабатывать этим в Беркли, в Калифорнии, приезжаю оттуда с деньгами, хватавшими на фаст фуд и несколько баллонов газа.

В течение последующих восьми лет он часто менял работу. В частности он работал техником в Фонде Fireman (Fireman's Fund), в банке Wells Fargo (Wells Fargo bank) и начал работать программистом с большими базами данных в Amtex. В Amtex он создал большую базу данных для ЦРУ, с кодовым названием Oracle.

В 1977 году Эллисон и бывший начальник Amtex Роберт Минер создали лабораторию по развитию программного обеспечения (Software Development Labs). Они поддерживали себя оказанием консультационных услуг корпоративным клиентам, пока однажды Эллисон не прочитал в газете статью «Реляционная модель данных для больших баз данных» ("A Relational Model of Data for Large Shared Data Banks") доктора Э. Кодда, которая в дальнейшем применялась компанией IBM.

Компания IBM не увидела коммерческого потенциала в SQL – структурном языке запросов (Structured Query Language), а Эллисон увидел. Эллисон и его партнеры создали программу управления базами данных, совместимую с мэйнфреймами и системами настольных компьютеров. Компания получила название Oracle и нашлись первые клиенты – военно-воздушная база Wright Patterson и Центральное Разведывательное Управление (ЦРУ). В 1980 году в Oracle работало только 8 работников, но доходы превышали 1 миллион долларов. Но на следующий год IBM стала использовать SQL для своих мэйнфреймов, и продажи Oracle стали удваиваться с каждым годом.

В 1986 году Oracle стала публичной компанией, и её первоначальная публичная оценка составляла 31,5 миллиона долларов. Но в 1990 году компания стала нести свои первые потери. Рыночная стоимость компании снизилась на 80 процентов, и казалось, что компания находится на грани банкротства. Но Эллисон предпринял стратегический шаг и сменил большинство управленческого состава на более опытных менеджеров. В это время весь менеджмент он отдал в руки профессионалов, а сам сосредоточил свои усилия на совершенствовании программного продукта. Новая версия программы управления базами данных имела твердый успех, и прибыль компании возросла до небывалых ранее размеров.

Но время успешного подъёма бизнеса Эллисон потерпел ряд личных неудач. Являясь активистом и любителем различных видов спорта и мероприятий на открытом воздухе, Элиссон перенес несколько серьёзных травм, полученных во время занятия сёрфингом и маунтинбайком. Но Ларри Эллисон перенёс операцию и продолжил участие в гонке на своей 78-футовой яхте. Эллисон является владельцем яхты, занимающей четвертое место в мире по своим размерам, оценивается в 200 миллионов долларов и длина её составляет примерно 138 метров. Элиссон также является лидером и главным владельцем гоночной команды Oracle-BMW. В рейтинге журнала Forbes за 2005 год Ларри Эллисон занимает 5-ое место среди самых богатых людей мира.