Der har levet mennesker i Ørby så langt tilbage som oldtiden, nærmere bestemt stenalderen, der begyndte for ca. 15000 år siden. De ca. nitten oldtidsgravhøje, som har prydet landskabet ved Ørby og Vejby, fortæller om oldtidsmenneskets færden. Af Nationalmuseets registreringer fremgår det, at gravhøjene havde en diameter på op til 30 meter og en højde på omkring 5 meter. Ved udgravninger af højene har arkæologer bl.a. fundet lerkar, brændte ben og bronzesager.
I sommeren 2006 fandt arkæologer fra Gilleleje Museum spor fra omkring ti bopladser ved Ørby Gade 3. Syv af disse bopladser stammer fra henholdsvis stenalderen og jernalderen, mens de tre pladser blev anlagt i 1600- og 1700 tallet.
I 1774 bestod landsbyen af 16 gårde. Gårdene lå karakteristisk for tidens bebyggelse tæt på den slyngede landsbyvej. Landboreformerne kom i sidste halvdel af 1700-tallet til Ørby. Da jorden havde en ensartet kvalitet, skete der en stjerneudskiftning. Det betød, at gårdene blev liggende i landsbyen, og at hver gård fik tildelt et kileformet markstykke.
Ørby Baunehøj var i første halvdel af 1900-tallet et vigtigt omdrejningspunkt for folkelivet i Ørby og omegn. Gravhøjen var en nordsjællandsk festplads, der blev brugt til sommermøder, grundlovsmøder, pinsefester mv. På baunehøjens østlige del ligger Baunehulen, som var et folkeligt mødested placeret i en formodentlig gammel grusgrav. Frem til 2. Verdenskrig blev festpladsen brugt til grundlovsfester, mens der under krigen og frem til 1968 blev holdt pinsefester i Baunehulen.