Boja je važna karakteristika dragog kamenja iako ona u većini slučajeva nije glavni faktor za određivanje same vrste kamena zbog toga što se u prirodi pojavljuju pojedine vrste u više boja ili različite vrste kamena istih boja.
Sama boja je produkt svjetlosti i ovisi o frekvenciji svjetlosnog zračenja. Ljudsko oko zapaža samo "vidljivo" zračenje tj. elektromagnetske valove dužine približno 380-760 nm. Zračenje svake pojedine dužine vala daje utisak određene boje.
U slučaju dragog kamenja, razni metali i njihove kombinacije u strukturi kamena apsorbiraju izvjesne valne dužine svjetlosti i tako dolazi do raznih boja. Metali koji najviše utječu na boju su krom, željezo, kobalt, bakar, nikal i vanadij.
Kod nekih kamena (cirkon) na boju manje utječu strane substance, a više sama deformacija kristalne strukture koja rezultira selektivnim upijanjem svjetlosti i zbog toga promjenom originalne boje.
Boje nekih kamena mogu biti promjenjive izlaganjem direktnoj sunčevoj svjetlosti ili raznim postupcima grijanja na visokim temperaturama, a mogu se mjenjati i izlaganjem kamena X-zrakama.