Pagrindinis skirtumas tarp organinių ir neorganinių medžiagų yra tas, kad visose organinėse medžiagose esama anglies yra pagrindinė sudedamoji dalis, o neorganinėse medžiagose gali būti arba nėra anglies.
Dažniausiai organinėse medžiagose yra anglies, vandenilio ir kartais deguonies kartu su CH jungtimis. Tačiau daugumoje neorganinių junginių nėra anglies, išskyrus kai kurias medžiagas, tokias kaip karbonatai ir cianidai, kurie dėl istorinių priežasčių priskiriami neorganiniams (ankstesni mokslininkai šiuos junginius įvardijo kaip neorganinius). Todėl pagrindinis skirtumas tarp organinių ir neorganinių medžiagų priklauso nuo cheminės medžiagos sudėties.