A la fi del segle XVI, a Itàlia, va aparéixer un instrument conegut com mandola, precursor de la mandolina. El terme «mandopico», nom italià de l’instrument, se cita per primera vegada en 1563, referint-se a una variant de la mandola de menor grandària. Durant el segle XVII es van fabricar mandolines a Itàlia. En el Museu Stradivariano de Cremona es conserven els plans de construcció de diverses mandolines, amb anotacions a mà del mateix Antonio Stradivari, el famós constructor de violins.

Des de finals del segle XVII molts grans compositors comencen a utilitzar la mandolina en les seues obres. És el cas d’Antonio Vivaldi (1678-1741), qui va compondre obres per a mandolina i orquestra (com el Concert per a mandolina), Wolfgang Amadeus Mozart (1756-1791), que la va utilitzar en la seua òpera Don Giovanni, Ludwig van Beethoven (1770-1827) i Niccolò Paganini (1782-1840).

Actualment la mandolina està molt estesa en la música folk britànica i irlandesa, en la música country i bluegrass dels Estats Units, i en el choro i el samba brasilers. També es troba en alguns conjunts de música tradicional portuguesa, mentre que a Espanya ha sigut desplaçada per la bandurria i no és freqüent el seu ús en la música tradicional (excepte a Galícia i Canàries). A Mèxic és usada en conjunts estudiantils, anomenats estudiantines o estudiantinas (imitació de les sorgides en les universitats europees en el passat), a l’una de la bandurria i el llaüt. Els indígenes purépechas els usen en el seu conjunts tradicionals, al costat de les guitarres, les vihuelas i els violins; també és molt socorregut el seu ús en cors juvenils parroquials. Es troba també en els conjunts folklòrics d’alguns països llatinoamericans, sobretot de Bolívia, Xile, Colòmbia, l’Equador, el Perú i Veneçuela.