A finales del siglo XVI, en Italia, apareció un instrumento conocido como mandola, precursor de la mandolina. El término «mandopico», nombre italiano del instrumento, se cita por primera vez en 1563, refiriéndose a una variante de la mandola de menor tamaño. Durante el siglo XVII se fabricaron mandolinas en Italia. En el Museo Stradivariano de Cremona se conservan los planos de construcción de varias mandolinas, con anotaciones a mano del propio Antonio Stradivari, el famoso constructor de violines.

Desde finales del siglo XVII muchos grandes compositores comienzan a utilizar la mandolina en sus obras. Es el caso de Antonio Vivaldi (1678-1741), quien compuso obras para mandolina y orquesta (como el Concierto para mandolina), Wolfgang Amadeus Mozart (1756-1791), que la utilizó en su ópera Don Giovanni, Ludwig van Beethoven (1770-1827) y Niccolò Paganini (1782-1840).

Actualmente la mandolina está muy extendida en la música folk británica e irlandesa, en la música country y bluegrass de Estados Unidos, y en el choro y el samba brasileños. También se encuentra en algunos conjuntos de música tradicional portuguesa, mientras que en España ha sido desplazada por la bandurria y no es frecuente su uso en la música tradicional (salvo en Galicia y Canarias). En México es usada en conjuntos estudiantiles, llamados tunas o estudiantinas (imitación de las surgidas en las universidades europeas en el pasado), a la par de la bandurria y el laúd. Los indígenas purépechas los usan en su conjuntos tradicionales, junto a las guitarras, las vihuelas y los violines; también es muy socorrido su uso en coros juveniles parroquiales. Se encuentra también en los conjuntos folclóricos de algunos países latinoamericanos, sobre todo de Bolivia, Chile, Colombia, Ecuador, Perú y Venezuela.