Prva verzija SQL Servera koji ima veze sa Microsoftom (ranije je sybase proizvodio SQL server pod imenom „Sybase SQL server“) izašla je na svijetlosvjetlo dana 1989 godine pod imenom „SQL Server for OS/2 1.0“. Ta verzija bila je identična Sybase-ovom SQL serveru 3.0 koji je radio pod Unix sistemom. Microsoft SQL Server pod tim imenom se počeo prodavati 1992 godine, a puno ime mu je glasilo Microsoft SQL Server 4.2 koji se još uvijek vrtio na OS/2 platformi. Prvi SQL Server za Windows NT izašao je isto kada i sami Windows-i. U tom trenutku Sybase i Microsoft su se razišli, te je Sybase počeo razvijati svoju bazu podataka pod imenom Adaptive Server Enterprise da bi se izbjeglo zbunjivanje korisnika oko imena. Do 1994 Microsoft je svejedno morao na sada svojem sustavu nositi Sybaseovu oznaku zbog autorskih prava. Od trenutka raskida sa Sybaseom Microsoft je napravio značajne pomake u razvoju svoje baze podataka. SQL Server je prva baza podataka na svijetu koja je posjedovala korisničko sučelje. Sve baze su u tadašnje vrijeme radili pomoću „command-line“ sistema koji zna biti izrazito nezgodan i nezgrapan. Također SQL Server je prva komercijalna baza podataka koja je podržala Intelovu 64-bitnu arhitekturu procesora. Trenutno najnovija verzija SQL Servera je SQL Server 2005 koja je izdana u studenom 2005. godine.
Od SQL Servera 2000 do SQL Servera 2005 napravljeni su golemi pomaci u poboljšanju same baze podataka. Najbitniji od njih su: Klijentski dio IDE alata, SQL Server Integration Services, Reporting Server, OLAP server, podrška za data mining, Notification Services itd.
