Κατά τον Fletcher, όλοι οι δούκες του δούκας του Ντέβονσαϊρ ήταν άνθρωποι των γραμμάτων και συλλέκτες βιβλίων. Ειδικά, όμως, ο Ουίλλιαμ, o έκτος δούκας του δούκας του Ντέβονσαϊρ (1790-1858) θεωρείται ο ιδρυτής της 
Chatsworth Library. Στη σύλληψη και συγκρότηση της επηρεάστηκε από τη μητέρα του, την όμορφη Georgiana Spencer και τον θείο του George John. Στέφθηκε δούκας το 1811 και αμέσως ξεκίνησε τις απόπειρες εμπλουτισμού της βιβλιοθήκης του. Αγόρασε τo μεγαλύτερο μέρος της συλλογής του Thomas Dampier, επισκόπου του Ely, όπως και αρκετά βιβλία από πωλήσεις βιβλιοθηκών.
Το 1815 μετέφερε τα βιβλία από όλες τις άλλες οικίες του στο Chatsworth, με σκοπό να σχηματίσει μια μεγάλη βιβλιοθήκη εκεί. Έξι χρόνια μετά, αγόρασε από τον John Philip Kemble μια συλλογή θεατρικών έργων, στην οποία ξεχώριζε μια πρώτη έκδοση του Άμλετ (folio).
Μετά τον θάνατο του Ουίλλιαμ το 1858, ο διάδοχος του προχώρησε με τη σειρά του στο μεγάλωμα της συλλογής, μεταφέροντας στην Chatsworth κάποια επιλεγμένα βιβλία από τη βιβλιοθήκη στο Chiswick, μαζί με κάποια βιβλία του λόρδου Richard Cavendish.
Το 1879, ο βιβλιοθηκονόμος Sir J.P. Lacaita συνέταξε τον κατάλογο της βιβλιοθήκης σε τέσσερις τόμους· ο κατάλογος τυπώθηκε στο Chiswick Press. 
Οι πολλές και εξαιρετικές εκδόσεις από το τυπογραφείο του Άλδου Μανούτιου, που περιλαμβάνονταν σ’ αυτόν, είναι άξιες αναφοράς, όπως και διάφορες ελληνικές και λατινικές εκδόσεις των κλασσικών. Από τις Βίβλους, η λατινική Βίβλος του 1462 και ένα αντίγραφο της από περγαμηνή, το οποίο τυπώθηκε από τον Jenson το 1476, είναι πιθανόν οι πιο σημαντικές. Η συλλογή περιείχε αρκετά βιβλία από τα τυπογραφεία του Caxton και του Wynkyn de Worde, όπως και 24 τόμους από τη βιβλιοθήκη του Grolier. Τέλος, ανάμεσα στα άλλα πολύτιμα έργα της βιβλιοθήκης δούκας του Ντέβονσαϊρ ήταν και μια εντυπωσιακή συλλογή χαρακτικών και σχεδίων των παλαιών δασκάλων, με στολίδι την σειρά Liber Veritatis, που αποτελούνταν από σχέδια του Γάλλου ζωγράφου Claude Lorrain,την οποία ο Λουδοβίκος XIV μάταια προσπάθησε να αγοράσει. Μετά τον Πρώτο Παγκόσμιο Πόλεμο, πολλά έργα της Chatsworth Library εκχωρήθηκαν σε άλλες βιβλιοθήκες και ιδρύματα (Fletcher, Collectors, 364-367)