Το όνομα του Κέλσου συνδέεται άρρηκτα με την πιο καλά διατηρημένη βιβλιοθήκη της αρχαιότητας, που οικοδομήθηκε στην Έφεσο προς τιμήν του από τον γιο του Τιβέριο Ιούλιο Ακύλα Πολεμιανό (Groag, Cel.) Ο Κέλσος και η οικογένειά του ήταν ελληνικής καταγωγής, είχαν αποκτήσει το προνόμιο του Ρωμαίου πολίτη και είχαν ανέλθει στην κορυφή της ρωμαϊκής αριστοκρατίας. Προτού ακόμη περατωθεί η ανοικοδόμηση της βιβλιοθήκης φαίνεται ότι απεβίωσε ο Ακύλας, αφήνοντας όμως με τη διαθήκη του ένα κληροδότημα 25.000 δηναρίων, από τους τόκους των οποίων έπρεπε να πληρώνονται οι μισθοί του προσωπικού, να αγοράζονται βιβλία και να στεφανώνονται τα αγάλματα των μελών της οικογένειάς του κατά τις εορταστικές επετείους.

Η βιβλιοθήκη κατά τη δεκαετία του 1970 ανακατασκευάστηκε με τη χρησιμοποίηση του πρωταρχικού οικοδομικού υλικού. Βρέθηκαν μάλιστα και τα τέσσερα αγάλματα που κοσμούσαν τις κόγχες της πρόσοψης: η φρόνηση («Σοφία»), η αξιοσύνη («Αρετή»), η γνώση («Επιστήμη») και η σωφροσύνη («Έννοια»). Στο εσωτερικό της βιβλιοθήκης, σε μία κρύπτη, και στην πίσω πλευρά του τοίχου, βρέθηκε μια μεγάλη σαρκοφάγος του Κέλσου, γεγονός ιδιαίτερα σπάνιο (Cagnat, Bib., 6-10 · Βιβλ. ΙΙ, 237-241).