השימוש המתועד הראשון בנייר זכוכית הוא מ
המאה ה-13 בסין, אז הוצמדו שברי צדפים, זרעים וחול באמצעות דבק טבעי למטרות שפשוף והסרת חומר. חומרים נוספים מהם יוּצרו ניירות זכוכית הם עורות כרישים, מאובנים חיים של דגים מסוימים (מתועד אצל ילידים מקומורו), וצמח השבטבט הגס לאחר בישולו וייבושו (בשימוש מסורתי בקרב היפנים). הוא נקרא בשם "נייר זכוכית" משום שלעתים קרובות יוּצר משברי זכוכית קטנים, שקצוותיהם החדים מאפשרים שפשוף וחיתוך יעיל, בעוד חול הוא רך יותר ופחות יעיל בשפשוף גס של חומרים; כיום חלק מניירות הזכוכית לא מיוצרים כלל מזכוכית. במקרים רבים החומר בו משתמשים הוא צורן קרביד, מוכר גם כ"קרבורונדום" (Carborundum). לליטוש משטחים מחומר קשה במיוחד, משתמשים ברסיסי יהלום.