เครื่องมือ CLI สำหรับ Google Book Scraper: เพื่อรวบรวมตัวอย่าง Google Books เป็น PDF
Google Book Scraper ซึ่งสร้างโดย shloop ช่วยอัตโนมัติในการเก็บหน้าตัวอย่างจาก Google Books สำหรับการอ่านและการวิจัยแบบออฟไลน์ เครื่องมือนี้ทำงานเป็นสคริปต์ในบรรทัดคำสั่งที่ดึงภาพหน้าต่างๆ และประกอบเข้าด้วยกันเป็น PDF เดียว มันเน้นการทำงานที่เรียบง่ายและสามารถเขียนสคริปต์ได้ โดยมีการประมวลผลตามลำดับและการแปลงภาพเป็น PDF นักวิจัย นักเรียน และนักอนุรักษ์ที่มีความสะดวกสบายกับการเขียนสคริปต์พื้นฐานจะได้รับการเก็บรักษาเนื้อหาตัวอย่างที่มองเห็นได้อย่างรวดเร็วและซ้ำได้สำหรับการศึกษาและการอ้างอิง.
สิ่งที่ scraper ทำและวิธีการทำงาน
scraper เป็นเครื่องมือที่ใช้คำสั่งใน Python ที่ดึงภาพหน้าจาก Google Books previewer และแปลงเป็น PDF หนึ่งไฟล์ โดยใช้ไลบรารีเช่น requests สำหรับการดึงข้อมูลและ img2pdf สำหรับการแปลง มันมุ่งเป้าไปที่ชื่อเรื่องแต่ละชื่อโดยใช้ Book ID และประมวลผลหน้าตามลำดับเพื่อให้หน้าที่ส่งออกยังคงอยู่ในลำดับที่ถูกต้อง โค้ดเบสเป็นแบบโอเพนซอร์ส ดังนั้นผู้ใช้สามารถตรวจสอบสคริปต์ที่ทำการดาวน์โหลดและขั้นตอนการรวมได้
เนื่องจากเครื่องมือทำงานภายใต้ Python interpreter โดยไม่มีอินเทอร์เฟซกราฟิก โปรไฟล์ทรัพยากรของมันจึงตรงกับการดำเนินการสคริปต์มากกว่าการใช้งานแอปพลิเคชันเต็มรูปแบบ กิจกรรมเครือข่ายเกิดขึ้นในขณะที่ดาวน์โหลดภาพ และกิจกรรม CPU และดิสก์ในท้องถิ่นจะมุ่งเน้นในระหว่างขั้นตอนการแปลงภาพเป็น PDF การประมวลผลตามลำดับหลีกเลี่ยงการดาวน์โหลดพร้อมกัน ซึ่งช่วยลดการกระโดดของ CPU และเครือข่ายแบบขนาน แต่ทำให้เวลารวมในการทำงานสำหรับการแสดงตัวอย่างขนาดใหญ่ยาวนานขึ้น