ຊິບ inference ຮູບແບບຂະຫນາດໃຫຍ່ Groq ມີການປະຕິບັດທີ່ດີເລີດແລະບໍລິໂພກພະລັງງານພຽງແຕ່ຫນຶ່ງສ່ວນສິບຂອງ NVIDIA GPU.

2024-12-26 18:39
 48
ຊິບ inference ຮູບແບບຂະຫນາດໃຫຍ່ຂອງ Groq ສະເຫນີການແກ້ໄຂ LPU (Language Processing Unit) ເປັນຄັ້ງທໍາອິດໃນໂລກ, ເຊິ່ງເປັນຊິບ Tensor Streaming Processor (TSP) ໂດຍອີງໃສ່ສະຖາປັດຕະຍະກໍາ TSA. ເຖິງແມ່ນວ່າ LPU ຂອງ Groq ບໍ່ໄດ້ໃຊ້ເທກໂນໂລຍີຂະບວນການຕັດແຂບທີ່ມີລາຄາແພງ, ແຕ່ເລືອກຂະບວນການ 14nm, ການປະຕິບັດຂອງມັນຍັງດີເລີດ, ໃຫ້ພະລັງງານຄອມພິວເຕີ້ສູງເຖິງ 1000 TOPS, ແລະປະສິດທິພາບຂອງມັນຢູ່ໃນບາງຮຸ່ນການຮຽນຮູ້ເຄື່ອງຈັກແມ່ນດີກ່ວາ GPUs ທໍາມະດາແລະ. TPU ໄດ້ຮັບການປັບປຸງ 10 ຫາ 100 ເທື່ອ. ນອກຈາກນັ້ນ, ການບໍລິໂພກພະລັງງານຂອງຊິບ Groq LPU ແມ່ນພຽງແຕ່ຫນຶ່ງສ່ວນສິບຂອງ Nvidia GPUs.