Jika diakumulasi, angka ini bisa mencapai sekitar 400 dolar AS per hari atau sekitar 146.000 dolar AS per tahun.
Meskipun jumlah tersebut lebih kecil dari klaim Altman soal “puluhan juta dolar”, tetap saja menunjukkan adanya beban biaya riil dari interaksi yang tampaknya sepele ini.
Baca Juga:
Instagram Rajai Daftar Aplikasi Terpopuler di Dunia, Ini 10 Besar Lainnya
Token-token ini diproses menggunakan perangkat keras berperforma tinggi seperti GPU, TPU, serta komponen lainnya yang membutuhkan daya listrik besar dan sistem pendingin yang juga menyerap energi.
Sebagai ilustrasi, pelatihan model GPT-3 membutuhkan sekitar 1.287 megawatt-jam (MWh) listrik, cukup untuk memasok kebutuhan energi 120 rumah tangga di AS selama setahun penuh, menurut laporan The Economic Times.
Lebih lanjut, laporan dari Towards Data Science pada Agustus 2024 menyebutkan bahwa pelatihan GPT-4 selama 90 hingga 100 hari menghabiskan sekitar 62.000 MWh listrik—angka yang setara dengan konsumsi energi 1.000 rumah tangga AS selama 5 hingga 6 tahun.
Baca Juga:
Siap Lawan ChatGPT, Meta AI Dikabarkan Siapkan Aplikasi Sendiri
Model GPT-4 sendiri merupakan inti dari ChatGPT dan Microsoft Copilot. Model ini dilatih menggunakan 25.000 unit GPU Nvidia A100 yang tersebar di sekitar 3.125 server.
Jika satu server diasumsikan menggunakan daya sekitar 6,5 kilowatt (kW) berdasarkan spesifikasi Nvidia DGX, maka satu server dapat menyedot hingga 14.040 hingga 15.600 KWh listrik selama periode pelatihan.
Total konsumsi listrik semua server selama pelatihan GPT-4 diperkirakan berkisar antara 43,8 juta hingga 48,7 juta KWh.
