AI Crawlers serap 65% trafik Wikimedia, ancam akses publik
Lonjakan trafik AI bot membuat akses ke Wikimedia melambat dan meningkatkan biaya operasional.
Wikimedia mengalami peningkatan penggunaan bandwidth hingga 50 persen sejak Januari 2024. Namun, lonjakan ini bukan disebabkan oleh meningkatnya minat manusia dalam mengakses artikel atau multimedia Wikipedia.
AI crawlers, program otomatis yang mengunduh gambar, video, dan artikel berlisensi terbuka dari Wikimedia, menyumbang sebagian besar peningkatan trafik. Dengan bantuan konten ini, model kecerdasan buatan generatif dilatih.
Bot-bot ini dapat memperlambat akses pengguna, terutama selama peristiwa penting. Halaman Wikimedia dimuat lebih lambat karena kematian Jimmy Carter pada Desember lalu karena minat besar terhadap video debatnya dengan Ronald Reagan, seperti dilaporkan engadget (8/4).
Meskipun Wikimedia bertujuan untuk mengatasi peningkatan trafik manusia, bot scraper menciptakan masalah baru yang belum pernah terjadi sebelumnya. AI crawlers cenderung mengakses halaman-halaman lama yang jarang dikunjungi manusia.
Akibatnya, sistem harus mengambil data dari pusat data utama, yang lebih mahal dan memakan lebih banyak sumber daya. Wikimedia melaporkan bahwa 65 % trafik yang mengonsumsi sumber daya berasal dari bot.