Datadog, Inc. (NASDAQ: DDOG) meyakini bahwa perusahaan membutuhkan visibilitas yang lebih baik terhadap infrastruktur AI mereka untuk memastikan pertumbuhan investasi dalam AI benar-benar menghasilkan performa yang dapat diandalkan serta menghasilkan nilai bisnis nyata. Beban kerja AI mencakup GPU (graphics processing units), infrastruktur cloud, jaringan, model, hingga aplikasi yang masing-masing menghasilkan data performa dan konsumsi data yang berbeda.
Kebutuhan akan visibilitas ini menjadi semakin penting seiring langkah Indonesia yang terus mengarah pada infrastruktur AI berskala besar. Pada Agustus lalu, diumumkan rencana pembangunan AI Factory di Indonesia yang diproyeksikan mencapai kapasitas hingga 1 gigawatt (GW) dalam waktu tiga tahun. Pada skala ini, infrastruktur AI tidak lagi sekadar menambah server atau memperluas pusat data secara terpisah. Komputasi, jaringan, daya, hingga sistem pendingin (cooling) kini direncanakan sebagai suatu kesatuan sistem terintegrasi yang dirancang untuk menopang beban kerja AI secara berkelanjutan.
Baca Juga: Membedah Strategi Bisnis CLEO untuk Kejar Pertumbuhan Double Digit di Tahun 2026
"Skala infrastruktur AI berkembang pesat, tetapi kapasitas komputasi yang lebih besar tidak serta-merta menghasilkan hasil bisnis yang lebih baik. Saat organisasi mulai menjalankan AI ke tahap produksi, mereka perlu memahami bagaimana kinerja lingkungan tersebut, dimana sumber daya yang dikonsumsi, serta dimana potensi hambatan dapat bermunculan. Tanpa visibilitas tersebut, sulit menentukan apakah suatu masalah berasal dari model, aplikasi, infrastruktur, atau keterbatasan kapasitas yang tersedia. Situasinya mengelola jalanan yang padat tanpa tahu di mana titik kemacetan mulai menumpuk. Visibilitas operasional harus berkembang sejalan dengan adopsi AI," ujar Yadi Narayana, Field CTO Asia-Pasik & Jepang di Datadog, di Jakarta, Jumat (16/10/2026).
Laporan State of AI Engineering 2026 dari Datadog, yang didasarkan pada data penggunaan aktual dari ribuan organisasi yang menjalankan AI di tahap produksi, menemukan bahwa hampir satu dari 20 permintaan AI mengalami kegagalan begitu aplikasi mencapai tahap produksi secara global. Hampir 60% dari kegagalan tersebut berkaitan dengan batasan kapasitas, rate limits, kuota, serta batas konkurensi, bukan karena kualitas model.
Laporan tersebut juga menemukan bahwa rata-rata volume data yang dikirim ke model AI dalam setiap permintaan melonjak lebih dari dua kali lipat selama setahun terakhir pada organisasi dengan tingkat penggunaan biasa, sementara penggunaan di kalangan pengguna tertinggi meningkat hingga empat kali lipat. Pertumbuhan volume data ini dapat meningkatkan biaya sekaligus kompleksitas operasional aplikasi AI di tahap produksi.
Efisiensi Menjadi Faktor Penting dalam Ekonomi AI
Bagi perusahaan di Indonesia dan Asia Tenggara, pertimbangan ini menjadi sangat relevan seiring dengan semakin cepatnya adopsi AI. Biaya infrastruktur, performa, dan keandalan akan semakin memengaruhi apakah investasi AI dapat beralih dari eksperimen yang menjanjikan menjadi aplikasi bisnis yang berkelanjutan. Dengan biaya komputasi yang sering kali menggunakan mata uang dolar AS sementara pendapatan dihasilkan dalam matauang lokal, peningkatan esiensi infrastruktur juga dapat berdampak langsung pada nilai ekonomi dari penerapan AI.
"Fase berikutnya dari infrastruktur AI tidak hanya akan ditentukan oleh seberapa besar kapasitas komputasi yang tersedia, melainkan seberapa efektif organisasi dapat mengoperasikan dan mengoptimalkan lingkungan yang berjalan di atasnya," ujar Yadi. "Saat skala beban kerja AI semakin membesar, organisasi yang membangun visibilitas di seluruh infrastruktur dan aplikasi mereka sejak dini akan berada pada posisi yang lebih baik untuk mengendalikan biaya, menjaga performa, serta menangani masalah sebelum berdampak kritis bagi bisnis. Observabilitas kini menjadi bagian pondasi yang semakin penting untuk adopsi AI yang berkelanjutan."
Seiring bertambahnya infrastruktur AI skala besar, keberhasilan investasi tidak hanya akan ditentukan oleh kapasitas kapasitas komputasi yang tersedia. Seberapa efektif kapasitas tersebut dimanfaatkan, bagaimana infrastruktur dan aplikasi berkinerja di bawah beban kerja yang berkelanjutan, serta bagaimana organisasi mengelola pertumbuhan biaya dan kompleksitas AI akan menentukan apakah gelombang investasi berikutnya mampu menghasilkan nilai bisnis yang berdampak panjang.
Bagi Indonesia, yang kini terus memperluas pembangunan infrastruktur AI berskala regional, hal ini akan sangat krusial untuk memastikan investasi kapasitas komputasi mampu menghasilkan layanan AI yang dapat diandalkan, efisien, serta berkelanjutan bagi dunia usaha dan masyarakat.
