Cloudflare menambahkan integrasi antara Browser Run dan Cloudflare Queues untuk pekerjaan crawl. Mulai 25 September 2026, job crawl dapat menerbitkan event lifecycle ke queue ketika proses dimulai, memperbarui status URL, dan selesai.
Perubahan ini tidak mengubah cara endpoint crawl mengambil isi situs. Browser Run tetap menerima URL awal, mengikuti sitemap atau tautan halaman sesuai konfigurasi, lalu mengembalikan hasil dalam format seperti HTML, Markdown, atau JSON. Yang berubah adalah cara aplikasi menerima kabar tentang kemajuan job tersebut.
Sebelumnya, pengembang yang ingin membangun pipeline di atas crawl asinkron perlu memeriksa endpoint status secara berkala. Pola polling itu sederhana, tetapi kurang efisien ketika banyak job berjalan bersamaan. Aplikasi harus menjaga timer, mengulang request, dan menebak kapan sebuah job sudah cukup dekat dengan status akhir untuk diambil hasilnya.
Dengan event subscription, status dapat dikirim ke Cloudflare Queues. Cloudflare menyediakan tiga jenis event: `crawl.started`, `crawl.updated`, dan `crawl.finished`. Subscription dibuat pada level akun menggunakan Wrangler, misalnya dengan perintah `npx wrangler queues subscription create <QUEUE_NAME> --source browserRun --events crawl.started,crawl.updated,crawl.finished`.
Event pertama memberi tahu bahwa sebuah pekerjaan dimulai. Payload-nya menyertakan job ID dan konfigurasi crawl, termasuk URL, batas jumlah halaman, kedalaman, pilihan render, format keluaran, serta sumber penemuan URL. Event pembaruan dikirim ketika status sebuah URL berubah. Contohnya, aplikasi dapat menerima informasi bahwa URL tertentu selesai diproses atau menghasilkan status HTTP tertentu.
Event terakhir menandai penyelesaian job. Data yang tersedia mencakup status job, waktu mulai dan selesai, jumlah total URL, berapa yang selesai, berapa yang error, dan berapa yang dilewati. Event ini tidak membawa seluruh isi halaman hasil crawl. Setelah menerima `crawl.finished`, worker tetap perlu mengambil hasil lengkap menggunakan job ID melalui endpoint crawl.
Di sinilah integrasi Queues menjadi berguna. Queue dapat menjadi lapisan penghubung antara proses pengambilan dan pekerjaan setelahnya. Sebuah consumer bisa menunggu event selesai, mengambil hasil crawl, mengubah Markdown menjadi dokumen pencarian, menyimpan metadata ke basis data, atau meneruskan halaman tertentu ke proses analisis. Pekerjaan lanjutan tidak perlu menempel pada request awal atau menjalankan polling dari aplikasi utama.
Browser Run sendiri adalah nama baru untuk Browser Rendering, layanan Cloudflare untuk menjalankan browser headless di jaringan globalnya. Produk ini mendukung beberapa jalur integrasi: Quick Actions untuk tugas satu kali, binding browser untuk kontrol lewat kode, serta Playwright, Puppeteer, CDP, dan Stagehand untuk otomasi yang lebih kompleks. Endpoint crawl ditujukan untuk pekerjaan lintas halaman dan berjalan secara asinkron.
Cloudflare juga memberi beberapa batasan yang penting untuk desain pipeline. Job crawl dapat berjalan sampai tujuh hari dan hasilnya tersedia selama 14 hari setelah selesai. Endpoint tersebut dapat mengikuti sitemap, tautan halaman, atau keduanya. Ia juga menghormati robots.txt, crawl-delay, dan Content Signals, sehingga aplikasi tetap harus menyatakan tujuan penggunaan konten ketika memulai crawl.
Event subscription tidak menggantikan pemeriksaan hasil. Event hanya memberi sinyal lifecycle dan status, bukan konten halaman. Sistem yang membutuhkan data aktual harus tetap menangani pagination, status URL yang gagal, dan kemungkinan job berakhir dengan error atau dibatalkan karena batas akun. Queue juga perlu dirancang agar consumer aman terhadap pengulangan pesan dan kegagalan sementara.
Bagi pengembang, nilai utama pembaruan ini ada pada pemisahan kerja. Browser Run menangani navigasi dan pengambilan konten, Queues menahan sinyal perubahan, dan worker consumer mengurus pekerjaan yang lebih berat setelahnya. Arsitektur seperti ini lebih masuk akal untuk pemantauan dokumentasi, basis pengetahuan, indeks pencarian, atau pipeline riset yang berjalan berkala.
Cloudflare tidak menyebut integrasi ini sebagai pengganti semua kebutuhan orkestrasi. Namun, dengan event `started`, `updated`, dan `finished`, pengembang mendapat titik kait yang lebih jelas untuk menghubungkan crawl asinkron dengan sistem lain. Perbaikan kecil ini membuat Browser Run lebih mudah dipakai sebagai komponen pipeline, bukan sekadar API untuk mengambil halaman satu per satu.
Sumber utama: https://developers.cloudflare.com/changelog/product/browser-run/ Sumber teknis: https://developers.cloudflare.com/queues/event-subscriptions/events-schemas/ Konteks produk: https://developers.cloudflare.com/browser-run/ Dokumentasi crawl: https://developers.cloudflare.com/browser-run/quick-actions/crawl-endpoint/