Website-mu Gak Kelihatan di AI Search — llms.txt Solusinya

#

Orang udah gak pakai Google kayak dulu. Alih-alih ngetik kata kunci di search bar dan memindai sepuluh tautan biru, jutaan orang sekarang langsung nanya ke ChatGPT, Perplexity, atau Claude. Mesin pencari bertenaga AI ini baca kontenmu, merangkumnya, dan kasih jawaban — seringkali tanpa pengguna nge-klik ke website-mu sama sekali.

Perubahan ini mengubah segalanya soal SEO. Optimasi tradisional sasarannya pembaca manusia dan crawler Google. Tapi sekarang ada audiens ketiga: large language models (LLM) yang lagi parsing website-mu buat ngerti apa yang kamu tawarkan. Dan mereka kesulitan.

Kenapa? Karena kebanyakan website itu berantakan. Navigasi render JavaScript, pop-up, banner cookie, blok iklan, nested div, infinite scroll — semua hal yang bikin web modern “berfungsi” justru bikin noise yang ngubur konten aslimu. Search bot sih bisa ngatasi ini. LLM? Enggak.

Hadirlah llms.txt — sebuah file teks polos yang kasih AI pintu masuk yang bersih dan terstruktur ke website-mu.

Apa Sih llms.txt Itu?

#

llms.txt adalah file teks polos berformat Markdown yang ditaruh di root website:

https://domainkamu.com/llms.txt

Fungsinya sebagai ringkasan terstruktur situsmu — tujuan, bagian utama, halaman penting — ditulis dalam format yang bisa dipahami LLM dalam sekejap. Anggap aja kayak file README untuk website, tapi ditulis buat mesin, bukan developer.

llms.txt pertama kali diusulkan pada September 2024 oleh Jeremy Howard, co-founder fast.ai, dan didokumentasikan di llmstxt.org. Konsepnya simpel: kasih AI satu endpoint yang bisa diandalkan buat ngerti seluruh situsmu tanpa harus nge-crawl puluhan halaman yang sarat markup layout.

llms.txt vs llms-full.txt

#

Ada dua varian:

Untuk kebanyakan blog dan content site, llms.txt aja udah cukup. Kamu kasih struktur navigasi, biar LLM yang ambil halaman spesifik kalau butuh detail lengkap. Simpan llms-full.txt buat situs yang pengen sepenuhnya mandiri buat pemrosesan AI offline atau konteks di mana model gak bakal ngikutin tautan.

Kenapa llms.txt Ada: Masalah yang Dipecahkan

#

Web dibangun untuk dua audiens:

1. Manusia (yang render pake browser)
2. Search crawler (yang indexing buat Google/Bing)

LLM sekarang jadi audiens ketiga, dan mereka punya kebutuhan yang fundamentally berbeda:

• Mereka parse teks secara sekuensial, bukan visual
• Mereka punya budget token (context window)
• Mereka gak bisa jalanin JavaScript
• Mereka kehilangan informasi kalau konten terkubur dalam kode layout

Contoh postingan blog pada umumnya:

• 200 baris konten asli
• 800 baris HTML buat header, footer, nav, sidebar, form komentar

LLM yang nyoba ngekstrak artikel melihat semua 1.000 baris. Tokennya kebuang buat elemen navigasi, gagal ngidentifikasi pesan inti, dan bisa salah memahami tujuan situsmu sama sekali.

llms.txt menghilangkan gesekan itu. Ia bilang: “Ini lho situsnya apa. Ini yang penting. Ini tempat nemuinnya.” Gak perlu nebak-nebak.

Manfaat Nambahin llms.txt ke Website-mu

#

1. Representasi Lebih Baik di AI Search

#

Perplexity nyebut sumbernya secara eksplisit. Tools AI search lain juga ngerujuk situs yang mereka ambil informasinya. Kalau LLM gak bisa percaya diri memahami kontenmu, dia gak bakal nyebut website-mu — dan kompetitor yang bakal ambil visibilitas itu.

2. Trafik dari Pengguna AI

#

Pas mesin pencari AI merekomendasikan situsmu, pengguna bakal klik. Ini channel trafik yang lagi naik: Perplexity aja melayani miliaran query. Situs yang mudah dibaca LLM bakal menangkap bagian trafik yang gak proporsional.

3. Konteks Lebih Bersih buat Tools AI

#

Di luar search, LLM dipake di mana-mana: coding assistant yang jawab pertanyaan domain, research tool yang ngerangkum konten, agent yang booking layanan. llms.txt mastiin tools ini ngerti situsmu dengan benar.

4. Future-Proofing

#

AI agent dan browsing berbasis LLM makin cepet. Punya llms.txt sekarang berarti kamu udah siap pas ini jadi standar. Kebanyakan situs belum punya — early adopters bakal dapet keunggulan kompetitif.

5. Zero Dampak Negatif

#

File llms.txt gak ngaruh ke SEO yang udah ada, ranking Google, atau performa situs. Sifatnya aditif. Kalau gak membantu, ya gak bikin rugi.

Gimana dengan Kekurangannya?

#

Penilaian jujur:

• Adopsi masih terbatas. Belum semua tools LLM konsumsi llms.txt saat ini. Bukan jaminan — ini persiapan.
• Perlu perawatan. Tiap beberapa bulan, review dan update seiring kontenmu berkembang.
• Gak ada mekanisme paksaan. Tools AI mungkin aja ngabaikannya. Tapi yang utama makin banyak yang gak.
• Pertimbangan privasi. Kamu secara eksplisit nyebut struktur situsmu. Kalau ada halaman yang gak mau diindeks AI, jangan masukin ke llms.txt.

Meskipun gitu, rasio risiko-imbalannya sangat bagus. Usaha kecil buat peningkatan visibilitas yang berarti.

Cara Buat llms.txt untuk Situs Hugo-mu

#

Bikinnya gampang. Ini proses lengkap dari awal.

Langkah 1: Pahami Formatnya

#

File ini ngikutin konvensi Markdown dengan struktur spesifik:

# Nama Situs Kamu

> Deskripsi singkat tentang apa isi situs ini.

## Judul Bagian

- [Label Tautan](https://domainkamu.com/halaman/): Deskripsi satu baris

## Bagian Lain

- [Artikel Lain](https://domainkamu.com/artikel/): Catatan singkat

Rincian struktur:

• # H1 — Nama situs atau proyek
• > Blockquote — Deskripsi situs satu kalimat (LLM pake ini sebagai konteks)
• ## H2 — Judul bagian (contoh: “Postingan Blog”, “Dokumentasi”, “Tentang”)
• - [Tautan Markdown] — Daftar bullet halaman penting dengan deskripsi satu baris

Langkah 2: Rencanakan Konten

#

Jangan daftarin semua halaman. Kurasi:

• 10–30 artikel kunci yang mewakili konten terbaikmu
• Halaman inti (tentang, kontak, layanan utama)
• Kelompokkan konten ke dalam bagian yang logis

Targetkan total 100–500 baris. Cukup komprehensif, tapi pendek biar ngormatin budget token.

Langkah 3: Tulis Filenya

#

Buat static/llms.txt di proyek Hugo-mu. Ini template-nya:

# Blog Zynji

> Blog tentang web development, AI tools, dan optimasi static site.

## Panduan

- [Panduan SEO llms.txt](https://zynji.my.id/llms-txt-ai-seo-guide/): Cara bikin llms.txt biar kelihatan di AI search
- [Optimasi Performa Hugo](https://zynji.my.id/hugo-performance/): Ngebutin situs static Hugo

## Tutorial

- [Setting Custom Domain](https://zynji.my.id/custom-domains/): Hubungin domain ke static hosting
- [Best Practices Markdown](https://zynji.my.id/markdown-guide/): Nulis konten yang render-nya sempurna

## Tentang

- [Tentang Zynji](https://zynji.my.id/about/): Isi blog ini dan siapa penulisnya

Langkah 4: Deploy ke Folder Static Hugo

#

Taruh file di direktori static/ proyek Hugo-mu:

situs-hugo-mu/
├── content/
├── layouts/
├── static/
│   └── llms.txt        ← di sini
├── hugo.toml
└── ...

Hugo nyalin semua yang ada di static/ langsung ke root situs saat build. Setelah deploy, verifikasi bisa diakses:

https://domainkamu.com/llms.txt

Langkah 5: Lanjutan — Otomatiskan dengan Template Hugo

#

Untuk situs yang kontennya sering berubah, maintain llms.txt manual jadi bikin pegel. Hugo mendukung custom output format. Tambahin ini ke hugo.toml:

[outputFormats.LLMSTxt]
mediaType = "text/plain"
baseName = "llms"
isPlainText = true

Terus bikin layouts/index.llms.txt:

{{ .Content }}
# {{ .Site.Title }}

> {{ .Site.Params.description }}

## Postingan Terbaru
{{ range first 10 .Site.RegularPages }}
- [{{ .Title }}]({{ .Permalink }}): {{ .Summary | truncate 100 }}
{{ end }}

## Kategori
{{ range .Site.Taxonomies.categories }}
- [{{ .Page.Title }}]({{ .Page.Permalink }}): {{ .Count }} artikel
{{ end }}

Ini bakal auto-generate llms.txt setiap kali build, ambil konten terbaru secara dinamis.

Langkah 6: Jaga Tetap Update

#

Review llms.txt-mu setiap 1–3 bulan:

• Tambah artikel kunci baru
• Hapus konten yang udah usang
• Update deskripsi kalau fokus halaman berubah
• Verifikasi semua tautan masih nyambung

llms.txt vs robots.txt: Kebingungan yang Sering Terjadi

#

Keduanya adalah file yang完全不同 (completely different) dengan tujuan yang beda:

Punya robots.txt gak menggantikan llms.txt. Mereka saling melengkapi.

FAQ

#

Apa llms.txt bisa ningkatin ranking Google?

#

Gak ada dampak langsung. Crawler Google gak pake llms.txt buat ranking. Nilainya ada di mesin pencari AI (Perplexity, AI Overviews, dll.) dan tools berbasis LLM. SEO tradisional dan AI SEO itu channel terpisah.

Apa perlu skill teknis buat bikinnya?

#

Gak perlu. Ini file teks polos format Markdown. Kalau kamu bisa nulis README, kamu bisa nulis llms.txt. Otomatisasi Hugo opsional — bikin manual udah cukup buat kebanyakan situs.

Berapa banyak halaman yang harus didaftarin?

#

Targetkan 10–30 halaman kunci. Fokus ke konten terbaik dan paling representatif. Daftarin semua postingan blog malah bikin sinyalnya jadi encer. Kualitas, bukan kuantitas.

Harus bikin llms-full.txt juga?

#

Cuma kalau kamu punya kebutuhan spesifik. Buat blog dan content site standar, llms.txt udah cukup. llms-full.txt berguna buat situs dokumentasi atau konteks di mana LLM gak bakal ngikutin tautan balik ke situsmu.

Gimana kalau aku gak bikin llms.txt?

#

Situsmu tetep berfungsi. Tapi seiring pertumbuhan AI search, kamu bakal kehilangan channel visibilitas yang makin penting. Filenya cuma butuh beberapa menit buat bikin dan gratis.

Kesimpulan

#

AI search udah bukan teori lagi. Jutaan query tiap hari lewat Perplexity, ChatGPT Search, dan tools serupa. Sistem-sistem ini perlu memahami situsmu — dan saat ini, kebanyakan situs kasih mereka teka-teki JavaScript dan markup layout yang berantakan.

llms.txt adalah upgrade SEO paling simpel yang bisa kamu lakukan di era AI. Satu file. Tiga puluh menit. Gak ada efek samping.

Bikin sekarang.

Jumlah kata: ~1.450 | Waktu baca: ~6 menit