Googlebot adalah bot perayapan web Google (terkadang juga disebut laba-laba). Perayapan adalah proses dimana Googlebot menemukan halaman baru dan yang diperbarui untuk ditambahkan ke indeks Google. Kami menggunakan seperangkat besar komputer untuk menjemput (atau merayapi) miliaran halaman di web. Googlebot menggunakan proses algoritmik: program komputer menentukan situs mana yang akan dirayapi, seberapa sering, dan berapa banyak halaman yang akan diambil dari setiap situs. Proses perayapan Googlebot dimulai dengan daftar URL laman web, yang dihasilkan dari proses perayapan sebelumnya dan ditambah dengan data Peta Situs yang disediakan oleh webmaster. Saat Googlebot mengunjungi setiap situs web ini, mereka mendeteksi tautan (SRC dan HREF) di setiap halaman dan menambahkannya ke dalam daftar halaman untuk dirayapi. Situs baru, perubahan pada situs yang ada, dan link mati dicatat dan digunakan untuk memperbarui indeks Google. Untuk webmaster: Googlebot dan situs Anda Bagaimana Googlebot mengakses situs Anda Untuk sebagian besar situs, Googlebot tidak boleh mengakses situs Anda lebih dari satu kali setiap beberapa detik secara rata-rata. Namun, karena penundaan jaringan, kemungkinan tingkatnya akan sedikit lebih tinggi dalam periode yang singkat. Googlebot dirancang untuk didistribusikan di beberapa mesin untuk meningkatkan kinerja dan skala seiring pertumbuhan web. Selain itu, untuk mengurangi penggunaan bandwidth, kami menjalankan banyak crawler pada mesin yang berada di dekat situs yang mereka indeks di jaringan. Oleh karena itu, log Anda mungkin menampilkan kunjungan dari beberapa mesin di google, semuanya dengan agen pengguna Googlebot. Tujuan kami adalah merangkak sebanyak mungkin halaman dari situs Anda pada setiap kunjungan tanpa menghabiskan bandwidth server Anda. Minta perubahan tingkat perayapan. Memblokir Googlebot dari konten di situs Anda Hampir tidak mungkin untuk menyimpan rahasia server web dengan tidak mempublikasikan tautan ke situs Anda. Begitu seseorang mengikuti link dari server rahasia Anda ke server web lain, URL rahasia Anda mungkin muncul di tag perujuk dan dapat disimpan dan dipublikasikan oleh server web lain di log perujuknya. Demikian pula, web memiliki banyak tautan usang dan rusak. Kapan pun seseorang menerbitkan tautan yang salah ke situs Anda atau gagal memperbarui tautan untuk mencerminkan perubahan di server Anda, Googlebot akan mencoba mengunduh tautan yang salah dari situs Anda. Jika Anda ingin mencegah Googlebot merayapi konten di situs Anda, Anda memiliki sejumlah opsi. Termasuk menggunakan robots. txt untuk memblokir akses ke file dan direktori di server Anda. Setelah Anda membuat file robots. txt Anda, mungkin ada penundaan kecil sebelum Googlebot menemukan perubahan Anda. Jika Googlebot masih merayapi konten yang telah Anda blokir di robots. txt, periksa apakah robots. txt ada di lokasi yang benar. Ini harus berada di direktori teratas server (misalnya, examplerobots. txt) yang menempatkan file dalam subdirektori tidak akan berpengaruh. Jika Anda hanya ingin mencegah file tidak ditemukan pesan kesalahan di log server web Anda, Anda bisa membuat file kosong bernama robots. txt. Jika Anda ingin mencegah Googlebot mengikuti tautan di laman situs Anda, Anda dapat menggunakan tag meta nofollow. Agar Googlebot tidak mengikuti tautan individual, tambahkan atribut relnofollow ke tautan itu sendiri. Berikut adalah beberapa tip tambahan: Uji coba robots. txt Anda seperti yang diharapkan. Alat Uji robots. txt di laman URL yang Diblokir memungkinkan Anda melihat dengan tepat bagaimana Googlebot menafsirkan konten file robots. txt Anda. Agen pengguna Google (cukup tepat) Googlebot. Alat Ambil sebagai Google di Search Console membantu Anda memahami dengan tepat bagaimana situs Anda muncul ke Googlebot. Ini bisa sangat berguna saat memecahkan masalah dengan konten situs Anda atau dapat ditemukan pada hasil pencarian. Memastikan situs Anda adalah Googlebot yang dapat dirayapi menemukan situs dengan mengikuti tautan dari satu halaman ke halaman lainnya. Laman kesalahan Perayapan di Search Console mencantumkan masalah yang ditemukan Googlebot saat merayapi situs Anda. Sebaiknya tinjau kesalahan perayapan ini secara teratur untuk mengidentifikasi masalah pada situs Anda. Jika file robots. txt Anda bekerja seperti yang diharapkan, namun isnt situs Anda tidak mendapatkan lalu lintas, inilah beberapa kemungkinan alasan mengapa konten Anda tidak berkinerja baik dalam pencarian. Masalah dengan spammer dan agen pengguna lainnya Alamat IP yang digunakan oleh Googlebot berubah dari waktu ke waktu. Cara terbaik untuk mengidentifikasi akses oleh Googlebot adalah menggunakan agen pengguna (Googlebot). Anda dapat memverifikasi bahwa bot yang mengakses server Anda benar-benar Googlebot dengan menggunakan reverse DNS lookup. Googlebot dan semua bot mesin telusur terhormat akan mematuhi arahan di robots. txt, namun beberapa nogoodnik dan spammer tidak melakukannya. Laporkan spam ke Google. Google memiliki beberapa agen pengguna lainnya, termasuk Feedfetcher (agen pengguna Feedfetcher-Google). Karena permintaan Feedfetcher berasal dari tindakan eksplisit oleh pengguna manusia yang telah menambahkan umpan ke beranda Google mereka dan bukan dari perayap otomatis, Feedfetcher tidak mengikuti panduan robots. txt. Anda dapat mencegah Feedfetcher merayapi situs Anda dengan mengonfigurasi server Anda untuk menayangkan pesan status kesalahan 404, 410, atau pesan kesalahan lainnya kepada agen pengguna Feedfetcher-Google. Informasi lebih lanjut tentang Feedfetcher. Apakah artikel ini bermanfaat Bagaimana kita bisa memperbaiki nilai-nilai kita orang-orang kita Memimpin penerbit b2b, yang mengkhususkan diri dalam komunitas profesional online dan interaktif Dengan berbagai layanan termasuk situs web, publikasi email, penghargaan dan acara industri, Sift Media memberikan konten bermerek asli ke lebih dari setengah Juta profesional di bidang akuntansi, TI, SDM dan pelatihan, pemasaran, dan usaha kecil. Dengan menghasilkan konten berkualitas dan melibatkan pemirsa profesional kami di beberapa titik sentuh, kami menawarkan peluang pemasaran unik dari merek b2b yang menghasilkan laba atas investasi yang sesungguhnya. Nilai Kami Kami percaya dalam menciptakan konten, memungkinkan percakapan dan mengubah peluang bisnis, baik untuk khalayak bisnis maupun klien periklanan kami. Dengan berfokus pada konten dan mendorong keterlibatan masyarakat, kami bertujuan untuk menciptakan lingkungan yang terpercaya dan unik bagi merek bisnis dan profesional bisnis untuk mengoptimalkan hubungan. Orang-orang kami Orang-orang kami adalah aset terbesar kami dan kami beruntung mendapatkan beberapa talenta digital terbaik di negara ini. Dengan tim manajemen senior, manajer kampanye dan akun berpengalaman, editor pemenang penghargaan, dan tim produksi dan teknologi terdepan, kami memiliki struktur dan kualitas yang membedakan kami dari penerbit lain. Cari tahu lebih lanjut dan temui tim di bawah ini. Tom Dunkerley Direktur Keuangan Steven Priscott, Menyaring Sejarah Kami Didirikan oleh Andrew Gray, David Gilroy dan CEO Ben Heald saat ini, Sift menawarkan layanan informasi khusus industri yang memanfaatkan internet dengan mengintegrasikan berita dan konten web tradisional. Dengan latar belakang Bens di bidang akuntansi, diputuskan bahwa ini adalah pasar eksplorasi pertama dan pada tahun 1997 AccountingWEB. co. uk lahir. Rumusnya berhasil, dan dalam 12 bulan daftar sirkulasi telah meningkat dari 10 menjadi 4.000, dengan pendapatan dihasilkan dari iklan dalam buletin mingguan mingguan. Sift Media sekarang menjangkau lebih dari 700.000 profesional bisnis terdaftar setiap bulan dan memberikan lebih dari 5 juta tayangan halaman di seluruh portofolio 11 judul di Inggris dan Amerika Serikat. Tidak hanya kami terus mengembangkan beberapa komunitas bisnis online yang paling setia dan terlibat, kami memberikan solusi terdepan untuk pengiklan. Untuk riwayat yang lebih rinci, kunjungi situs perusahaan kami. Jika Anda ingin bergabung dengan salah satu penerbit paling menarik di Inggris dan Anda yakin memiliki gairah dan keterampilan untuk menjadi bagian berharga dari tim, mengapa tidak memeriksa lowongan kami saat ini.
No comments:
Post a Comment