— Masa penyimpanan file yang diunggah ke layanan file hosting telah habis

— Mengubah struktur blog/situs

— Mengubah alamat halaman di situs atau menerapkan CNC

— Alamat halaman situs yang Anda tautkan telah berubah

Dalam proses perubahan tersebut, lusinan halaman yang tidak ada mungkin muncul yang akan ditautkan ke sumber daya Anda.

Sangat mudah untuk menemukan halaman yang tidak ada tersebut. Cukup mengetahui beberapa layanan dan bisa menggunakannya.

Kami akan melihat 4 metode utama untuk memeriksa situs untuk tautan rusak, dan Anda akan memutuskan sendiri mana yang akan digunakan.

Layanan online untuk memeriksa tautan yang rusak:

Saya menemukan banyak layanan berbeda di Internet, tetapi saya hanya dapat merekomendasikan 2 layanan yang benar-benar mengidentifikasi tautan bermasalah:

— membuatonline.com

— browser apa pun.com

Saya tidak akan menjelaskan prinsip operasinya, semuanya sangat sederhana. Masukkan URL yang Anda minati ke dalam formulir verifikasi dan tekan tombol verifikasi. Setelah jangka waktu tertentu berlalu, halaman berisi hasil pemindaian akan muncul.

Menggunakan Yandex

DI DALAM panel webmaster Kami mengikuti jalur – – Halaman yang dikecualikan dan ikuti tautan Status HTTP: Sumber daya tidak ditemukan (404). Tangkapan layar menunjukkan jalannya.

Setelah Anda mengklik link tersebut, sebuah jendela akan terbuka, di bagian bawahnya akan terdapat daftar link ke halaman yang tidak ada dari situs Anda. Di jendela yang sama akan terdapat informasi tentang kunjungan terakhir robot ke halaman tersebut dan link ke halaman bermasalah yang ditandai dengan kotak kecil dengan panah bawah. Sekarang Anda perlu mengikuti tautan ini dan memperbaiki situasinya.

Melalui Google

Dengan cara yang sama kita melakukan otorisasi di panel webmaster dan ikuti jalannya – Pemindaian – Kesalahan pemindaian. Di bagian bawah halaman kita melihat daftar link ke halaman yang tidak ada. Ada satu opsi bagus di Panel Webmaster Google yang memungkinkan Anda menandai link ke halaman yang tidak ada yang sebelumnya telah Anda koreksi. aku menunjukkan padanya.

Program Detektif Tautan Xenu

Ikuti tautan dan unduh program. Lalu kita menginstalnya. Setelah instalasi selesai, jalankan program dan masukkan alamat sumber daya yang sedang diperiksa. Klik tombol OK, dan program mulai mengumpulkan informasi.

Sibuk – mengantri untuk ditinjau.

Setelah selesai mengumpulkan informasi, program akan membunyikan sinyal suara yang menunjukkan selesainya pekerjaan, dan Anda dapat melihat laporan pekerjaan yang dilakukan. Program yang sangat bagus, saya menggunakannya sepanjang waktu.

Dan cara terakhir yang akan kita bahas adalah memeriksa situs apakah ada link yang rusak menggunakan plugin Broken Link Checker.

Untuk ini unduh pluginnya, aktifkan dan buka alamat – Opsi – Periksa tautan dan buka tab Lanjutan di mana kita klik Periksa ulang semua halaman.

Halo teman teman! Tidak seperti jejaring sosial lainnya, di Odnoklassniki, saat melakukan berbagai tindakan, Anda bisa menerima pencapaian yang sesuai. Tidak ada yang sulit dalam menyelesaikan tugas - Anda perlu mengunggah foto, menambahkan video, memberi peringkat, mengomentari kiriman, dll.

Namun beberapa pengguna bingung dengan pencapaian yang disebut "Penemuan Langka" - Anda harus membuka halaman yang tidak ada di Odnoklassniki. Jadi mari kita cari tahu bagaimana melakukan ini.

Prestasi – Jarang ditemukan di Odnoklassniki

Pertama, mari kita bicara tentang apa itu “Prestasi”. Anda dapat menemukan item menu ini dengan berada di halaman Anda dan mengklik tombol “Lainnya”.

Tab Prestasi Saya akan menampilkan berbagai ikon. Jika icon berwarna abu-abu berarti Anda belum memenuhi syarat yang disyaratkan. Saat Anda mengarahkan mouse ke ikon mana pun, tugas yang harus diselesaikan akan ditampilkan di jendela pop-up.

Setelah menyelesaikan tugas, ikon menjadi berwarna dan Anda diberikan sejumlah bonus.

Lencana Rare Find terletak di bagian Misi, dan untuk mendapatkannya Anda harus pergi ke halaman yang tidak ada. Untuk menyelesaikan tugas ini Anda akan diberikan 500 poin.

Mengapa tugas seperti ini dan mendapatkan lencana? – kamu bertanya. Ini cukup sederhana. Jumlah poin yang terkumpul dapat dilihat di kanan atas. Ada juga tombol “Lelang”. Dengan mengkliknya, Anda akan dibawa ke halaman lelang, tempat Anda dapat menukar poin yang Anda terima dengan fungsi berbayar: hadiah, tembus pandang, peringkat 5+.

Tautan ke halaman yang tidak ada

Sekarang mari kita cari tahu bagaimana Anda dapat menemukan halaman yang tidak ada untuk mendapatkan lencana dan poin.

Untuk melakukan ini, Anda perlu pergi ke alamat yang tidak tersedia di Odnoklassniki: di bilah alamat setelah ok.ru, ketik berbagai nomor untuk mendapatkan sesuatu seperti – https://ok.ru/12345678912345.

Mari kita lihat lebih spesifik. Buka profil Anda dan perhatikan bilah alamat browser Anda.

Tempatkan kursor di kolom alamat, hapus kata feed dan masukkan nomornya. Saya baru saja menambahkan huruf s. Lalu tekan Enter.

Jika Anda memiliki situs web besar dengan jumlah halaman yang banyak, maka promosi mesin pencari untuk proyek semacam itu sering kali bertujuan untuk mengidentifikasi dan menghilangkan banyak masalah teknis.

Salah satu kesalahan umum adalah adanya tautan rusak ke halaman dengan kode respons “404 tidak ditemukan”. Selain itu, halaman dengan kesalahan 404 mungkin ditautkan dari situs lain, dan bobotnya akan hilang. Pada artikel ini, Anda akan mempelajari cara mendapatkan kembali berat tautan eksternal yang hilang.

“Saya dapat memberi tahu Anda dengan pasti bahwa di situs web yang kurang lebih besar, ada sesuatu yang selalu rusak”
— Mikhail Slivinsky (Wikimart.ru), Konferensi SEO 2014.

Inti dari metode ini

Tautan dari situs lain tidak akan berpengaruh jika mengarah ke halaman rusak di situs Anda. Tugasnya adalah mengatur pengalihan (301 redirect) dari halaman yang tidak ada yang memiliki link masuk ke halaman lain yang relevan di situs. Dengan cara ini, bobot tautan eksternal yang masuk akan mulai ditransfer ke situs.

Cara ini lebih cocok untuk proyek lama dengan jumlah halaman yang banyak. Algoritma operasinya adalah sebagai berikut:

1. Cari dan kompilasi daftar halaman dengan kesalahan 404.
2. Memeriksa URL yang diterima untuk mengetahui keberadaan tautan eksternal yang masuk.
3. Memasang pengalihan 301 dari halaman rusak ke halaman kerja yang sesuai.

Cara Menemukan Halaman Error 404 dan Halaman Rusak Lainnya

Pada tahap ini, Anda perlu mengidentifikasi halaman yang tidak ada di situs, halaman dengan kesalahan, dan menyusun daftar URL sedetail mungkin. Ada beberapa alat untuk ini, yang akan dibahas secara rinci di bawah.

Panel Yandex.Webmaster dan Alat Webmaster Google

Jika situs Anda belum ditambahkan ke panel webmaster Yandex dan Google, pastikan untuk menambahkannya sekarang. Dengan cara ini Anda dapat segera mengidentifikasi tautan rusak dan kesalahan pengindeksan lainnya.

Untuk mendapatkan daftar halaman dengan kesalahan 404 di panel Yandex.Webmaster, buka http://webmaster.yandex.ru/sites/ di bagian “Pengindeksan Situs” → “Halaman yang Dikecualikan”.

(klik pada gambar untuk memperbesar)

Untuk mendapatkan daftar halaman yang tidak ada dari panel Alat Webmaster Google ( https://www.google.com/webmasters/tools/) ikuti tautan "Kesalahan pemindaian".

(klik pada gambar untuk memperbesar)

Halaman tersebut akan memiliki daftar URL dengan kesalahan. Anda dapat mengekspor daftar dengan mengklik tombol “Unduh” dan memilih format unggahan yang sesuai.

(klik pada gambar untuk memperbesar)

Program perayap

Di sini Anda dapat menyorot program terkenal untuk mencari tautan rusak dan duplikat:

Semuanya memungkinkan Anda menemukan di situs dan mengunduh daftar halaman dengan kesalahan 404. Untuk tujuan ini, saya menggunakan Screaming Frog Seo Spider, karena versinya untuk Mac, tidak seperti yang lain. Menggunakan Screaming Frog sebagai contoh, daftar 404 halaman dibongkar seperti ini:

(klik pada gambar untuk memperbesar)

Catatan kesalahan server

Jika memungkinkan, ada baiknya melihat log kesalahan server. Biasanya ini adalah file "error_log". Tergantung pada perangkat lunak yang digunakan di server, log kesalahan mungkin berbeda. Tapi intinya masih sama - lihat log kesalahan server dan unduh daftar URL dengan kesalahan 404 darinya.

Daftar tautan yang dihasilkan harus digabungkan menjadi satu daftar dan duplikatnya dihapus. Ada banyak cara untuk melakukan ini, tapi saya menggunakan editor teks Sublime Text 2 (di Windows saya merekomendasikan Notepad++ dengan plugin TextFX).

(klik pada gambar untuk memperbesar)

Memeriksa daftar halaman rusak untuk link masuk

Untuk memeriksa daftar akhir URL untuk keberadaan tautan masuk dari situs lain, gunakan layanan Ahrefs.com, yaitu bagian “Analisis Batch” - https://ahrefs.com/labs/batch-analisis/.

(klik pada gambar untuk memperbesar)

Sayangnya, fungsi ini memiliki batasan 200 url per 1 permintaan pada paket berbayar dan 2 url per 1 permintaan pada paket gratis. Oleh karena itu, Anda perlu memasukkan daftar Anda ke dalam beberapa bagian yang terdiri dari 200 alamat. Setelah setiap pemeriksaan, Anda perlu mengekspor ke file.

(klik pada gambar untuk memperbesar)

Hasil download sebanyak 200 URL perlu digabungkan menjadi 1 tabel. Untuk melakukan ini, Anda perlu membuka 1 file dan menyalin konten file lain sampai akhir. Kolom tambahan dapat dihapus. Kami hanya tertarik pada kolom “Total” yang berarti jumlah total link eksternal ke halaman tersebut.

(klik pada gambar untuk memperbesar)

Daftar yang dihasilkan perlu diurutkan dan baris yang “Total” sama dengan nol dihapus. Akibatnya, Anda akan mendapatkan daftar halaman rusak yang memiliki link masuk dari situs lain.

Pemilihan halaman untuk dialihkan

Daftar yang dihasilkan perlu diunggah lagi ke Analisis Batch di Ahrefs sehingga Anda dapat melihat dari situs mana dan dengan jangkar mana terdapat tautan ke setiap halaman daftar kami. Untuk melakukan ini, gunakan ikon di sebelah alamat url.

(klik pada gambar untuk memperbesar)

Selanjutnya, Anda perlu melihat halaman mana dan jangkar mana yang ditautkan ke situs eksternal. Untuk kenyamanan, buatlah tabel dengan dua kolom, yang akan berisi daftar alamat rusak dan daftar alamat "langsung" yang akan dijadikan tujuan pengalihan. Jika url halaman di situs Anda baru saja berubah, masukkan url halaman baru. Dalam kasus lain, pilih halaman yang paling relevan menurut Anda, berdasarkan teks halaman donor dan jangkar.

(klik pada gambar untuk memperbesar)

Menyiapkan pengalihan 301 ke halaman baru

Pada akhirnya, yang tersisa hanyalah menambahkan perintah yang diperlukan untuk file .htaccess. Untuk mengalihkan dari satu halaman ke halaman lainnya, gunakan perintah berikut:

Untuk setiap alamat tabel akhir, Anda perlu menulis perintah berikut dan menambahkannya ke file “.htaccess”. Pada tahap ini, saya menyarankan untuk menggunakan jasa programmer untuk memastikan semuanya bekerja dengan benar.

Hasilnya, kami akan menerima jus tautan secara gratis, hanya dengan tidak menghilangkannya.

Halo! Hari ini adalah postingan tentang masalah yang menyakitkan bagi sebagian besar pembuat situs web pemula. Saya harus sering menjawab pertanyaan yang sama di komentar - cara menghapus halaman dari pencarian, yang sebelumnya sudah terindeks, namun karena keadaan dihapus dan tidak ada lagi, namun masih ada di indeks mesin pencari. Atau pencarian berisi halaman yang dilarang untuk diindeks.

Anda tidak dapat memperluas komentar, jadi setelah pertanyaan berikutnya saya memutuskan untuk memberikan perhatian khusus pada topik ini. Pertama, mari kita cari tahu bagaimana halaman seperti itu bisa muncul dalam pencarian. Saya akan memberikan contoh berdasarkan pengalaman saya sendiri, jadi jika saya lupa sesuatu, silakan diisi.

Mengapa halaman ditutup dan dihapus dalam pencarian?

Mungkin ada beberapa alasannya, dan saya akan mencoba menyoroti beberapa di antaranya dalam bentuk daftar kecil beserta penjelasannya. Sebelum kita mulai, saya akan menjelaskan apa yang saya maksud dengan halaman “ekstra” (tertutup): halaman layanan atau halaman lain yang dilarang untuk diindeks oleh aturan atau meta tag.

Halaman yang tidak ada dicari karena alasan berikut:

• Yang paling umum adalah halaman tersebut telah dihapus dan tidak ada lagi.
• Pengeditan alamat halaman web secara manual, akibatnya dokumen yang sudah dicari menjadi tidak tersedia untuk dilihat. Perhatian khusus pada hal ini harus diberikan kepada pemula yang, karena sedikit pengetahuan mereka, mengabaikan fungsi sumber daya.
• Melanjutkan pemikiran tentang strukturnya, izinkan saya mengingatkan Anda bahwa secara default, setelah menginstal WordPress di hosting, itu tidak memenuhi persyaratan optimasi internal dan terdiri dari pengidentifikasi alfanumerik. Hal ini disebabkan oleh CNC, dan banyak alamat yang tidak berfungsi muncul, yang akan tetap berada di indeks mesin pencari untuk waktu yang lama. Oleh karena itu, terapkan aturan dasar: jika Anda memutuskan untuk mengubah struktur, gunakan pengalihan 301 dari alamat lama ke alamat baru. Pilihan ideal adalah menyelesaikan semua pengaturan situs SEBELUM membukanya; server lokal dapat berguna untuk ini.
• Server tidak dikonfigurasi dengan benar. Halaman yang tidak ada akan menampilkan kode kesalahan 404 atau 3xx.

Halaman tambahan muncul di indeks dengan ketentuan berikut:

• Halaman-halaman tersebut, menurut Anda, tertutup, tetapi sebenarnya terbuka untuk robot pencari dan dicari tanpa batasan (atau robots.txt tidak ditulis dengan benar). Untuk memeriksa hak akses PS ke halaman, gunakan alat yang sesuai untuk.
• Mereka diindeks sebelum ditutup dengan cara yang tersedia.
• Halaman-halaman ini ditautkan ke situs lain atau halaman internal dalam domain yang sama.

Jadi, kami menemukan alasannya. Perlu dicatat bahwa setelah penyebabnya dihilangkan, halaman yang tidak ada atau tambahan mungkin tetap berada di database pencarian untuk waktu yang lama - semuanya tergantung pada frekuensi kunjungan robot ke situs.

Cara menghapus halaman dari mesin pencari Yandex

Untuk menghapus URL dari Yandex Cukup ikuti tautannya dan masukkan alamat halaman yang ingin Anda hapus dari hasil pencarian ke dalam kolom teks formulir.

Syarat utama agar permintaan penghapusan berhasil:

• halaman harus ditutup dari pengindeksan berdasarkan aturan robots atau tag meta noindex di halaman ini - jika halaman tersebut ada tetapi tidak berpartisipasi dalam hasil pencarian;
• ketika mencoba mengakses suatu halaman, server akan mengembalikan kesalahan 404 - jika halaman tersebut telah dihapus dan tidak ada lagi.

Saat robot merayapi situs lagi, permintaan penghapusan akan diselesaikan dan halaman akan hilang dari hasil pencarian.

Cara menghapus halaman dari mesin pencari Google

Untuk menghapus halaman, lakukan dengan cara yang sama. Buka Alat Webmaster dan temukan opsi Hapus URL di daftar tarik-turun Pengoptimalan dan ikuti tautannya.

Kami memiliki formulir khusus untuk membuat permintaan penghapusan baru:

Klik lanjutkan dan ikuti instruksi lebih lanjut untuk memilih alasan penghapusan. Menurut saya, kata “alasan” kurang tepat untuk ini, tapi bukan itu intinya...

Dari opsi yang diberikan kepada kami, kami memiliki:

• menghapus halaman halaman dari hasil pencarian Google dan dari cache mesin pencari;
• hanya menghapus halaman dari cache;
• menghapus direktori dengan semua alamat yang disertakan di dalamnya.

Fungsi yang sangat berguna untuk menghapus seluruh katalog, ketika Anda harus menghapus beberapa halaman, misalnya dari satu kategori. Anda dapat memantau status permintaan penghapusan Anda di halaman alat yang sama dengan opsi untuk membatalkan. Untuk sukses menghapus halaman dari Google kondisi yang sama diperlukan seperti untuk . Permintaan biasanya diselesaikan secepat mungkin dan halaman tersebut segera menghilang dari hasil pencarian.

Baru-baru ini seseorang bertanya kepada saya tentang fitur Google. Kami berbicara tentang pengindeksan situs. Google telah menambahkan halaman yang tidak ada dengan URL aneh ke dalam indeksnya. Apalagi banyak yang ditutup di robots.txt. Menjawab pertanyaan tersebut, untuk membantu pembaca situs saya, saya tidak memperhatikan bagaimana saya menulis artikel pendek.

Pertanyaan itu ternyata sangat familiar bagi saya. Beberapa tahun yang lalu, saya sendiri semakin mencari jawaban atas pertanyaan ini, ketika saya mendapat tugas untuk menyelaraskan rasio halaman yang diindeks untuk beberapa situs di indeks mesin pencari sebelum memonetisasinya. Apa pun yang saya lakukan, menghapusnya secara fisik dari indeks, menutupnya di robots.txt, mengedit templat situs, dan file sumber mesin. Sama sekali tidak ada yang membantu, dan rekan-rekan saya yang lebih berpengalaman pun tidak membantu saya saat itu.

Masalah ini ternyata ada dimana-mana, namun tidak banyak orang yang memperhatikannya. Google tidak membuat salinan tersimpan dari halaman yang ditutup di robots.txt, tetapi menambahkan semua URL yang ditemukan ke databasenya. Jika Anda mencari di antara semua halaman di situs tersebut, Google akan mengembalikan banyak halaman yang tidak ada. Kode 404 dan penutupan robots.txt tidak membantu. Itu sebabnya, jika Anda merayapi selusin situs berbeda, jumlah halaman yang diindeks di Google akan lebih banyak, terkadang beberapa halaman, dan untuk situs besar perbedaannya bisa mencapai beberapa ratus halaman.

Google benar-benar menambahkan semua URL yang tautannya ditemukan ke indeksnya. Dalam kebanyakan kasus, ini adalah tautan internal (karena kesalahan penerapan CMS di server, mungkin ada tautan yang rusak dalam kode, ini sangat sering terjadi ketika CNC tidak dikonfigurasi dengan benar), bisa juga tautan eksternal (seseorang menulis tautan ke situs Anda di beberapa forum dan membuat kesalahan ejaan).

Selain itu, beberapa halaman sangat sering dihapus di situs - URL telah diubah atau materi telah dihapus secara fisik; halaman tersebut akan tetap berada di indeks, hanya disimpan sebagai tautan kosong;

Bagaimanapun, “halaman tiruan” ini tidak akan muncul di hasil kueri apa pun, kecuali kita melihat jumlah total halaman yang diindeks. Perbedaan antara jumlah halaman sebenarnya di situs dan halaman yang diindeks hanya berperan saat memonetisasi situs. Jika ada kesenjangan yang besar, ruang untuk menjual tautan akan lebih cepat terjual.

Metode pengendalian dan pencegahan

Ada cara untuk menghindari situasi seperti itu, mari pertimbangkan solusinya:

1. Di panel Google Webmaster Dimungkinkan untuk secara fisik menghapus halaman yang tidak diinginkan dari indeks. Jika halaman ditutup di robots.txt atau menampilkan kode kesalahan 404, setelah menerima permintaan penghapusan, halaman tersebut akan meninggalkan indeks dalam beberapa hari. Jika “halaman dummy” banyak, cara ini kurang cocok, karena untuk setiap halaman Anda perlu mengirimkan lamaran tersendiri, yang totalnya akan memakan banyak waktu.
2. Metode kedua lebih rumit, tetapi akan menghilangkan masalah yang dijelaskan secara permanen. Anda perlu menyembunyikan halaman dari pengindeksan menggunakan konstruksi robot, yang ditulis di bagian kepala langsung di halaman. Berikut tampilannya:
   
   Anda perlu mengonfigurasi mesin situs sedemikian rupa sehingga ketika kesalahan 404 terjadi, sebuah rintisan dimuat - halaman kesalahannya sendiri (ini dapat dikonfigurasi dengan satu baris di .htaccess di hosting Unix). Di bagian kepala halaman rintisan ini kita menulis kode di atas. Sekarang, ketika Google mendeteksi tautan rusak, Google tidak akan menambahkannya ke indeks.

Pengembang Google menjelaskan pendekatan pengindeksan asli ini dengan fakta bahwa sering kali halaman yang menghasilkan kode kesalahan 404 tidak dapat diakses hanya untuk waktu yang singkat karena pengaturan server yang salah atau semacam kegagalan database. Pada saat yang sama, sering kali halaman seperti itu berisi konten yang bermanfaat. Google menambahkan halaman tersebut ke indeks dengan harapan halaman tersebut pada akhirnya akan berfungsi. Namun inilah alasan Google mengabaikan instruksi robots.txt - tidak ada penjelasan obyektif untuk hal ini, namun dalam praktiknya, hal ini sering terjadi.