ინდექსაცია არის საძიებო რობოტის მიერ ინტერნეტ რესურსზე განთავსებული ფაილების სკანირების პროცესი. ეს პროცედურა ხორციელდება ისე, რომ საიტი ხელმისაწვდომია საძიებო სისტემაში სხვადასხვა მოთხოვნის ძიების შედეგებში. დღეს ყველაზე დიდ საძიებო სისტემებს შორის არის Yandex, რომელიც ამ სკანირებას თავისებურად ახორციელებს.
ინსტრუქციები
Ნაბიჯი 1
ინტერნეტ საიტის ინდექსაცია ხორციელდება სპეციალური ავტომატური პროგრამებით - საძიებო რობოტებით, რომლებიც ავტომატურად ადევნებენ თვალყურს ახალი საიტების გამოჩენას მსოფლიო ქსელში, მუდმივად სკანირებენ ინტერნეტში განთავსებულ ინტერნეტ გვერდებს, ფაილებს და მათთან დაკავშირებულ ბმულებს თითოეულ რესურსზე.
ნაბიჯი 2
სკანირებისთვის რობოტი მიდის იმ დირექტორიაში, სადაც რესურსი მდებარეობს კონკრეტულ სერვერზე. ახალი საიტის არჩევისას რობოტი ხელმძღვანელობს მისი ხელმისაწვდომობით. მაგალითად, არსებობს მოსაზრება, რომ Yandex ჯერ სკანირებს რუსულენოვან დომენში და რუსულად შექმნილ საიტებს - ru, rf, su ან ua და მხოლოდ ამის შემდეგ გადადის სხვა რეგიონებში.
ნაბიჯი 3
რობოტი მიდის საიტზე და ათვალიერებს მის სტრუქტურას, პირველ რიგში ეძებს ფაილებს, რომლებიც შემდგომ ძიებას მიუთითებს. მაგალითად, საიტი სკანირდება Sitemap.xml ან robots.txt. ამ ფაილების გამოყენება შესაძლებელია სკანირების დროს საძიებო რობოტის ქცევის დასადგენად. საიტის რუკის (sitemap.xml) გამოყენებით რობოტი იღებს უფრო ზუსტ წარმოდგენას რესურსის სტრუქტურაზე. ვებდიზატორი იყენებს robots.txt იმ ფაილების დასადგენად, რომელთა ძებნის შედეგებში ჩვენება არ სურს. მაგალითად, ეს შეიძლება იყოს პირადი ინფორმაცია ან სხვა არასასურველი მონაცემები.
ნაბიჯი 4
ეს ორი დოკუმენტი დაასკანირა და მიიღო საჭირო ინსტრუქციები, რობოტი იწყებს HTML კოდის გაანალიზებას და მიღებული თეგების დამუშავებას. სტანდარტულად, robots.txt ფაილის არარსებობის შემთხვევაში, საძიებო სისტემა იწყებს სერვერზე შენახული ყველა დოკუმენტის დამუშავებას.
ნაბიჯი 5
დოკუმენტებში მოცემულ ბმულებზე დაწკაპუნებით, რობოტი ასევე იღებს ინფორმაციას სხვა საიტების შესახებ, რომლებიც ამ რესურსის შესაბამისად დგებიან სკანირებისთვის. სკანირებული ფაილები ინახება Yandex მონაცემთა ცენტრების სერვერებზე ტექსტური ასლისა და სტრუქტურის სახით.
ნაბიჯი 6
ხელახალი სკანირების საჭიროებას ასევე ავტომატურად განსაზღვრავენ რობოტები. პროგრამა ადარებს სკანირების არსებულ შედეგს საიტის განახლებულ ვერსიასთან, როდესაც ის კვლავ გაივლის ინდექსაციას. თუ პროგრამის მიერ მიღებული მონაცემები განსხვავდება, საიტის ასლი განახლდება Yandex სერვერზეც.
