საძიებო სისტემის რობოტი პასუხისმგებელია ვებგვერდების სეირნობაზე. პროგრამა ავტომატურად კითხულობს ყველა საიტის მონაცემებს და აღრიცხავს მათ საძიებო სისტემისთვის გასაგები ფორმით, ასე რომ შემდეგ სისტემაში გამოჩნდება მომხმარებლისთვის ყველაზე შესაფერისი შედეგები.
ფუნქციები
ინდექსირებული ინფორმაცია აღირიცხება საერთო მონაცემთა ბაზაში.
საძიებო რობოტი არის პროგრამა, რომელიც ავტომატურად გადაადგილდება ინტერნეტის გვერდებზე, ითხოვს საჭირო დოკუმენტებს და იღებს გადაზიდული საიტების სტრუქტურას. რობოტი დამოუკიდებლად ირჩევს სკანირების გვერდებს. უმეტეს შემთხვევაში, სკანირების საიტები შემთხვევით შერჩეულია.
ბოტის ტიპები
არასათანადოდ მოქმედი რობოტი მნიშვნელოვნად ზრდის დატვირთვას ქსელში და სერვერზე, რამაც შეიძლება გამოიწვიოს რესურსის მიუწვდომლობა.
თითოეულ საძიებო სისტემას აქვს რამდენიმე პროგრამა, რომელსაც რობოტებს უწოდებენ. თითოეულ მათგანს შეუძლია შეასრულოს კონკრეტული ფუნქცია. მაგალითად, Yandex– ში ზოგიერთი რობოტი პასუხისმგებელია RSS ახალი ამბების არხების სკანირებაზე, რაც გამოსადეგი იქნება ბლოგების ინდექსაციისთვის. ასევე არსებობს პროგრამები, რომლებიც მხოლოდ სურათებს ეძებენ. ამასთან, ყველაზე მთავარია ინდექსირების ბოტი, რომელიც საფუძვლად უდევს ნებისმიერ ძიებას. ასევე არის დამხმარე სწრაფი რობოტი, რომელიც შექმნილია ახალი ამბების არხებისა და მოვლენების განახლებების მოსაძიებლად.
სკანირების პროცედურა
შინაარსის სეირნობის თავიდან ასაცილებლად კიდევ ერთი გზაა სარეგისტრაციო პანელის საშუალებით საიტზე წვდომის შექმნა.
საიტზე შესვლისას, პროგრამა სკანირებს ფაილურ სისტემას robots.txt ინსტრუქციის ფაილების არსებობისთვის. თუ არსებობს დოკუმენტი, იწყება დოკუმენტში დაწერილი დირექტივების წაკითხვა. Robots.txt– მა შეიძლება აკრძალოს ან, პირიქით, დაუშვას საიტზე გარკვეული გვერდების და ფაილების სკანირება.
სკანირების პროცესი დამოკიდებულია პროგრამის ტიპზე. ზოგჯერ რობოტები მხოლოდ გვერდების სათაურებს და რამდენიმე აბზაცს კითხულობენ. ზოგიერთ შემთხვევაში, სკანირება ხდება მთელ დოკუმენტში, HTML ნიშნის მიხედვით, რაც ასევე შეიძლება გახდეს ძირითადი ფრაზების დაზუსტების საშუალება. ზოგიერთი პროგრამა სპეციალიზირებულია ფარულ ან მეტა თეგებში.
სიას ემატება
ყველა ვებმასტერს შეუძლია ხელი შეუშალოს საძიებო სისტემის გვერდების გადაადგილებას robots.txt ან META თეგის საშუალებით. ასევე, საიტის შემქმნელს შეუძლია ხელით დაამატოს საიტი ინდექსაციის რიგში, მაგრამ ამის დამატება არ ნიშნავს, რომ რობოტი დაუყოვნებლივ გახედავს სასურველ გვერდს. საიტის რიგში დამატება, საძიებო სისტემები ასევე უზრუნველყოფენ სპეციალურ ინტერფეისებს. საიტის დამატება მნიშვნელოვნად აჩქარებს ინდექსაციის პროცესს. ასევე, საძიებო სისტემაში სწრაფი რეგისტრაციისთვის შეგიძლიათ გამოიყენოთ ვებ ანალიტიკური სისტემები, საიტების დირექტორიები და ა.შ.
