СОВРЕМЕННЫЕИНФОРМАЦИОННО-ПОИСКОВЫЕСИСТЕМЫ.

НазареразвитиякомпьютерныхтехнологийиИнтернетавопроспоисканужнойинформациинасайтахнестоялтакостро,таккаксайтоввтовремяпоотношениюксегодняшнимднямбылосовсемнемного.Втегодыпоискосуществлялсяпотематическимкаталогамсайтов,иэтогобылодостаточно.Первымтакимкаталогомв1994годусталYahoo.Тогдаэтотресурсещенебылпоисковоймашиной,апредставлялсобойкаталогзарегистрированныхнанемсайтов.Такжестоитотметить,чтоИнтернетомпользовалисьвосновномсотрудникинаучныхорганизацийипреподавателиуниверситетов.ШирокаяаудиториявоВсемирнуюпаутинупоканепопала.

Прорывначалсявовторойполовине1990-хгодов.В1995годупоявилисьпервыеполноценныепоисковыесистемы–LucosиAltavista.В1997годупоявилисьGoogleиYandex–сегодняшниелидерысредипоисковыхсистемвРоссииивмире.

Далее–долгийпутьсовершенствованияалгоритмовпоиска,созданиесвоихбазданных.Витогеоказалось,чтоуспешноэтизадачимогутрешатьлишьединицы–насегодняшнийденьтолькотрипоисковыхсистемызарубежомобладаютсвоимиалгоритмамипоискаиинформационнымибазами-Google,Yahoo,MSNSearch.ВРоссииэто–ЯндексиSearch.Mail.ru.Поисковаясистемасостоитизследующихкомпонентов:

· WEB-сервер:компьютер,вкоторомнаходитсяпоисковаямашина;

· паук–программа,разработаннаядлясканированияиработающаясHTML-кодомстраницынапрямую,скачиваетеевбазуданныхпоисковоймашины;

· путешествующийпаук–программадляанализавнешнихссылокстраниц;

· индексатор–анализируетHTML-код,т.еиндексируетскачанныеWEB-страницы;

· базаданных–здесьхранятсязакаченныеWEB-страницы;

· поисковыйдвижок,которыйвыдаетрезультаты,–именноэтапрограммарешаетпорядоксоответствияWEB-страницзапросампользователей,т.еформируетвыдачу.

ФОРМУЛИРОВАНИЕЗАПРОСОВВИПС.

Благодарявнедрениюновыхязыковыхтехнологийпоисковыесистемысталигораздолучшепониматьпользователя.Поисковикимогутискатькакзапрашиваемоеслово,такиегословоформы.Этопозволяетделатьболееточнымирезультатыпоиска.Конечно,страницысословоформаминебудутвчислепервыхрезультатовпоиска,ноэлементыискусственногоинтеллектаналицо.Этотфактнеобходимоучитыватьприпостроениипоисковыхзапросов.

Следуетпомнитьотом,чтопоисковыесистемыприобработкезапросанеучитываютположениерегистрасимволов,знакипрепинания,таккакониигнорируютсяпоисковымисерверами.Однакоприпостроениирасширенныхзапросов,дающихболееточныерезультатыпоиска,традиционныезнакипрепинанияиспользуются.Большинствопоисковыхсистемможетборотьсясопечатками.

Основнаязадачапользователяприсоставлениипоисковогозапроса—выделитьключевыеслова,задачапоисковогосервера—наилучшимобразомобработатьвведенныйзапрос.Вотнесколькоправилсоставлениязапросов:

• выбиратьнеобходимотолькосамыеважныеключевыеслова,касающиесярассматриваемойтемы;

• количествословдолжнобытьоптимальным(неслишкоммного,ноинеслишкоммало);

• приотрицательныхрезультатахпоиска,необходимоиспользоватьболее«мягкие»условиядляпоследующегозапросаилииспользоватьальтернативнуюпоисковуюсистему(таккакмеханизмыработыпоисковиковотличаютсядруготдруга,тоирезультатытакжемогутразличаться);

• дляобеспеченияболееэффективногопоисканеобходимоиспользоватьвозможностирасширенногопоискасуказаниеммножестваразличныхпараметров,атакжепоискасиспользованиемязыказапросов.

DATAMINING

Развитиеметодовзаписиихраненияданныхпривелокбурномуростуобъемовсобираемойианализируемойинформации.Объемыданныхнастольковнушительны,чточеловекупростонепосилампроанализироватьихсамостоятельно,хотянеобходимостьпроведениятакогоанализавполнеочевидна,ведьвэтих"сырых"данныхзаключенызнания,которыемогутбытьиспользованыприпринятиирешений.Длятогочтобыпровестиавтоматическийанализданных,используетсяDataMining.

DataMining–этопроцессобнаруженияв"сырых"данныхранеенеизвестныхнетривиальныхпрактическиполезныхидоступныхинтерпретациизнаний,необходимыхдляпринятиярешенийвразличныхсферахчеловеческойдеятельности.DataMiningявляетсяоднимизшаговKnowledgeDiscoveryinDatabases.

Информация,найденнаявпроцессепримененияметодовDataMining,должнабытьнетривиальнойиранеенеизвестной,например,средниепродажинеявляютсятаковыми.Знаниядолжныописыватьновыесвязимеждусвойствами,предсказыватьзначенияоднихпризнаковнаосноведругихит.д.Найденныезнаниядолжныбытьприменимыинановыхданныхснекоторойстепеньюдостоверности.Полезностьзаключаетсявтом,чтоэтизнаниямогутприноситьопределеннуювыгодуприихприменении.Знаниядолжныбытьвпонятномдляпользователянематематикавиде.Например,прощевсеговоспринимаютсячеловекомлогическиеконструкции"если…то…".Болеетого,такиеправиламогутбытьиспользованывразличныхСУБДвкачествеSQL-запросов.Вслучае,когдаизвлеченныезнаниянепрозрачныдляпользователя,должнысуществоватьметодыпостобработки,позволяющиепривестиихкинтерпретируемомувиду.

Алгоритмы,используемыевDataMining,требуютбольшогоколичествавычислений.РаньшеэтоявлялосьсдерживающимфакторомширокогопрактическогопримененияDataMining,однакосегодняшнийростпроизводительностисовременныхпроцессоровснялостротуэтойпроблемы.Теперьзаприемлемоевремяможнопровестикачественныйанализсотентысячимиллионовзаписей.