Поиск по сайту - статичный контент (Perl).

название страницы - эту информацию мы будем брать из тега страницы;</DIV> <LI> <DIV align=justify>краткое описание страницы - эту информацию мы будем брать из мета-тега description страницы.</DIV></LI></UL> В качестве "подопытного кролика" я выбрал портал <A href="http://www.alfakmv.ru/" target=_blank>АльфаКМВ</A>. Этот ресурс имеет в своем составе немногим более 3000 страниц разной вложенности в папках и можно спокойно оценить скорость работы нашей поисковой системы. <H2>1. Способ первый: использование встроенных функций </H2> Хоть MySQL считается не особо "навороченной" базой данных (хотя я лично так не считаю), у неё есть неоспоримые плюсы - это простота использования, а основной, в нашем случае, индекс FULLTEXT, который без особых сложностей организует нам прекрасный поиск. нужно просто приложить к этому небольшие усилия: 1.1. Организация таблицы Индексная таблица состоит всего из четырех полей - ссылка на страницу (url), заголовок страницы (title), описание страницы (description) и текстовая часть (полнотекстовый индекс): <DIV>CREATE TABLE `search` ( `url` varchar(250) NOT NULL, `title` text NOT NULL, `description` text NOT NULL, `search` text NOT NULL, PRIMARY KEY (`url`), FULLTEXT KEY `s` (`search`) ) TYPE=MyISAM;</DIV> 1.2. Рекурсия Вторым этапом нам нужно пройтись по всем папкам и файлам сайта для индексации, для чего воспользуемся рекурсией. ... Рекурсия - вызов функции или процедуры из неё же самой (обычно с другими значениями входных параметров), непосредственно или через другие функции (например, функция А вызывает функцию B, а функция B — функцию A). Количество вложенных вызовов функции или процедуры называется глубиной рекурсии. ... Следует избегать избыточной глубины рекурсии, так как это может вызвать переполнение стека. ... Задумчиво, но так как мы не знаем глубину папок в которых могут лежать файлы сайта, то прийдется использовать её, хотя можно поискать на <A href="http://search.cpan.org/" target=_blank>CPAN</A>, но мне кажется, это лишняя трата времени, быстрее написать самому. Создаем скрипт, который будет индексировать наш сайт, назовем его index.pl. <DIV>#!/usr/bin/perl # Подключаем основные модули use strict; use warnings; use DBI; # "Локаль" - обязательно, т.к. кириллицу мы будем использовать и в регах use locale; use POSIX qw(locale_h); setlocale(LC_CTYPE, 'ru_RU.CP1251'); setlocale(LC_ALL, 'ru_RU.CP1251'); # Обозначаем глобальные переменные use vars '$dbh', '$url_start', '$dir_start', '@dir_filter', '@file_type'; # Директория DocumentsRoot сайта $dir_start = '/var/www/my_sites/html'; # Домен сайта $url_start = 'http://www.my_sites.ru'; # Фильтр директорий (директории, которые исключаются из индексации) @dir_filter = ( 'cgi-bin', 'images', 'temp', ); # Фильтр файлов (какие расширения файлов индексировать) @file_type = ( 'shtml', 'html', 'htm', ); # Сразу отправляем заголовок браузеру print "Content-type: text/html; charset=windows-1251 "; # Открываем временный файл для хранения данных open (TMP, '>>', '/var/www/my_sites/cgi-bin/search/search.txt'); flock (TMP, 2); # Передаем управление процедуре рекурсии &recursion(); # Закрываем временный файл close TMP; &update_db; print 'Индексация завершена!'; exit; sub recursion { # Получаем текущую директорию рекурсии относительно DocumentsRoot my $postfix = shift || undef; # Формируем абсолютный путь текущей директории my $dir = $dir_start.($postfix || ''); # Объявляем локальным переменные FOLDER (в основном нам нужен дескриптор*) local *FOLDER; # Открываем директорию opendir (FOLDER, $dir); # И последовательно считываем while (my $item = readdir FOLDER) { # "отсекаем" элементы '.' и '..' что бы не "выскочить" на директорию выше next if $item eq '.' || $item eq '..'; # Определяем относительный путь my $path = ($postfix || '').'/'.$item; # Если элемент списка - директория, то порождаем процедуру вглубь рекурсии &recursion($path) if -d $dir.'/'.$item && !map {$path =~ /^/$_/} @dir_filter; # Если элемент списка - файл, то передаем относительный путь к нему в процедуру обработки &file_parse($path) if -f $dir.'/'.$item && map {$path =~ /.$_$/} @file_type; } # Закрываем директорию close FOLDER; # ... и возвращаемся return 1; }</DIV> Как видно - никаких сложностей. Однако хочу заметить, что в глубь рекурсии мы уходим только для директорий, а не символьных ссылок, причем, я бы и не рекомендовал использовать символьные ссылки, чтобы рекурсия не зациклилась во время обработки. 1.3. Предварительное формирование данных или просто формирование данных Третий этап - подготовка файла и индексации. Так как очень часто на страницах сайта используются SSI внедрения, то их нужно будет включить в основное тело страницы. ... в одном разделе сайта дизайнер внедрил красивый заголовок через SSI, когда поисковая система проиндексировала страницы, то ключевые слова заголовка были пропущены, и поиск осуществлялся "криво" ... <DIV>sub file_parse { # Получаем относительный путь к файлу my $file = shift; # Открываем файл страницы open (FILE, "$dir_start$file"); # Объявляем переменную в которой бодем собирать контент my $content; # Построчно производим обработку while (<FILE>) { $_ =~s //&_include_ssi($file ,$1)/eg; if ($content) {$content .= $_} else {$content = $_} } # Закрываем файл страницы close FILE; # Обработка контента # Убираем "жесткие" пробелы и пробельные символы $content =~s / / /gi; $content =~s /[s ]/ /gi; # Выбираем заголовок и описание страницы my ($title) = $content =~ /<title>(.*)<\title>/i; my ($description) = $content =~ /<meta.*description.*content=(.*?)>/i; # Производим "чиску" контента оставляя только символы $content =~s /[^w-s]/ /g; $content =~s /s{2,}/ /g; # Отправляем обработанный контент, путь, заголовок и описание в процедуру обновления БД &update_data($content, $title, $description, $file); return 1; } sub _include_ssi { # Получаем имя HTML файла и имя файла SSI my ($file, $ssi) = @_; # Объявляем переменную - путь к файлу внедряемому через SSI my $path; # Если файл берется из корня if ($ssi =~ /^[\/]{2}/) { $path = $dir_start.$ssi; # "Чистим" двойные "слеши" $path =~s /([\/]){2,}/$1/g; # Иначе } else { # Определяем директорию основного файла my ($path) = $file =~ /(.*)[/\].*?/; if ($path) {$path .= $ssi} else {$path = $ssi} # "Чистим" двойные "слеши" $path =~s /([\/]){2,}/$1/g; } # считываем контент файла open (SSI, $path); my $content = join('', <SSI>); close SSI; # Возвращаем контент файла return $content }</DIV> В данной процедуре, производится обработка контента файла. Хочу заметить, что <a href=http://karman.com.ua/forum/topic10089.html>SSI</a> я обрабатываю только для директивы include virtual, при этом не проверяю внедряемый файл, если же через include virtual внедряются скрипты или используются дополнительные директивы, то данный код нужно будет соответственно доработать. Так же может возникнуть вопрос, почему я разбиваю скрипт на такие маленькие процедуры, когда, по большому счету, достаточно было бы описать это в одной процедуре - все это только лишь для того что бы облегчить понимание предмета, а последнее вынесение процедуры update_data - потому что дальше способы индексации разнятся между собой. 1.4. Обновление блока данных В общем, в эту процедуру мы передаем уже практически готовые данные для вставки в базу данных, поэтому: Для варианта с LOAD DATA: <DIV>sub update_data { # Получаем данные my ($content, $title, $description, $file) = @_; # Формируем строку my $line = $url_start.$file." ".$title." ".$description." ".$$content." "; # Записываем строку во временный файл print TMP $line; return 1; }</DIV> для варианта с INSERT INTO: <DIV>sub update_data { # Получаем данные my ($content, $title, $description, $file) = @_; # Формируем запрос my $update = "INSERT INTO wm5_search_one SET url = '$url_start$file', title = '$title', description = '$description', search = '$$content' "; # Выполняем запрос к БД $dbh->do($update); return 1; }</DIV> Правда, во втором варианте нужно не забыть предварительно подключится к базе данных. 1.5. Обновление базы данных Можно рассмотреть два варианта обновления данных: <UL> <LI> <DIV align=justify>сформировать временный файл с данными для последующей выгрузки в базу данных с помощью команды LOAD DATA;</DIV> <LI> <DIV align=justify>последовательно вставлять записи с помощью команды INSERT;</DIV></LI></UL> Если мы обновлять данные будем с помощью LOAD DATA. Информация уже сформирована и требуется только обновить базу данных: <DIV>sub update_db { # Подключаемся к базе данных $dbh = 'DBI'->connect('DBI:mysql:database=search;host=localhost;port=3306', 'user', 'password') or die $DBI::errstr; # Обнуляем таблицу $dbh->do('DELETE FROM search;') or die $DBI::errstr; # Загружаем данные $dbh->do('LOAD DATA INFILE "/var/www/my_sites/cgi-bin/search/search.txt" INTO TABLE search;') or print "ERROR!!! $DBI::errstr "; # Отключаемся от базы данных $dbh->disconnect(); # Удаляем временный файл unlink '/var/www/my_sites/cgi-bin/search/search.txt'; 1; } </DIV> Хочу обратить внимание на то что я указываю абсолютные пути к временному файлу. Это условие обязательное, так как скрипт рассчитывается на запуск с помощью cron. Теперь рассмотрим особенности обновления данных, с помощью INSERT, и с помощью LOAD DATA. Довольно противоречивое мнение у меня сложилось по поводу выбора способа обновления. С одной стороны команда INSERT очень медленная, но с другой, тратится меньше ресурсов. Я протестировал оба варианта, благо изменения скриптов для этого не большие (вместо дописывания данных во временный файл вставляем запись в таблицу, а процедуру обновления базы данных опускаем). Итак, что получилось: Тестирование производилось, на одном и том же сайте но на разных серверах (более и менее мощном), сайт все тот же ~3000 статичных страниц: Более мощный сервер - P4 2.8 (HyperThreading), 800 Mhz FSB, память двухканальная 400 Mhz Kingston 512 MB, Promise UltraDMA133, 2 х 40Gb (Seagate Barracuda) зеркало (на нем сайт) и еще 120 Gb (Maxtor) SATA (на нем ядро SuSE 9.2, MySQL 4.0.18). <UL> <LI> <DIV align=justify>При использовании INSERT индексация производилась в течение 130-140 секунд объем данных таблицы 105'961'780 байт;</DIV> <LI> <DIV align=justify>При использовании LOAD DATA индексация производилась в течение 110-120 секунд (40-50 секунд - формирование временного файла, 60-70 секунд обновление базы данных), размер временного файла - 106'216'954, объем данных таблицы - тот же;</DIV></LI></UL> Прирост производительности не большой - 15%, но во время обновления базы данных сама база находилась "в трансе", т.е. другие обращения к базе данных происходили с большой задержкой. Отсюда можно сказать - быстрее, но не рациональнее. Более слабый сервер - P4 2.4, 533 Mhz FSB, память 333 Mhz 1024 MB, 20 Gb (Samsung 7200) на нем ядро Red Hat 7.3, MySQL 4.0.18 и сайт. <UL> <LI> <DIV align=justify>При использовании INSERT индексация производилась в течение 600-900(!) секунд объем данных таблицы 105'961'780 байт;</DIV> <LI> <DIV align=justify>При использовании LOAD DATA индексация производилась в течение 250-300 секунд (100-120 секунд - формирование временного файла, 150-200 секунд обновление базы данных), размер временного файла - 106'216'954, объем данных таблицы - тот же;</DIV></LI></UL> Конечно, большой разброс по времени дало количество текущих процессов (видимо сказалось отсутствие HyperThreading), но результат показывает, что прирост производительности составил, как минимум 100%, и хотя база данных была дольше "в трансе", но не в таком глубоком (почему - сложно сказать конфиги MySQL идентичны, может большее количество оперативной памяти сказалось). Итак - решать Вам по какому пити идти, все зависит от сервера, его возможностей и ограничений. 1.6. Скрипт вывода результатов поиска Вот теперь самое интересное, зачем мы собственно делали столько манипуляций. Я не буду особо расписывать данный скрипт: формировать постраничный вывод, "наводить красоту" и так далее... просто сделаю скелет: <DIV>#!/usr/bin/perl # Подключаем основные модули use strict; use warnings; use DBI; use CGI qw(param); use locale; use POSIX qw(locale_h); setlocale(LC_CTYPE, 'ru_RU.CP1251'); setlocale(LC_ALL, 'ru_RU.CP1251'); # Получаем поисковый запрос my $search = param('search') || undef; # Сразу отправляем заголовок браузеру print "Content-type: text/html; charset=windows-1251 "; # Форма запроса print '<form action='' method=get>'; print '<input type=text name=search value="'.($search || '').'">'; print '<input type=submit value=search>'; print '</form>'; # Если запрос пустой, то останавливаем скрипт unless ($search) {print 'Результатов запроса - 0'; exit} # На всякий случай "чистим" полученные данные $search =~s /[^ws-]/ /g; # "Сжимаем" пробельные символы $search =~s /s+/ /g; # Подключаемся к базе данных my $dbh = 'DBI'->connect('DBI:mysql:database=search;host=localhost;port=3306', 'user', 'password') || die $DBI::errstr; # Формируем запрос my $sql = "SELECT url, title, description, MATCH (search) AGAINST ('$search') AS score FROM search WHERE MATCH (search) AGAINST ('$search') LIMIT 50"; my $sth = $dbh->prepare($sql); $sth->execute() || die $DBI::errstr; # Устанавливаем счетчик my $i = 1; while (my $row = $sth->fetchrow_hashref()) { # Печатаем строку результата print $i, ' - <a href="', $$row{'url'}, '">', $$row{'title'}, '<a> ', $$row{'description'}, ' '; $i++ } $sth->finish(); # Отключаемся от базы данных $dbh->disconnect(); if ($i == 1) {print 'Результатов запроса - 0'} else {print 'Результатов запроса - ', $i - 1} exit;</DIV> Практически наш скрипт готов. Он прекрасно отрабатывает полнотекстовый поиск, при этом без особых сложностей. 1.7. Дополнительные возможности Для начала, (хотя это нужно было сделать в самом начале) ознакомимся с документацией MySQL - <6.8. Полнотекстовый поиск в MySQL> в данном документе сказано, что существует возможность усложнения поискового запроса по индексу, то есть определить "вес" слов, а так же использовать их "усечение". Доработав немного скрипт поиска можно создать "сносную" поисковую машину, которая учитывает морфологию. Для этого сделаем следующее: а). в переменной поискового запроса заменим два-три последних символа в каждом слове, а так же добавим разрешенные символы: <DIV>... $search =~s /[^wds-"+~<>]/ /g; # "Сжимаем" пробельные символы $search =~s /s+/ /g; $search =~s /([wd-]+)[wd-]{2}/$1*/g; $search =~s /s*s/ /g; ...</DIV> б). в запросе к базе данных укажем IN BOOLEAN MODE: <DIV>... my $sql = "SELECT url, title, description, MATCH (search) AGAINST ('$search' IN BOOLEAN MODE) AS score FROM search WHERE MATCH (search) AGAINST ('$search' IN BOOLEAN MODE) LIMIT 50"; ...</DIV> Но, хочу сразу оговорится: при использовании BOOLEAN MODE на редкость плохо считается релевантность* и результаты запроса не сортируются, поэтому использовать эту функцию - IMHO не стоит. И на помощь приходит "солдатская смекалка", что нам мешает во время индексации формировать двойной контент с полными словами и с "обрезанными" и так же расширить подобным образом запрос? а). в скрипте индексации, после "чистки" контента файла: <DIV>... my $content2 = $content; $content2 =~s /([w-]+)[w-]{2}/$1/g; $content2 =~s /s[w-]s/ /g; $content .= $content2; ... </DIV> б). в поисковом скрипте, после "передачи" формы: <DIV>... my $search2 = $search; $search2 =~s /([w-]+)[w-]{2}/$1/g; $search2 =~s /s[w-]s/ /g; $search .= ' '.$search2; ... </DIV> И "о чудо!!!" скрипт начал искать, то что раньше его было не заставить. Конечно имеет смысл еще "поиграть" с количеством обрезаемых символов в словах и формировать не "двойной" поисковый запрос, а "тройной" и более... но это дело техники... Так же, не нужно забывать о том, что именно ищут пользователи на Вашем сайте. Для того, что бы это определись, достаточно сохранять поисковые запросы пользователей, а потом анализировать их. В соответствии с анализом корректировать контент на страницах для более "правильного" поиска (например: пришлось включить в контент страниц слово "анегдот", потому как половина пользователей искала именно его). *ПРИМЕЧАНИЕ: Это не написано в официальной документации, но как показывает практика, при использовании IN BOOLEAN MODE, отключается критерий поиска фразы, то есть, если в поисковом запросе несколько слов, то они ищутся не как фраза, а каждое слово отдельно, при этом совпадение слова определяется как 1, коэффициент релевантности в итоге получается целое число, варьировать дробной частью которого возможно только "весом" слов, что не приемлемо для большинства пользователей. 1.8. "Грабли", "подводные камни" и немного об оптимизации К сожалению, рассказать обо всех нюансах я просто не в состоянии, на это не хватит времени, но какие-то основные описать могу: <UL> <LI> <DIV align=justify>кодировка в базе данных, по умолчанию у меня стоит всегда cp1251, возможно поэтому я не испытывал особо трудностей во время поисков, менять на другую кодировку ради проверки - я не стал;</DIV> <LI> <DIV align=justify>кодировка (локализация) в скрипте CP1251, не всегда эта кодировка по умолчанию установлена на сервере, если будет наблюдаться не адекватное поведение, то её требуется проверить (вообще, насчет кодировки cp1251 - это не панацея, просто я использую её); </DIV> <LI> <DIV align=justify>полнотекстовый индекс по умолчанию индексирует слова размером более 3-х символов (слова из 3-х символов - не индексируются). Если требуется индексировать слова менее 4-х символов, то нужно будет настроить конфиг MySQL, как это сделано, прекрасно описано в главе <<A href="http://dev.mysql.com/doc/mysql/ru/fulltext-fine-tuning.html">6.8.2. Тонкая настройка полнотекстового поиска в MySQL</A>>. В связи с этим можно так же исключать из поля search таблицы слова размер которых менее индексного, для экономии места;</DIV></LI></UL> Вот, собственно, и все, просто и компактно. Пора заняться настоящим "весельем"... :-) <H2>2. Способ второй: "Изобретаем велосипед" или "Пляски с бубнами"</H2> ... А в PostrgeSQL FULLTEXT нету :(... (Цитата из ЖЖ) Достаем из тумбочки старый любимый бубен, разжигаем костер и начинаем готовится к пляске. Сразу хочу сказать, что данное решение мне нравится больше: <UL> <LI>во-первых - используются стандартные инструменты, что позволяет сделать поисковую систему максимально кроссплатформенной; <LI>во-вторых - возможность более "тонкой" настройки поисковой системы в целом и в частности. </LI></UL> По каким критериям производится поиск по сайту: <UL> <LI>совпадение слова - это само собой; <LI>"вес" слова на страницы, то есть количество повторов слова на странице. </LI></UL> При этом я совершенно не учитываю расположение слова на странице и то, находятся ли поисковые слова рядом, или же в разных частях документа. С одной стороны - это плохо, но с другой - мы же не пишем поисковую систему Google, нам нужно найти что-либо в пределах одного сайта, поэтому излишние критерии релевантности - ни к чему, только лишняя головная боль и бесполезная трата ресурсов. Для нашей поисковой системы нужно будет создать три таблицы: <UL> <LI> <DIV align=justify>слова (search_main) - таблица в которой хранятся (раздельно!) все поисковые слова сайта, страница к которой они относятся и их вес;</DIV> <LI> <DIV align=justify>страницы (search_page) - URL, заголовки и описания страницы. Хотя возможно эти данные хранить применительно к каждому поисковому слову, но это тоже лишняя трата ресурсов;</DIV> <LI> <DIV align=justify>фильтр (search_filter) - список слов не включаемых в поисковые - это имена стилей, некоторые теги, операторы JavaScript; в общем, те слова, которые не требуются для поиска.</DIV></LI></UL> 2.1. Организация таблиц Структура таблиц и связей выглядит так: <IMG src="http://www.woweb.ru/catalog/116/1077329020/img/3.gif" border=0> Команды на создание таблиц: CREATE TABLE `search_filter` ( `word` varchar(100) NOT NULL, `note` varchar(100) NULL, PRIMARY KEY (`word`) ) TYPE=MyISAM; CREATE TABLE `search_main` ( `word` varchar(100) NOT NULL default '', `page` int(11) NOT NULL default '0', `relevance` int(11) NOT NULL default '0', KEY `word` (`word`,`page`) ) TYPE=MyISAM; CREATE TABLE `search_page` ( `id` int(11) NOT NULL, `url` varchar(200) NOT NULL default '', `title` varchar(200) NOT NULL default '', `description` text NOT NULL, PRIMARY KEY (`id`) ) TYPE=MyISAM; 2.2. Предварительное формирование данных или просто формирование данных Не будем возвращаться к рекурсии и обработке файла, так как они идентичны (о чем было сказано выше). Итак, что мы должны сделать в этой процедуре. Контент практически подготовлен, нужно сформировать 2 блока (файла) данных. Для этого в самом начале <a href=http://karman.com.ua/forum/topic5092.html>скрипта</a> откроем для последовательной записи (если они не были заранее очищены, то их очищаем) и выберем слова исключения (search_filter). Так же в начале скрипта мы определяем глобальную переменную $i =1 которая будет у нас идентификатором страницы, вот почему мы не указали при создании таблиц автоматических счетчиков. Объясняю почему: <UL> <LI> <DIV align=justify>во-первых, данные вставляются в базу данных не сразу, а после обработки всей информации, а нам нужно будет сразу определять связь слово->страница;</DIV> <LI> <DIV align=justify>во-вторых, даже при последовательном внесении информации в базу данных, прийдется делать дополнительный запрос для определения последнего идентификатора страницы;</DIV> <LI> <DIV align=justify>в-третьих, таблица базы данных пустая, и за уникальность идентификаторов можно не волноваться.</DIV></LI></UL> <DIV>#!/usr/bin/perl # Подключаем основные модули use strict; use warnings; use DBI; use locale; use POSIX qw (locale_h); setlocale(LC_CTYPE, 'ru_RU.CP1251'); setlocale(LC_ALL, 'ru_RU.CP1251'); # Обозначаем глобальные переменные use vars '$dbh', '$url_start', '$dir_start', '@dir_filter', '@file_type', '$i', '%filter'; # Инициализируем идентификатор страниц $i = 1; # Директория DocumentsRoot сайта $dir_start = '/var/www/sites/alfakmv/html'; # Домен сайта $url_start = 'http://www.alfakmv.ru'; # Фильтр директорий (директории, которые исключаются из индексации) @dir_filter = ( 'cgi-bin', 'images', 'temp', ); # Фильтр файлов (какие расширения файлов индексировать) @file_type = ( 'shtml', 'html', 'htm', ); # Коннектимся $dbh = 'DBI'->connect('DBI:mysql:database=search;host=localhost;port=3306', 'user', 'pass') || die $DBI::errstr; # Выбираем слова - исключения my $sql = 'SELECT word FROM search_filter'; my $sth = $dbh->prepare($sql); $sth->execute() || die $DBI::errstr; while (my $row = $sth->fetchrow_hashref()) {$filter{$$row{'word'}} = 1} $sth->finish(); # Очищаем таблицы базы данных $dbh->do('DELETE FROM search_main'); $dbh->do('DELETE FROM search_page'); # Сразу отправляем заголовок браузеру print "Content-type: text/html; charset=windows-1251 "; open (WORDS, '>>', '/var/www/my_sites/cgi-bin/search/words.txt'); flock WORDS, 2; open (PAGES, '>>', '/var/www/my_sites/cgi-bin/search/words.txt'); flock PAGES, 2; # Передаем управление процедуре рекурсии &recursion(); close PAGES; close WORDS; &update_db; exit; </DIV> 2.3. Обновление блока данных Определим основные действия процедуры: <UL> <LI>сформировать строку для блока данных страниц, и записать её в файл; <LI>обработать контент страницы, подсчитать вес слов и сформировать список; <LI>дописать список в блок данных (файл) слов; </LI></UL> <DIV>sub update_data { # Получаем данные my ($content, $title, $description, $file) = @_; # Формируем строку блока данных страниц и записываем её в файл my $line = $i." ".$url_start.$file." ".$title." ".$description; print PAGES $line, " "; # Переводим текст, контент страницы, в нижний регистр $$content =~tr /A-ZxA8xC0-xDF/a-zxB8xE0-xFF/; # Определяем хеш для подстчета веса слов my %words; foreach my $word (split(' ', $$content)) { # Фильтрация слов next if length $word < 3; # Примечание* next if exists $filter{$word}; # Формируем хеш слов и их вес if (exists $words{$word}) {$words{$word}++} else {$words{$word} = 1} } # Формируем строки блока данных слов foreach my $word (keys %words) { my $line = $word." ".$i." ".$words{$word}; print WORDS $line, " "; } # Обновляем идентификатор страницы $i++; return 1; }</DIV> *ПРИМЕЧАНИЕ: Цифра 3 как раз и отвечает за размер слова, которые разрешены для индексации 2.4. Обновление базы данных Данная процедура просто выгружает в базу данных наши два файла, после чего их удаляет sub update_db { # Загружаем данные $dbh->do("LOAD DATA INFILE "/var/www/sites/alfakmv/cgi-bin/search2/words.txt" INTO TABLE search_main;") || die "ERROR!!! $DBI::errstr "; $dbh->do("LOAD DATA INFILE "/var/www/sites/alfakmv/cgi-bin/search2/pages.txt" INTO TABLE search_page;") || die "ERROR!!! $DBI::errstr "; # Удаляем временные файлы unlink '/var/www/sites/alfakmv/cgi-bin/search2/words.txt'; unlink '/var/www/sites/alfakmv/cgi-bin/search2/pages.txt'; return 1; } Правда еще хотел оговориться, что при индексации формируются файлы по объему соразмерные с объемом текстовой части сайта, поэтому могут возникнуть проблемы с лимитом дискового пространства на хостинге. На этом, с индексацией все. Я даже не рассматриваю варианты обновления данных с помощью команд LOAD DATA и INSERT так как, в таблицу слов вставляется записей не на один порядок больше чем в первом варианте с FULLTEXT (~3000 против ~2000000), а таблицу страниц - ровно такое же количество, правда в гораздо меньшем объеме. 2.5. Скрипт вывода результатов поиска В данный скрипт особо не отличается от скрипта первого варианта, единственное радикальное различие - запрос к базе данных, он более сложный, так как выборка производится из двух таблиц, условие основано на списке слов поискового запроса и прочие мелочи... #!/usr/bin/perl # Подключаем основные модули use strict; use warnings; use DBI; use CGI qw(param); use locale; use POSIX qw(locale_h); setlocale(LC_CTYPE, 'ru_RU.CP1251'); setlocale(LC_ALL, "ru_RU.CP1251"); # Получаем поисковый запрос my $search = param('search') || undef; # Сразу отправляем заголовок браузеру print "Content-type: text/html; charset=windows-1251 "; # Форма запроса print '<form action='' method=get>'; print '<input type=text name=search value="'.($search || '').'">'; print '<input type=submit value=search>'; print '</form>'; # Если запрос пустой, то останавливаем скрипт unless ($search) {print 'Результатов запроса - 0'; exit} # На всякий случай "чистим" полученные данные $search =~s /[^ws-]/ /g; # "Сжимаем" пробельные символы $search =~s /s+/ /g; # Подключаемся к базе данных my $dbh = 'DBI'->connect('DBI:mysql:database=search;host=localhost;port=3306', 'root', 'dfkmrbhbz') || die $DBI::errstr; # Формируем запрос my @search = split(' ', $search); my $sql = "SELECT t2.url, t2.title, t2.description, SUM(t1.relevance) AS score FROM search_main AS t1, search_page AS t2 WHERE t1.word IN ('".join("','",@search)."') AND t1.page = t2.id GROUP BY t1.id ORDER BY score DESC LIMIT 50"; my $sth = $dbh->prepare($sql); $sth->execute() || die $DBI::errstr; # Устанавливаем счетчик my $i = 1; while (my $row = $sth->fetchrow_hashref()) { # Печатаем строку результата print $i, ' - <a href="', $$row{'url'}, '">', $$row{'title'}, '<a> ', $$row{'description'}, ' - ', $$row{'score'},' '; $i++ } $sth->finish(); # Отключаемся от базы данных $dbh->disconnect(); if ($i == 1) {print 'Результатов запроса - 0'} else {print 'Результатов запроса - ', $i - 1} exit; Вот и все, совсем все, осталось сравнить эти 2 способа. <H2>3. Сравнение</H2> Сравнение проводилось на одном и том же сервере, индексировался один и тот же сайт. <TABLE cellSpacing=0 cellPadding=0 width="90%" align=center border=1> <TBODY> <TR> <TD align=right width="40%"> </TD> <TD align=middle width="30%">С использованием FULLTEXT </TD> <TD align=middle width="30%">Ручная обработка </TD></TR> <TR> <TD align=right>Объем занимаемых данных (относительно друг друга) </TD> <TD align=middle>1</TD> <TD align=middle>0,43</TD></TR> <TR> <TD align=right>Скорость индексации (относительно друг друга, средняя величина, индексация с помощью команды FULLTEXT) </TD> <TD align=middle>1</TD> <TD align=middle>0,97</TD></TR> <TR> <TD align=right>Скорость поискового запроса к базе данных </TD> <TD align=middle>0,02 сек (~3 300 записей)</TD> <TD align=middle>0,31 сек (~2 300 000 записей)</TD></TR></TBODY></TABLE> В итоге мы видим, что несмотря на то что объем данных во втором способе гораздо меньше (индекс FULLTEXT довольно объемный), скорость индексации отличается незначительно (если совсем не отличается), а вот запрос для выборки результатов гораздо медленнее. Это связано с гораздо большим количеством записей, и более сложным запросом из двух таблиц. Можно, конечно, во втором способе данные о странице хранить в основной таблице, но при этом объем данных увеличивается в 5-6 раз, а скорость запроса убыстряется всего на 10-15 %, что, впрочем, не актуально. Впрочем, для небольших сайтов оба варианта будут одинаково приемлемы, так как все таки тестирование проводилось на сайте, имеющем более 3000 статичных страниц. При этом результаты выполнения запроса практически идентичны в обоих случаях, различие было только в порядке вывода (релевантности), что никак не сказывалось на правильности поиска. <H2>Заключение</H2> Итак мы рассмотрели 2 способа организации поиска по сайту. Следует иметь в ввиду, что поиск осуществляется по статичным страницам сайта и никак не предназначен для динамичных сайтов. Естественно были рассмотрены практически идеальные варианты построения сайта: <UL> <LI>не учтена возможность существования символьных ссылок; <LI>не учтены вариации <a href=http://karman.com.ua/forum/topic10165.html>мета тегов</a> title и description; <LI>не учтены вариации использования SSI; <LI>не учтена возможность создания фильтров для определенных файлов (кроме как по расширению); <LI>не учтена возможность создания фильтров для определенных вложенных папок (кроме как корневых); <LI>может что-то еще не учтено :)... </LI></UL> но, впрочем, скелет дан, нарастить мясо - на совести программиста... Чтобы обсудить это в форуме, <a href="http://karman.com.ua/forum/ipb.html?act=post&do=new_post&f=581">нажмите здесь</a>.</td></tr><tr><td colspan=2> <div class="bkmz"> Добавить в закладки: <noindex> <ul> <li><a class="google" rel="nofollow" title="В закладки на Google" href="http://www.google.com/bookmarks/mark?op=edit&bkmk=http://karman.com.ua/_poisk_po_sajtu_statichnyj_0_0_0_1220_1.html&title=%CF%EE%E8%F1%EA%20%EF%EE%20%F1%E0%E9%F2%F3%20-%20%F1%F2%E0%F2%E8%F7%ED%FB%E9%20%EA%EE%ED%F2%E5%ED%F2%20%28Perl%29%20-%20%D5%EE%F1%F2%E8%ED%E3%20%E2%20%D3%EA%F0%E0%E8%ED%E5" target=_blank>google.com</a></li> <li><a class="yandex" rel="nofollow" title="В закладки на Яндексе" href="http://zakladki.yandex.ru/userarea/links/addfromfav.asp?bAddLink_x=1&lurl=http://karman.com.ua/_poisk_po_sajtu_statichnyj_0_0_0_1220_1.html&lname=%CF%EE%E8%F1%EA%20%EF%EE%20%F1%E0%E9%F2%F3%20-%20%F1%F2%E0%F2%E8%F7%ED%FB%E9%20%EA%EE%ED%F2%E5%ED%F2%20%28Perl%29%20-%20%D5%EE%F1%F2%E8%ED%E3%20%E2%20%D3%EA%F0%E0%E8%ED%E5" target=_blank>yandex.ru</a></li> <li><a class="bobr" rel="nofollow" title="Забобрить" href="http://bobrdobr.ru/addext.html?url=http://karman.com.ua/_poisk_po_sajtu_statichnyj_0_0_0_1220_1.html&title=%CF%EE%E8%F1%EA%20%EF%EE%20%F1%E0%E9%F2%F3%20-%20%F1%F2%E0%F2%E8%F7%ED%FB%E9%20%EA%EE%ED%F2%E5%ED%F2%20%28Perl%29%20-%20%D5%EE%F1%F2%E8%ED%E3%20%E2%20%D3%EA%F0%E0%E8%ED%E5" target=_blank>bobrdobr.ru</a></li> <li><a class="memori" rel="nofollow" title="В Memori.ru" href="http://memori.ru/link/?sm=1&u_data[url]=http://karman.com.ua/_poisk_po_sajtu_statichnyj_0_0_0_1220_1.html&u_data[name]=%CF%EE%E8%F1%EA%20%EF%EE%20%F1%E0%E9%F2%F3%20-%20%F1%F2%E0%F2%E8%F7%ED%FB%E9%20%EA%EE%ED%F2%E5%ED%F2%20%28Perl%29%20-%20%D5%EE%F1%F2%E8%ED%E3%20%E2%20%D3%EA%F0%E0%E8%ED%E5" target=_blank>memori.ru</a></li> <li><a class="moemesto" rel="nofollow" title="Добавить в Мое Место" href="http://moemesto.ru/post.php?url=http://karman.com.ua/_poisk_po_sajtu_statichnyj_0_0_0_1220_1.html&title=%CF%EE%E8%F1%EA%20%EF%EE%20%F1%E0%E9%F2%F3%20-%20%F1%F2%E0%F2%E8%F7%ED%FB%E9%20%EA%EE%ED%F2%E5%ED%F2%20%28Perl%29%20-%20%D5%EE%F1%F2%E8%ED%E3%20%E2%20%D3%EA%F0%E0%E8%ED%E5" target=_blank>moemesto.ru</a></li> <li><a class="linkstore" rel="nofollow" title="В закладки на Linkstore.ru" href="http://www.linkstore.ru/servlet/LinkStore?a=add&url=http://karman.com.ua/_poisk_po_sajtu_statichnyj_0_0_0_1220_1.html&title=%CF%EE%E8%F1%EA%20%EF%EE%20%F1%E0%E9%F2%F3%20-%20%F1%F2%E0%F2%E8%F7%ED%FB%E9%20%EA%EE%ED%F2%E5%ED%F2%20%28Perl%29%20-%20%D5%EE%F1%F2%E8%ED%E3%20%E2%20%D3%EA%F0%E0%E8%ED%E5" target=_blank>linkstore.ru</a></li> <li><a class="rumarkz" rel="nofollow" title="В закладки на Rumarkz.ru" href="http://rumarkz.ru/bookmarks/?action=add&popup=1&address=http://karman.com.ua/_poisk_po_sajtu_statichnyj_0_0_0_1220_1.html&title=%CF%EE%E8%F1%EA%20%EF%EE%20%F1%E0%E9%F2%F3%20-%20%F1%F2%E0%F2%E8%F7%ED%FB%E9%20%EA%EE%ED%F2%E5%ED%F2%20%28Perl%29%20-%20%D5%EE%F1%F2%E8%ED%E3%20%E2%20%D3%EA%F0%E0%E8%ED%E5" target=_blank>rumarkz.ru</a></li> <li><a class="stozakl" title="Добавить в 100закладок" href="http://www.100zakladok.ru/save/?bmurl=http://karman.com.ua/_poisk_po_sajtu_statichnyj_0_0_0_1220_1.html&bmtitle=%CF%EE%E8%F1%EA%20%EF%EE%20%F1%E0%E9%F2%F3%20-%20%F1%F2%E0%F2%E8%F7%ED%FB%E9%20%EA%EE%ED%F2%E5%ED%F2%20%28Perl%29%20-%20%D5%EE%F1%F2%E8%ED%E3%20%E2%20%D3%EA%F0%E0%E8%ED%E5" target=_blank>100zakladok.ru</a></li> <li><a class="delicous" rel="nofollow" title="В закладки на Del.icio.us" href="http://del.icio.us/post?url=http://karman.com.ua/_poisk_po_sajtu_statichnyj_0_0_0_1220_1.html&title=%CF%EE%E8%F1%EA%20%EF%EE%20%F1%E0%E9%F2%F3%20-%20%F1%F2%E0%F2%E8%F7%ED%FB%E9%20%EA%EE%ED%F2%E5%ED%F2%20%28Perl%29%20-%20%D5%EE%F1%F2%E8%ED%E3%20%E2%20%D3%EA%F0%E0%E8%ED%E5" target=_blank>del.icio.us</a></li> <li><a class="techno" rel="nofollow" title="В закладки на Technorati.com" href="http://www.technorati.com/faves?add=http://karman.com.ua/_poisk_po_sajtu_statichnyj_0_0_0_1220_1.html" target=_blank>technorati.com</a></li> </ul> </noindex> </div> <a href="http://karman.com.ua" target=_blank title="Хостинг в Украине">Хостинг</a>-источник: <a href="http://karman.com.ua" target=_blank title="Хостинг в Украине">http://karman.com.ua</a></td></tr></table><IMG src="g/doc.gif" border=0 align="absmiddle"> <a href=http://karman.com.ua/forum/topic9700.html>GoGo Поисковик</a> <IMG src="g/doc.gif" border=0 align="absmiddle"> <a href=http://karman.com.ua/forum/topic9654.html>Максимально удобный мониторинг Поисковой выдачи</a>  <script type="text/javascript"> //<![CDATA[ yandex_partner_id = 18534; yandex_site_bg_color = 'FFFFFF'; yandex_site_charset = 'windows-1251'; yandex_ad_format = 'direct'; yandex_font_size = 1.2; yandex_direct_type = 'flat'; yandex_direct_border_type = 'ad'; yandex_direct_limit = 2; yandex_direct_bg_color = 'FABC02'; yandex_direct_border_color = 'BBBBBB'; yandex_direct_title_color = '0000CC'; yandex_direct_url_color = '000000'; yandex_direct_all_color = '0000CC'; yandex_direct_text_color = '000000'; yandex_direct_hover_color = '0066FF'; document.write('<sc'+'ript type="text/javascript" src="http://an.yandex.ru/resource/context.js?rnd=' + Math.round(Math.random() * 100000) + '"></sc'+'ript>'); //]]> </script> </td></table></td><td><IMG src="p.gif" width=10 height=1 border=0></td><td valign=top width=1%><table cellspacing=0 cellpadding=0 border=0><tr><td><img src=p.gif width=160 height=10></td><tr><td style="font-size: 15px;">Есть вопросы о хостинге и о сайтах?</td><form action='http://karman.com.ua/forum/ipb.html' method=get><input type=hidden name="act" value="post"><input type=hidden name="do" value="new_post"><input type=hidden name="f" value="581"><tr><td><input type=submit style="width: 160px;" value="Спроси прямо сейчас!"> и получи ответ от профессионалов, которые обожают помогать людям :).</td></form></tr><tr><td><img src=/p.gif width=1 height=15></td></tr><tr><td align="right"><script language="javascript">//</script></td><tr><td><img src=/p.gif width=1 height=15></td></tr><tr><td valign=top>Еще по теме: <IMG src="g/doc.gif" border=0 align="absmiddle"> <a href=http://karman.com.ua/forum/topic9877.html>Информация о SEO – оптимизаци под Поисковые системы.</a> <IMG src="g/doc.gif" border=0 align="absmiddle"> <a href=http://karman.com.ua/forum/topic9871.html>SEO для начинающих: роботы Поисковых систем – это люди</a> <IMG src="g/doc.gif" border=0 align="absmiddle"> <a href=http://karman.com.ua/forum/topic9850.html>Различие между оптимизацией под Поисковые системы (SEO) и Поисковым маркетингом (SEM)</a> <IMG src="g/doc.gif" border=0 align="absmiddle"> <a href=http://karman.com.ua/forum/topic9832.html>Способы улучшения позиций в Поисковых системах</a> <IMG src="g/doc.gif" border=0 align="absmiddle"> <a href=http://karman.com.ua/forum/topic9804.html>Поисковый маркетинг – сделайте так, чтоб он давал вам преимущества</a> <IMG src="g/doc.gif" border=0 align="absmiddle"> <a href=http://karman.com.ua/forum/topic9803.html>История Поискового маркетинга</a> <IMG src="g/doc.gif" border=0 align="absmiddle"> <a href=http://karman.com.ua/forum/topic9799.html>Позиции в Поисковых системах, улучшите их</a> <IMG src="g/doc.gif" border=0 align="absmiddle"> <a href=http://karman.com.ua/forum/topic9796.html>Каталоги и Поисковые системы – сравнительный анализ.</a> <IMG src="g/doc.gif" border=0 align="absmiddle"> <a href=http://karman.com.ua/forum/topic9768.html>Чем занимается писатель-фрилансер SEO контента</a> <IMG src="g/doc.gif" border=0 align="absmiddle"> <a href=http://karman.com.ua/forum/topic9752.html>Поисковый маркетинг и подсказки для оптимизации вашего сайта</a> <IMG src="g/doc.gif" border=0 align="absmiddle"> <a href=http://karman.com.ua/forum/topic9738.html>Сравнение естественного и платного Поиска: изучение авторитетных источников</a> <IMG src="g/doc.gif" border=0 align="absmiddle"> <a href=http://karman.com.ua/forum/topic9714.html>Запуск Находки – бета версии нового Поиска</a> <IMG src="g/doc.gif" border=0 align="absmiddle"> <a href=http://karman.com.ua/forum/topic9701.html>Новая реализация формы Поиска от Webalta</a> </td></table></td></table></td></table><div align=center><script type='text/javascript'></script><noscript><a href='http://62.149.18.48/openads/www/delivery/ck.php?n=af763be6&cb=INSERT_RANDOM_NUMBER_HERE' target='_blank'><img src='http://62.149.18.48/openads/www/delivery/avw.php?zoneid=21&cb=INSERT_RANDOM_NUMBER_HERE&n=af763be6' border='0' alt='' /></a></noscript> </div><hr><table cellspacing=0 cellpadding=0 border=0 width=100%><tr><td bgcolor="ff6600" width=200><IMG src="p.gif" width=200 height=13 border=0></td><td colspan=5 align="right" valign="top" width=100%><IMG src="g/sq.gif" border=0></td><tr><td colspan=6 bgcolor="ff6600" width=100%><IMG src="p.gif" width=1 height=1 border=0></td><tr><td colspan=6 bgcolor="ffffff"><IMG src="p.gif" width=200 height=1 border=0></td><tr><td bgcolor="ffffff"><IMG src="p.gif" width=200 height=1 border=0></td><td width=100% class=mini>© <a href="index.php?content_id=76&lang_id=1" class="mini">СПД Праведно-Счастливый Аладдин Ярославович</a>, 2004-2008. Все права защищены. При цитировании материалов ссылка на www.karman.com.ua обязательна. Редакция "Кармана" может не разделять точку зрения авторов статей, сообщений и ответственности за их содержание не несет.<td bgcolor="ffffff"><IMG src="p.gif" width=10 border=0></td><td></td><td bgcolor="ffffff"><IMG src="p.gif" width=1 border=0></td><tr><td colspan=6 bgcolor="ffffff"><IMG src="p.gif" width=1 height=10 border=0></td></table><hr> <div class=l> Быстрый переход к содержимому сайта Karman.com.ua: Новости, советы, углубленные знания, знания для новичков, законодательство, интересные скрипты, фотогалереи, отчеты, статьи о хостинге: <a href="l_0_0_0_0_0.html">0</a>, <a href="l_0_0_0_0_1.html">1</a>, <a href="l_0_0_0_0_2.html">2</a>, <a href="l_0_0_0_0_3.html">3</a>, <a href="l_0_0_0_0_4.html">4</a>, <a href="l_0_0_0_0_5.html">5</a>, <a href="l_0_0_0_0_6.html">6</a>, <a href="l_0_0_0_0_7.html">7</a>, <a href="l_0_0_0_0_8.html">8</a>, <a href="l_0_0_0_0_9.html">9</a>, <a href="l_0_0_0_0_10.html">10</a>, <a href="l_0_0_0_0_11.html">11</a>, <a href="l_0_0_0_0_12.html">12</a>, <a href="l_0_0_0_0_13.html">13</a>, <a href="l_0_0_0_0_14.html">14</a>, <a href="l_0_0_0_0_15.html">15</a>, <a href="l_0_0_0_0_16.html">16</a>, <a href="l_0_0_0_0_17.html">17</a>, <a href="l_0_0_0_0_18.html">18</a>, <a href="l_0_0_0_0_19.html">19</a>, <a href="l_0_0_0_0_20.html">20</a>, <a href="l_0_0_0_0_21.html">21</a>, <a href="l_0_0_0_0_22.html">22</a>, <a href="l_0_0_0_0_23.html">23</a>, <a href="l_0_0_0_0_24.html">24</a> Часто задаваемые общие вопросы о хостинге, про FTP, PHPMyAdmin и MySQL, CPanel, Предустановленные скрипты, WHM, Cron, .htaccess, SSH, Паролирование директорий, О доменах, о работе с сайтом, о Раскрутке сайта, об Электронной почте, про Основы web-программирования: <a href="l_0_faq_0_0_0.html">0</a>, <a href="l_0_faq_0_0_1.html">1</a> Энциклопедия основных терминов хостинга, программного обеспечения, железной стороны хостинга, технологий, электронной почты и доменов: <a href="l_0_encyclopedia_0_0_0.html">0</a>, <a href="l_0_encyclopedia_0_0_1.html">1</a>, <a href="l_0_encyclopedia_0_0_2.html">2</a>, <a href="l_0_encyclopedia_0_0_3.html">3</a>, <a href="l_0_encyclopedia_0_0_4.html">4</a>, <a href="l_0_encyclopedia_0_0_5.html">5</a>, <a href="l_0_encyclopedia_0_0_6.html">6</a> Сайты о хостинге (форумы, хостинг-провайдеры, студии веб-дизайна, домен-регистраторы, инструментарии в помощь вебмастеру): <a href="l_0_site_0_0_0.html">0</a>, <a href="l_0_site_0_0_1.html">1</a>, <a href="l_0_site_0_0_2.html">2</a> </div><hr> <center><noindex><nofollow><a href="http://www.bigmir.net/" target=_blank onClick='img = new Image();img.src="http://www.bigmir.net/?cl=77067";' ><script language="javascript"></script><script language="javascript1.2"></script><script language="javascript"></script></a>  <a href="http://top100.rambler.ru/top100/"> <img src="http://counter.rambler.ru/top100.cnt?1261108" alt="" width=1 height=1 border=0></a>   <a href="http://top100.rambler.ru/top100/"> <img src="http://top100-images.rambler.ru/top100/banner-88x31-rambler-orange2.gif" alt="Rambler's Top100" width=88 height=31 border=0></a>  </noindex></nofollow></center><script type="text/javascript"> var gaJsHost = (("https:" == document.location.protocol) ? "https://ssl." : "http://www."); document.write(unescape("%3Cscript src='" + gaJsHost + "google-analytics.com/ga.js' type='text/javascript'%3E%3C/script%3E")); </script> <script type="text/javascript"> var pageTracker = _gat._getTracker("UA-5238934-1"); pageTracker._trackPageview(); </script> </td></tr></table> </body></html>

Поиск по сайту - статичный контент (Perl)

Сайт от А до Б

Основы сайта

Интересные скрипты

Изучаем PHP

Как заработать на сайте

Раскрутка сайта

CMS