Поиск и организация данных в локальной сети.

[siraleks]

Сегодня объемы мультимедийных архивов домашних и корпоративных сетей исчисляются терабайтами. При этом, как правило, информация рассредоточена между десятками, а иногда и сотнями систем и жестких дисков, которые вдобавок включены отнюдь не круглосуточно. Поиск нового фильма превращается в проблему, а простая задача скопировать знакомому коллекцию музыки или новые фильмы растягивается на долгие часы. Свободное место используется неэффективно, часто появляются дубликаты. В таком случае система, способная автоматически сканировать локальную сеть в поисках файлов заданного типа и отслеживать их обновление, просто необходима.

В Интернет можно найти десятки утилит в той или иной степени решающую данную задачу. В данной статье мы рассмотрели лучшие из них, не требующие сложной настройки и достаточно быстро и эффективно выполняющие поставленную задачу.

LNet Scan
[IMG]http://img63.**************/img63/5747/lnetscanvh6.gif[/IMG]

Итак, вы только что подключились к локальной сети и хотите узнать, какие ресурсы она может предоставить. На папку "Сетевое Окружение" рассчитывать почти не приходится, поскольку работает она медленно и находит далеко не все. Гораздо лучше быстрее можно сориентироваться с помощью программы LNet Scan. По сути, это IP сканер, он обнаруживает компьютеры, открытые ресурсы и сервисы в заданном диапазоне адресов. Программа не требует установки, достаточно распаковать архив и запустить её из любой папки.
[IMG]http://img63.**************/img63/5555/lnetscanopttb9.gif[/IMG]
Настройки и диапазоны IP

Ничего прописывать вручную не придется, LNS сама определит IP диапазоны, считав их с записей настроек сетевой карты. Однако в опции LNet Scan заглянуть всё же стоит, там можно переключить язык программы, заодно включите опции "прятать в трей", "определять общие папки". Немного непонятная фраза "потоков" означает, что сканирование каталогов и систем выполнятся в мультипоточном режиме: чем больше потоков, тем быстрее идет процесс, однако если выставить слишком большое число, работа остальных сетевых служб на момент сканирования будет замедленна или приостановлена, так как вся пропускная полоса соединения уйдет на анализ файлов. В случае 100-мегабитной локальной сети оптимальным числом потоков будет 30-40.
Даже если вы знаете, что и где лежит в вашей сети, LNS все равно вам пригодиться: включите режим автоматического сканирования каждые 5-10 минут, и вы всегда будете знать, какие компьютеры сейчас включены. За это отвечает параметр "Сканировать". Если сеть построена на медленном интерфейсе (например Wi-Fi или Bluetooth) или связь нестабильна, LNS может не замечать включенные компьютеры, в этом случае нужно повысить время ожидания отклика системы: увеличьте вдвое параметр Ping Timeout, если же эта мера не поможет, постарайтесь выяснить что же не так со связью.
Ещё одна полезная особенность LNS - возможность поиска игровых серверов. За неё отвечают настройки в закладке Options > Games Servers. Имеется поддержка всех версий Quake, Unreal и Half-life\Counter Strike. Чтобы не пропустить начало матча, назначьте какой-нибудь звук на обнаружение сервера.
В последних версиях LNet Scan появилась возможность поиска по всем найденным ресурсам, по имени файла или по маске (например *.mp3). Однако система поиска реализована не слишком удобно: найденные файлы можно лишь открывать, причем только по одному, никаких других манипуляций нет, нельзя даже просто открыть папку с файлом в "проводнике".
Зато в разделе "сетевые утилиты" есть две очень полезных опции:
[IMG]http://img63.**************/img63/7743/lspropingiv8.gif[/IMG]
Ping

Первая - аналог одноименной команды в Windows, позволяет проверять наличие и стабильность соединения с удаленными машинами путем отправки контрольной группы сетевых пакетов, однако в отличие от консольного приложения Windows в LNS есть графический интерфейс и производить настройки размера, числа пакетов и времени реакции намного проще.
[IMG]http://img63.**************/img63/4554/lsprotraceqe2.gif[/IMG]
Traceroute

Вторая позволяет определить маршрут сигнала: адреса компьютеров, через которые проходят пакеты вашего запроса. Для этого просто укажите IP адрес системы, до которой хотите проследить цепочку. Иногда бывает очень интересно увидеть, как пакеты между двумя компьютерами в Москве проходят через пару серверов во Владивостоке. Помимо праздного любопытства traceroute помогает выявить и устранить ошибки сетевых маршрутов, что бывает очень полезно при наличии двух и более подключений к удаленным сетям.

Cool-Find
[IMG]http://img63.**************/img63/9396/coolfindbl0.gif[/IMG]
Cool-Find (http://www.nihuo.com)

Интерфейс очень просто и удобно организован. Вряд ли вам потребуются файлы справки. Поиск можно вести с различными параметрами файлов: тип, размер, название, содержащийся текст, время и дата создания, и т.д. Файлы в составе архивов помечаются синим цветом.
Встроенные шаблоны поиска по маске сократят время, если вы хотите найти все фильмы, музыку или документы. Особенно полагаться на поиск по дате не стоит, в файлах она часто выставляется неправильно. А вот поиск файлов, к которым обращались в последние сутки пригодиться. Эта функция поможет быстро найти документ, над которым вы буквально только что работали, но потом сохранили и забыли где. Знакомая ситуация? Быстро вызвать программу можно сочетанием клавиш "Win+F". Для сокращения времени сканирования можно отключить поиск внутри архивов и уменьшить глубину сканирования, однако при этом есть риск упустить что-нибудь. Со всеми найденными файлами можно производить те же манипуляции что и в стандартном проводнике: копировать, перемещать, удалять (если позволяют права доступа). Для сканирования публичных папок небольшой сети в 10-20 машин Cool-Find будет в самый раз.

Lan Spider (http://reymax.com)

[IMG]http://img367.**************/img367/207/lspidermainds3.gif[/IMG]
Сети... есть у нас и бредни...

По функциональности программа схожа с Lan Search Pro, правда, без дополнительных функций поиска по FTP, однако, у "паука" есть и свои преимущества. Во-первых, это полная автоматизация поиска удаленных компьютеров: достаточно нажать на кнопку Refresh Net Tree, отметить галочки на рабочих группах и компьютерах, которые собираетесь сканировать и можно приступать к поиску файлов или запустить встроенный IP сканер и наглядный интерфейс. Во-вторых, высокая скорость сканирования. Настройки у программы стандартны для своего класса: число потоков, поиск в скрытых ресурсах, настройки учетных записей и паролей. Со всеми найденными файлами можно производить стандартные действия, как если бы они находились в обычном окне проводника, поэтому с Lan Spider работают все функции контекстного меню Windows, и её можно использовать совместно с программой Kill Copy (см. ниже). Демонстрационная версия программы не ограниченна по времени использования, но не может находить более 100 файлов. В программе есть мелкая недоработка: если интерфейс программы стоит в web режиме, а вы ищите divx фильмы, попытка отобразись иконки preview, иногда приводит к тому, что программа вылетает. Вероятно, в будущих версиях ошибка будет исправлена.

10 Strike Mp3 Scan
[IMG]http://img367.**************/img367/104/10strikemp3dd0.gif[/IMG]
10 Strike Mp3 Scan (http://www.10-strike.com)

Определенно, это лучший выбор для любого любителя музыки. 10 strike поможет не заблудиться в тысячах композиций, раскиданных на сервере и компьютерах пользователей, а функция отслеживания новых файлов поможет не пропустить, когда на сервере появиться новый альбом.
В настройках можно ограничивать диапазон поиска, задействовать или отключить анализ Mp3 Tag, впрочем, поскольку это основное преимущество программы, делать этого явно не стоит. При каждом поиске Mp3 Scan составляет список найденных файлов и при последующих процедурах поиска сравнивает полученные результаты. При этом помечаются новинки, а так же файлы, стававшие по тем или иным причинам недоступными. Эту функцию можно отключить, для этого поставьте в опциях галочку "Clear list before searching". Время поиска значительно сократиться, однако все файлы будут помечаться как new. Скорость поиска значительно возрастет, если задать список папок, в которых нужно искать mp3, например, "my music", однако, частенько коллекции музыки можно найти в очень неожиданных местах. С помощью окна поиска (Ctr+F) искать можно по названию, автору альбому и т.д. Помните только, что иногда музыку сохраняют с компакт-дисков с весьма невнятными именами вроде Audiotrack1.mp3 и без всяких тегов, поэтому хотя бы мельком просмотреть улов вручную будет все же надежнее. Выделенные файлы можно скопировать в заданную папку, сохранить playlist или сразу отправить на воспроизведение в winamp. Если часть файлов недоступна, нажмите ctrl+del, чтобы убрать их из списка. Минус у программы только один, в демонстрационной версии практически все ключевые функции заблокированы.
Огромную благодарность выражаю Антону Ленникову. За предоставленный материал.

[siraleks]

Lan Search Pro

[IMG]http://img367.**************/img367/7176/lsprosz1.gif[/IMG]
Lan Search Pro

Если сеть большая и вам требуется поиск в сетевых папках с разным уровнем доступа, а так же на FTP-серверах, вам лучше воспользоваться программой Lan Search Pro. Сразу после запуска программа готова к работе, она сама определит текущие настройки сети. Впрочем, заглянуть в опции все-таки стоит. Меню настроек разделено закладками на 5 разделов.

[IMG]http://img367.**************/img367/2808/lspromainjt7.gif[/IMG]
Настройки Lan Search Pro

В закладке Main можно задать сортировку файлов по дате и размеру. Это пригодиться, если вы хотите найти новинки. Display Options позволяют настроить, какие параметры найденных файлов будут отображаться на экране. Там же можно включить поиск файла по фрагменту содержащегося в нем текста (по умолчанию он отключен). Опция Max threads (число потоков) работает аналогично подобной настройке в LNet Scan. Отметьте опцию Message when complete, тогда программа сообщит о завершении поиска. Любую найденную папку можно быстро подключить к системе как сетевой диск. Это удобно, однако может возникнуть ситуация, когда к системе будет подключено с десяток сетевых дисков, работу с которыми вы уже завершили, поставьте в опциях проставить галочку Auto unmount shares, тогда при завершении работы Lan Search автоматически отключит все открытые в ней сетевые диски.

[IMG]http://img367.**************/img367/1008/lspronetsearchuv9.gif[/IMG]
Диапазон поиска

В закладке Net Search можно расширить или, наоборот, сузить диапазон поиска файлов. Задав IP адреса компьютеров в сети, вы намного ускорите процесс. Список компьютеров и IP адресов можно сохранять в txt файл. Это удобно, если программу нужно установить на все системы сети.

[IMG]http://img367.**************/img367/1888/lsprohiddenrscg9.gif[/IMG]
Hidden Resources - истинна где-то там

Скрытые сетевые ресурсы - это папки, сетевое имя которых заканчивается на значок $. Они невидимы из сетевого окружения, но доступны, если указать адрес напрямую. Lan Search Pro отлично умеет их обнаруживать, чтобы узнать, не таится ли что-нибудь в недрах вашей сети, отметьте опцию Only Hidden Resources. запустите поиск и, возможно, удастся найти что-нибудь интересное.

[IMG]http://img367.**************/img367/2830/lspropassni0.gif[/IMG]
Список паролей

Если есть необходимость вести поиск в папках, требующих авторизации, загляните в раздел Edit > Options > Passwords. Здесь нужно указать пути к папкам и пароли. Разумеется, соответствующие учетные записи должны присутствовать в системе, с которой вы ведете поиск.

[IMG]http://img367.**************/img367/8247/lsprohiddenfoldersfr6.gif[/IMG]
Раздел Folders

Раздел Folders позволяет ограничить поиск отдельными папками на каждом компьютере (например, можно искать только в папках Мои Документы) или, наоборот, исключить поиск в папках с определенными именами. Чтобы ускорить процесс сканирования, исключите папки Windows. Они содержат несколько тысяч системных файлов, которые сами по себе особого интереса обычно не представляют.

[IMG]http://img367.**************/img367/8366/lsproftpka6.gif[/IMG]
Поиск FTP серверов

Также Lan Search pro автоматически сканирует 21 порт на всех обнаруженных компьютерах в поисках FTP сервера. Это очень удобно, так как многие крупные сети организуют обмен публичными файлами через протокол FTP, он создает меньший объем паразитного трафика и позволяет упростить учет и контроль. К сожалению, Lan Search не умеет указывать логин и пароль и с FTP серверами работает лишь в анонимном режиме, что не всегда допустимо. Видимо, авторы подразумевают, что в локальных сетях публичные FTP серверы обычно не требуют авторизации. Результаты поиска на FTP и обычных сетевых папках можно выводить в виде единого списка.

Datalog

Часто местонахождение папок с нужными файлами известно, но их просто слишком много. Представить массив в удобном виде поможет программа Datalog. Она сканирует заданный список папок и строит на его основе удобное дерево каталогов с пометкой обновлений и гибкими настройками. Причем, если на разных компьютерах будут находиться папки с одинаковыми именами, их содержимое объединится в базе Datalog.
В главном окне программы задайте список сканируемых каталогов. С помощью панели "типы файлов" можно задать, материалы какого рода будут отображаться, если вы добавили в базу Datalog все публичные каталоги в сети. Так можно переключаться между видео, аудио, графическими и текстовыми ресурсами. Не отображаются файлы находящиеся непосредственно в корне заданного ресурса? Не беда, достаточно при указании пути добавить "+". Например, <\\Sys02\Movie+>.

[IMG]http://img504.**************/img504/2531/datalogtagdescdv8.gif[/IMG]
Теги - описания

По названию файла не всегда можно сразу понять, о чем идет речь: XXX.avi -может в равной степени означать, как известный боевик с участием Вен Дизеля, так и отборное порно. В этом случае вам поможет система комментариев, встроенная в Datalog. Если в папку добавить текстовый файл, имя которого совпадает с названием файла в базе, но уже с расширением desc (например movie.avi и movie.desc), то в Datalog возле названий файлов будет отображаться маленький вопросительный знак, кликнув на который можно прочитать описание.

[IMG]http://img504.**************/img504/6746/datalogsearchdp9.gif[/IMG]
Поиск по базе Datalog

Если база данных очень большая, на помощь придет поисковая система. Так же как и в Windows, она вызывается, клавишей F3. Искать можно по названию или тексту содержащемуся в desc описаниях, так что имеет смысл добавлять в них ключевые слова. Отобразить последние пополнения в коллекции можно с помощью режима "только новые" и указать временной диапазон в днях.

[IMG]http://img504.**************/img504/5775/datalogreportck9.gif[/IMG]
Генераторы отчетов

Обязательно загляните в раздел "отчеты". Там можно быстро создать список хранящихся в библиотеке файлов. Чтобы более рационально использовать свободное место, регулярно проводите поиск дубликатов. Лучше всего выставить поиск по совпадению размера. Жаль только, что это не поможет в случае коллекции DVD, так как в любом фильме vob-файлы называются одинаково и имеют один и тот же размер 0,99 Гб.

Datalog - позволяет не только представлять массивы файлов в удобном виде, но и копировать их. По умолчанию эти функции в программе заблокированы, загляните в опции и проставьте галочку "Разрешить операции с файлами". Там же можно настроит цветовую схему, глубину сканирования и другие опции.

[IMG]http://img504.**************/img504/3784/datalogcopytu3.gif[/IMG]
Передача файлов - помнить, где что лежит совсем не обязательно

После этого, удерживая Ctrl, выделите нужные папки и файлы в коллекции и нажмите Ctrl+C, появится "Меню копирования файлов", с помощью кнопки "проверить" убедитесь, что на заданном диске достаточно свободного места и жмите "копировать". При всех достоинствах Datalog не поддерживает опцию докачки, но это не проблема, если отметить опцию "использовать системную функцию копирования", то Datalog можно использовать совместно с Kill Copy.

[IMG]http://img504.**************/img504/1350/folderstucturejd7.gif[/IMG]
Структура каталогов

Если вы администратор, постановите в правилах сети всем пользователям соблюдать четкую структуру каталогов при размещении публичных файлов. Пример структуры каталогов для библиотеки музыки, видео и программного обеспечения вы найдете здесь, его очень легко адаптировать под собственные нужды, просто удалите лишние папки и добавьте нужные на ваш взгляд. Даже без поисковой системы четкая тематическая структуризация информации помогает легче и быстрее сориентироваться в массиве данных. Скопируйте блок каталогов на каждую машину и откройте доступ, для чтения, присваивая каждой папке имя share_"имя пользователя". Подключите все папки к программе Datalog используя пути формата: "\\имя компьютера\share_имя пользователя", теперь сохраните результаты в виде списка ресурсов lst и раздайте программу пользователям ЛВС. Теперь каждый из них, сможет в любой момент получить всю имеющуюся в наличии информацию о публичных папках в виде единого массива, разделенного на тематические каталоги. Если же в вашей сети есть сервер, то сохраните список ресурсов в отдельной открытой только для чтения папке на сервере, а в настройках ярлыков на клиентских системах укажите: "C:\Program Files\Datalog\Datalog.exe" \\server\datalog\shares.lst. При этом все изменения, которые вы несете в shares.lst, сразу отразятся и на всех системах сети.

[siraleks]

Google Desktop Search http://desktop.google.com

[IMG]http://img444.**************/img444/2246/folderstucturemx1.gif[/IMG]
Google Desktop Search

Знакомьтесь Google Desktop Search, по сути, это тот же поисковый движок, который индексирует бесконечные просторы Интернет, только предназначен он для поиска локальных файлов. Вашего участия в работе Desktop Search почти не требует.
Только во время установки нужно указать, куда будет встраиваться поисковая строка (лучше всего на панель задач), а так же какие файлы обрабатывать (смело ставьте все). Программа интегрируется в операционную систему и прописывается по адресу 127.0.0.1:4664. В дальнейшем вся работа производиться через веб-интерфейс в привычном окне Internet Explorer. Не забудьте соответственно сконфигурировать ваш брандмауэр. Если сразу после установки вы попытаетесь найти с её помощью что-нибудь, то программа покажет вам румяный бублик. В отличие от остальных поисковых систем, которые сканируют структуру каталогов в поисках файла, Google Search использует систему индексации, при этом формируется единая база данных данных в которой хранятся записи о каждом файле и дальнейший поиск идет по индексам в базе. На сбор информации программе потребуется время, тем большее, чем больше число файлов. Причем процесс индексации запускается, только если компьютер простаивает, оставьте систему включенной на ночь и, скорее всего, к утру Google Search будет во всеоружии, помните только, что индексная база требует свободного места и если число файлов переваливает за сотню тысяч то и размер базы составит несколько гигабайт. По возможностям бесплатная Google Search мало, чем уступает профессиональным системам корпоративного поиска, таким как Dtsearch, Ищейка Сервер, SearchInform Corporate стоимостью несколько сотен и даже тысяч долларов. Единственное отличие Google Search не поддерживает архитектуру клиент-сервер и индексная база должна строиться отдельно на каждой клиентской машине, зато благодаря этому программу можно использовать даже на отдельной системе, не имеющей подключения к сети. Если по какой то причине вы решили удалить Google Searcher, делайте это через апплет "Установка и удаление программ", но ни в коем случае не удаляйте папку с программой, система просто перестанет загружаться.

[IMG]http://img523.**************/img523/2203/googleoptionsed6.gif[/IMG]
Настройки GDS

Надо сказать, что особенно настраивать программа себя не дает, только те же параметры что вы задавли при установки, да системы plug-in, чтобы это исправить, установите Tweak GDS.

[IMG]http://img523.**************/img523/5896/tweakgdstf7.gif[/IMG]
Tweak GDS

Это отдельная программа позволяющая изменять скрытые настройки Google Search. В частности указывать папки, в которых будет производиться поиск, манипулировать базой индексов (пригодиться, если программа не хочет индексировать ресурсы ЛВС сети), менять число найденных объектов в окне поиска.
Функциональность системы поиска можно значительно расширить с помощью десятков различных Plug-in, для этого отведен целый раздел: desktop.google.com/plugins.

[IMG]http://img523.**************/img523/7141/abctageditorjc0.gif[/IMG]
Plug-in abcAVI Indexer

Один из них ABC Avi Tag Editor позволяет редактировать теги Avi файлов, добавляя описания к фильмам, а Google Searcher вместе с abcAVI Indexer plug-in считывать их, система действует аналогично desc комментариям в программе Datalog, однако вся информация зашита внутри самого avi, что конечно намного удобнее.
Google Desktop Search - удивительно полезная эффективная и абсолютно бесплатная программа, она просто обязана быть на каждой системе где больше нескольких десятков тысяч файлов. Но при всех достоинствах, Desktop Search не дает представления об архитектуре и распределении файлов в локальной сети, он так же он не годиться, когда нужно работать с группами файлов, составлять плейлисты, копировать файлы с одного носителя на другой. Тут вам на помощь прейдет Datalog Lan Search Pro и 10strike Mp3 Scaner, а отслеживать появление в сети новых компьютеров, открытых папок и серверов может LN Scan. Грамотно используя сочетание этих программ, Вы никогда не заблудитесь в дебрях локальной сети вне зависимости от её масштаба.

Свой FTP-сервер

[IMG]http://img523.**************/img523/4002/ftpserveryl9.gif[/IMG]
Свой FTP-сервер

Хотите открыть в локальной сети или в Интернет собственный FTP-сервер, но не знаете, как это сделать? Вам поможет очень простая программа, которая так и называется: FTP-сервер. Сразу после запуска программа уже готова к работе: в настройках нужно указать только папку, к которой будет открываться доступ, а в разделе Security указать, как могут подключаться пользователи: только для чтения или с полным доступом и нужен ли для этого пароль. При минимуме настроек программа отлично справляется со своей задачей.

Kill Watcher http://www.killprog.com

[IMG]http://img523.**************/img523/3387/killwatchbi3.gif[/IMG]
Kill Watcher

Хотите знать, что и когда копируют с вашей системы? Поставьте маленькую утилиту, Kill Watcher. Она ведет учет обращений к файлам и папкам, объемов переданной информации, а так же позволяет отключить или заблокировать IP нежеланного гостя. Не зря название программы переводиться как "Наблюдатель убийца". Необычайно полезная вещь, особенно когда вы решили поработать в 3D Max, а ваш сосед или коллега выбрал именно этот момент, чтобы утянуть с системного диска десяток другой гигабайт новых DVD. Так же можно ограничить и число одновременных подключений к системе. Хотите больше возможностей по администрированию сети профессиональный пакет NetView от тех же авторов.

Kill Copy http://www.killprog.com

[IMG]http://img523.**************/img523/9268/killcopyif4.gif[/IMG]
Kill Copy

Не всегда копирование файла по локальной сети заканчивается благополучно, ошибки при передаче, сбойные пакеты, перебои со связью, или пользователь, у которого вы копируете файлы, попросту выключил или перезапустил компьютер. Если передача файлов выполняется средствами Explorer большинство этих ошибок требуют начинать весь процесс заново. Kill Copy обеспечивает функции докачки файлов, мультипотокового копирования, ограничения скорости и прочие опции присущие любому Download акселератору. Если в настройках отметить "Сделать копировщиком по умолчанию" все операции по передачи файлов будут выполняться через Kill Copy, это пригодиться для интеграции программы в Datalog и Net Spider. Опция Create NTFS Link позволяет создавать в переделах одного дискового раздела, копии файлов при этом свободное место расходоваться не будет, просто возникнет индексная ссылка в файловой системе. Программа содержит множество других полезных функций как, например надежное удаление.

Автор: Антон Ленников [email protected]

Огромную благодарность выражаю Антону Ленникову. Спасибо большое Антон, за предоставленые материалы.