Чистка статей (дороботка)

На данный момент зеброид считает два текста одинаковыми только если они совпадают слово в слово.

На практике в 100 раз чаще встречаються дубли содержащие до 50% отличий

Например копируем пост меняем в нём всего одно слово - копией это зеброид уже не считает

или разделяем один большой текст на 3 маленьких, каждый из которых является абсолютной копией части большого текста - зеброид также несчитает это дублями.

Проблемма в том что поисковики так несчитают :(

Необходимо ввести проверку на дубликат посредством шинглов, желательно с настройками длины шингла и максимально допустимого процента схожести. html код также недолжен при этом учитываться.

На данный момент зеброид считает два текста одинаковыми только если они совпадают слово в слово.

На практике в 100 раз чаще встречаються дубли содержащие до 50% отличий

Например копируем пост меняем в нём всего одно слово - копией это зеброид уже не считает

или разделяем один большой текст на 3 маленьких, каждый из которых является абсолютной копией части большого текста - зеброид также несчитает это дублями.

Проблемма в том что поисковики так несчитают :(

Необходимо ввести проверку на дубликат посредством шинглов, желательно с настройками длины шингла и максимально допустимого процента схожести. html код также недолжен при этом учитываться.

html не учитывать не проблема, но вот какая скорость проверки шинглами будет? Сейчас она далеко не идеал. А вся проблема в том, что в любом случае прийдётся проверять каждую статью с каждой, и когда их много, то и скорость соответственная :(

А сейчас это скорее страховка от случайной заливки одного и того же файла в проект.

Лучше пусть будет долго и эффективно чем быстро и бесполезно ...

Ничто невернёт время и труд затраченный на сайт забаненый поисковиками.

В конце концов можно оставить нынешнюю реализацию и добавить шинглы как опцию каждый сам решит что для него важнее в данном конкретном случае.

Простая бесплатная програмка для вычистки дублей в txt _ttp://www.prgz.ru/dwnld/duploff_075.rar

незнаю что в ней за алгоритм но работает довольнатаки шустро.

Думаю, проверка шинглами будет ооооочень медленная....

Лучше пусть будет долго и эффективно чем быстро и бесполезно ...

Ничто невернёт время и труд затраченный на сайт забаненый поисковиками.

В конце концов можно оставить нынешнюю реализацию и добавить шинглы как опцию каждый сам решит что для него важнее в данном конкретном случае.

Простая бесплатная програмка для вычистки дублей в txt _ttp://www.prgz.ru/dwnld/duploff_075.rar

незнаю что в ней за алгоритм но работает довольнатаки шустро.

Програмку скачал попробовал но она постоянно вылетает и как она работает не удалось увидеть.

Я полностью за шинглы ибо это гораздо эффективней нежели простое сравнение статей.

Скорость и сейчас очень маленькая чтобы проверить 20000 статей ~19мл символов ушло оочень много времени около 8-10 часов точно уже не помню.

Но лучше потратить это время на качественный поиск дублей а не просто электричество жечь.

Готово. Что самое характерное удалось не только улучшить качество проверки, но и увеличить скорость работы программы в 3 раза.

Готово. Что самое характерное удалось не только улучшить качество проверки, но и увеличить скорость работы программы в 3 раза.

Ну наконец!

Я это с сентября если не с августа ждал :(

Спасибо большое!

01 ноя 2009, 19:59

admin - "готово" :shock: :shock: :shock: :shock:

Чесное слово узнал толькочто и то только потому что этот пункт в голосовании пропал ...

Всё сидел блин ждал ... столько моих ГС полегло :(

Отсюда предложение добавить во встроенную голосовалку некую пометку чтобы было видно что сделано оно ... и закрывать гоосование

я по сей день за это голосовал ...

o_nix, сделал только вчера и перенёс тему в архив, потому и пропало из голосования. Будет в сегодняшнем обновлении

Работает отлично.

НО!

Как сделать так, чтобы удалялся только последний дубль?

Сейчас идет удаление всего, т.е. если найдено 2 одинаковых статьи, то они удаляются. А по идее должна остаться одна из них, а остальное удалено.

Можно также вместо удаления или перемещения помечать дубль цветом.

Какой дубль удалять? Я думаю, что последний по айди. Ведь в зеброиде каждой статье прирасваивается какой-то определенный айди.

Для примера я взял сайт на котором точно есть дубли.

Было страниц 738.

После стало 152. Т.е. вместе с дублями были удалены 586 страниц. Если считать, что у каждой страницы было только по 1 дублю и удалить только 1 дубль, то могло бы остаться 293 страницы. И было бы не 152 страницы на сайте, а 445. :)