Сейчас занимаюсь автоматической обработкой текстов, индексирование, хранение, data mining и всё такое и заметил, что любой текст на русском языке легко "ужимается" в ~30 раз. Ужимается в кавычках потому как это не совсем так: просто выкидываем пунктуацию, выкидываем все слова длинной меньше 2 символов, выкидываем всё кроме существительных и глаголов, оставшиеся приводим к начальной форме (ед. число, именительный падеж). Причём ужать можно было больше, но мне ещё нужно выделять названия компаний и ФИО из текста. Самое главное, по оставшимся словам, коих обычно от 50 до 170 легко понимается о чём в тексте шла речь.

а зачем при текущей стоимости гигабайта информации её ужимать?...

текст не читай, комментируй

iDrum, интереса ради, хуйни индексатором по своему ТС-посту.

data 1
mining 1
zip 1
главное 1
глагол 1
заметить 1
заниматься 1
идти 1
индексирование 1
кавычка 1
компания 1
название 1
обработка 1
падеж 1
пониматься 1
приводить 1
пунктуация 1
речь 1
символ 1
существительное 1
фио 1
форма 1
хранение 1
язык 1
ужиматься 2
выкидывать 3
текст 4

Итого букв в тексте 544
Итого слов тексте 73
Итого букв в заголовке 3
Итого слов в заголовке 1
Итого тэгов 27
Время 0.003317995071

Если убрать тэги с 1, при этом оставить слова из заголовка (у слов из заголовка, из всяких там h1-h4 приоритет), то останется 4 слова
zip 1
ужиматься 2
выкидывать 3
текст 4

суть почти понятна, хуле надо писать нормальные заголовки :)

кстати, рекомендую к прочтению блог компания ABBYY http://habrahabr.ru/company/abbyy/

Не везде так, в моей специфике часто нескольк букв смысл меняют. Или одна цифра.

Энергетическое обследование, разработка программы энергосбережения и паспортизации потребителя топливно-энергетических ресурсов ООО "Тепловая компания - 1"

Энергетическое обследование, разработка программы энергосбережения и паспортизации потребителя топливно-энергетических ресурсов ООО "Тепловая компания - 2"

Энергетическое обследование, разработка программы энергосбережения и паспортизации потребителя топливно-энергетических ресурсов ООО "Тепловая компания - 3"

Это никуя не одинаковые конкурсы, как дома №26 и №27

по сути речь то идёт о "программе энергосбережения и паспортизации потребителя топливно-энергетических ресурсов"

ремонт на кухне и ремонт двигателя, то по сути это все ремонт, но ремонт ремонту рознь. Разные места, разные люди, разные цены... Здесь хоть можно понять, что это разные конкурсы. А бывает просто один и тот же текст лепят...

Или вот так, как будто в инете место закончилось

Рек-я ВЛ-10кВ Ф-3 с устр-м отп.ВЛЗ-10кВК304 с пер-м КТП10/0,4кВ К 301/160кВА и увел-м мощ. тр-ра на 250кВА ПС35/10кВ«Колхозная»и стр-вом ВЛИ-0,4кВ Ф-1,2,3,4 от РУ-0,4кВ КТП К301/250кВА ВЛ-10кВ Ф-3 ПС35/10кВ «Колхозная» в м.р.Ставр-кий с.С.Солонец

drug_detei написал(а):

ремонт на кухне и ремонт двигателя

контекст у этих фраз точно будет разный, так что и ремонт в контексте тоже.

drug_detei написал(а):

Рек-я ВЛ-10кВ Ф-3

если на вскидку, то тут нужен отдельный словарь сокращений по которому можно расшифровать текст и дальше как в первом посте.

iDrum написал(а):

в контексте тоже

вот так с размаху и вляпываемся в искуственный интеллект )

iDrum написал(а):

отдельный словарь сокращений

И тут тоже контекст, так как Ф может быть фидером, а может быть гранатой )

для чего этим занимаешься ?

drug_detei написал(а):

вот так с размаху и вляпываемся в искуственный интеллект )

не, тут и без этого можно обойтись.
я имел в виду под словом "контекст" то, что вокруг фразы ремонт будут свои теги, то бишь "ремонт на кухне" будет вокруг шкафов, плиток, краска и тд, а "ремонт двигателя" будет вокруг масел, ключи, сварка ну и тд

fugu написал(а):

для чего этим занимаешься ?

не знаю пока, просто интересно :)