Вопрос 39. Лингвостатистические методы

Лингвистическая статистика (лингвостатистика) – 1) в широком смысле: область применения статистических методов в языкознании; 2) в узком смысле: изучение некоторых математических проблем, связанных с лингвистическим материалом, главным образом с типами статистических распределений языковых единиц в тексте. Наиболее распространённый метод анализа, основанный на так называемом законе Ципфа, сводящемся к уравнению виду: F × i = const (бесконечность), где F – частота слова в частном словаре, а i – ранг этого слова, т.е.номер в списке слов, упорядоченном по уменьшающейся частоте. С поправочными коэффициентами Б. Мандельброта закон подтверждается на многих и разнообразных текстах. Таким образом, закон Ципфа выступает как модель описания распределения слов по частоте, однако вводимые на каждый случай поправочные коэффициенты в значительной мере лишают его предсказательной силы. Существуют и другие подобные модели (работы Г. Хердана, Дж. Б. Кэролла). Проблема связи частоты слова и его ранга смыкается с проблемой оценки лексического богатства текста или совокупности текстов. Обычно лингвостатистика рассматривается как лингвистическая дисциплина, однако, будучи связанной по материалу с языкознанием, она ещё не наполнилась собственным лингвистическим содержанием. В частности, лингвистическая интерпретация закона Ципфа остаётся предметом дискуссий.

Суть лингвостатистических методов заключается в установлении количественных изменений, вызывающих качественные преобразования языковых явлений. Благодаря использованию математических методов исследования языка в рамках лингвостатистики было выявлено, что частота появления тех или иных языковых элементов в речи подчиняется определённым статистическим законам (закономерностям). Это позволяет на основе статистических данных сформулировать определённые закономерности функционирования единиц языка и построения текста.

Лингвостатистический метод широко применяется в современной лексикологии и стилистике. Он используется для изучения как явлений языка, так и явлений речи.Например, с помощьюлингвостатистического метода лингвисты изучают количественные характеристики словарного состава в разных стилевых и авторских разновидностях речи. В результате лингвостатистического изучения языка появились частотные словари.

Количественное описание подъязыков науки и техники используется для автоматической обработки языковой информации (создания информационно-поисковых систем), а также в методике преподавания языков.