(no subject)

[twilightshade]

На моём процессоре Ryzen 7 5700X рендерилось почти час.

Watch on YouTube

Продолжаю читать книгу Язык и компьютер. Нет, всё таки очень близки были в совке к созданию ИИ современного типа, до ембеддинга они уже дошли ещё чуть-чуть и дошли бы до токенизации, железо только ограничивало и некоторые моменты. Но совок рухнул и они уехали. Всё к лучшему.
Книгу можно качнуть здесь (djvu) если кому интереcно https://sheba.spb.ru/za/informatika-lingvokomp-1989.htm

Comments

[juan_gandhi]

А как это без токенизации? Не по буквам же.

[twilightshade]

Самое смешное, что именно по буквам. "Имея числовые коды для характеристик содержательности отдельных звуков, мы можем научить компьютер самостоятельно высчитывать содержательность звукосмысловых ореолов слов. Иначе говоря, компьютер, имеющий в своей памяти средние оценки содержательности звуков речи, является теперь как бы представителем всех сотен тысяч опрошенных носителей русского языка, он сам теперь коллективный, собирательный носитель языка, «знающий» содержательные характеристики всех звуков русской речи по 20 парным оценочным признакам. Так пусть он теперь попытается определить, как должно восприниматься звучание того или иного слова.
Конечно, отдельный звук и звук в составе целого звукового комплекса — это не одно и то же. Скажем, звук под ударением явно более заметен, более информативен, более весом, чем звук без ударения. Значит, вес ударного звука нужно как-то подчеркнуть, увеличить, например считать ударный за два звука, или, что то же самое, в каждом слове умножать среднюю оценку ударного звука на 2." Ну и т.п.

[juan_gandhi]

Ой. Это прямо учение академика Марра.

[twilightshade]

ну не думаю что они на что-то опирались они искали путь и шли как ни странно в правильном направлении. Уж не знаю насколько параллельно с западными исследованиями но скорее всего параллельно, всё таки не в вакууме жили. Как мне резюмировал чатGPT до тензоров они не додумались, но уже вместо вектора стали использовать скаляры. И не смогли абстрагироваться от "человеческих" паттернов, всякие информанты и проч.

[juan_gandhi]

Да; многомерность не они всандалили. А непонятно почему; ведь PCA уже хз когда был (у меня даже на эту тему статья есть в ЖВНД).

[twilightshade]

Ну у них было с десяток измерений хорошее-плохое и т.д. но конечно очень мало в сравнении с сейчас. С другой стороны и с тем тогдашние компы еле спрапвлялись. Книжку можете глянуть, она в djvu есть вот тут например https://sheba.spb.ru/za/informatika-lingvokomp-1989.htm Не знаю есть ли ещё другие более серьёзные книги тех лет по языковым моделям ИИ, мож и есть, но я не видел.