Как устроен ChatGPT? Полное погружение в принципы работы и спектр возможностей самой известной нейросети в мире. Стивен Вольфрам. Саммари

Smart Reading

Smart Reading. Ценные идеи из лучших книг. Саммари

Это саммари – сокращенная версия книги «Как устроен ChatGPT? Полное погружение в принципы работы и спектр возможностей самой известной нейросети в мире» Стивена Вольфрама. Только самые ценные мысли, идеи, кейсы, примеры.

ChatGPT умеет генерировать читабельный текст, анализируя миллионы аналогичных текстов. Стивен Вольфрам поясняет, как работает чат-бот, и предлагает научить его не просто имитировать результат человеческого мышления, но мыслить самостоятельно. Для этого можно использовать специальный машинный язык Wolfram Language. Если научить ChatGPT «говорить» на Wolfram Language, то он сможет выдавать не просто читабельные, но и осмысленные, логичные тексты – фактически сможет мыслить!

Smart Reading

Как устроен ChatGPT? Полное погружение в принципы работы и спектр возможностей самой известной нейросети в мире. Стивен Вольфрам. Саммари

Оригинальное название:

What Is ChatGPT Doing… and Why Does It Work?

Автор:

Stephen Wolfram

www.smartreading.ru (http://www.smartreading.ru/)

Как он это делает?

Вероятность и температура. А мы точно собираемся говорить о человеческой речи?

Написание текстов часто окутано флером некой таинственности. Мы считаем, что для этого процесса нужно вдохновение, талант, особые условия, но с некоторых пор именно с помощью физических и математических терминов проще всего объяснить суть этого процесса.

Вероятность – основное понятие, описывающее работу ChatGPT. Вы даете ему первое слово, а он всего лишь подбирает к нему второе и последующие слова, чтобы получить осмысленную фразу. Скорость работы современных вычислительных машин такова, что для них не проблема перебрать миллионы фрагментов разных текстов и определить, какие слова чаще всего встречаются вместе с заданным.

Определяя каждое последующее слово, ChatGPT подбирает целый список возможных понятий и ранжирует их от самого вероятного к наименее вероятному. Например, со словом «поэт», заданным на русском языке, нейросеть, скорее всего, ассоциирует Пушкина, а не Бернса.

Однако все не так просто. Если выбирать самое вероятное из возможных слов, то текст будет банальным, пресным и никому не интересным. Чтобы достоверно имитировать человеческий язык, ChatGPT выбирает другие, менее вероятные варианты. Причем как именно он их выбирает – не знают даже его создатели. Именно поэтому использование одного и того же промпта (задания) иногда приводит к генерации довольно непохожих друг на друга текстов.

Если проранжировать все подходящие слова по степени их вероятности от 0 до 1, то оптимальным выбором станет слово, имеющее вероятность 0,8. Этот параметр называют температурным, но только потому, что он подчиняется тем же математическим зависимостям, что и температура. Никакого физического смысла в этом нет.

А как рассчитать, с какой вероятностью некое слово может продолжать начатую фразу?

Стивен Вольфрам предлагает для начала рассмотреть более простую задачу – не создание текста, а создание одного-единственного слова.

Если мы выберем в качестве первой буквы А, то с какой вероятностью следующей будет Б? Или Ы? Вероятность того, что следующей будет буква Ы, – нулевая, потому что в русском языке нет слова, начинающегося с Ы. Идем дальше.

? Для начала создадим бесконечную последовательность букв, которые могут следовать друг за другом с ненулевой вероятностью.

? Добавим пробелы, ведь длина слов в языке тоже определяется статистикой. Скорее всего, на этом этапе мы не увидим среди результатов ни одного реального слова.

? Учтем, что некоторые буквы не могут следовать друг за другом, а некоторые, наоборот, тесно связаны. Например, после гласных не может быть Ъ, а после глухого согласного не может быть звонкого. Поэтому попробуем генерировать слово, добавляя не по одной букве, а сразу по две.

? Можно двигаться дальше и, работая с огромным объемом текста, определять наиболее вероятные многобуквенные сочетания. На этом этапе мы уже начнем получа