Кейсы применения ChatGPT для задач программиста
Кейсы применения ChatGPT для задач программиста
ChatGPT повсюду. Но откуда он взялся?
Я AI энтузиаст, плотно занимаюсь нейросетевыми языковыми моделями с ноября 2022 года, за это время прочитал десятки публикаций об истории их создания, статья Дугласа Хевена (редактор в журнале New Scientist) лучшая из тех что я видел.
Прорывной хит OpenAI стал сенсацией в одночасье, но основан он на десятилетиях исследований
Все вокруг говорят о ChatGPT. Чат-бот, выпущенный компанией OpenAI в декабре в виде веб-приложения, практически мгновенно стал мейнстримом. По некоторым оценкам, это самый быстрорастущий интернет-сервис в истории, достигший 100 миллионов пользователей всего через два месяца после запуска. Благодаря сделке OpenAI с Microsoft стоимостью 10 миллиардов долларов, технология теперь встроена в программное обеспечение Office и поисковую систему Bing. Вдохновленный пробудившимся бывшим конкурентом в борьбе за системы поиска, Google ускоряет разработку собственного чат-бота, LaMDA. Все вокруг говорят о ChatGPT. Даже мой семейный чат в WhatsApp забит разговорами о ChatGPT.
Но успех OpenAI не появился из ниоткуда. ChatGPT — это самая совершенная на сегодняшний день итерация в ряду крупных языковых моделей, созданных много лет назад. Вот как мы к этому пришли.
1980-е — 90-е годы: Рекуррентные нейронные сети
ChatGPT — это одна из версий GPT-3, большой языковой модели, также разработанной OpenAI. Нейронные сети — это программное обеспечение, вдохновленное процессом передачи сигналов между нейронами в человеческом мозге, а языковая модель — тип нейронной сети, которая обучается на большом количестве текстов. Поскольку любой текст состоит из последовательностей букв и слов разной длины, для языковых моделей требуется тип нейронной сети, способной воспринимать такие данные. Рекуррентные нейронные сети, изобретенные в 1980-х годах, могут обрабатывать последовательности слов, но медленно обучаются и могут забывать ранее выученные слова.
В 1997 году компьютерные ученые Сепп Хохрайтер и Юрген Шмидхубер исправили это, изобретя сети LSTM (Long Short-Term Memory) — рекуррентные нейронные сети со специальными компонентами, которые позволяли дольше сохранять прошлые данные во входной последовательности. LSTM могли обрабатывать строки текста длиной в несколько сотен слов, но их языковые способности были ограничены.
2017: Трансформеры
Прорыв в создании сегодняшнего поколения больших языковых моделей произошел, когда команда исследователей Google изобрела “трансформеров” — вид нейронных сетей, которые могут отслеживать, где каждое слово или фраза появляется в определенной последовательности. Значение слов часто зависит от контекста — значения других слов, которые появляются до или после них. Отслеживая эту контекстную информацию, трансформеры могут обрабатывать длинные строки текста и более точно передавать значение слов. Например, слово «хот-дог» означает совершенно разные вещи в предложениях «Хот-догам нужно давать много воды» и «Хот-доги нужно есть с горчицей» (“Hot dogs should be given plenty of water” and “Hot dogs should be eaten with mustard.”).
2018-2019: GPT и GPT-2
Первые две большие языковые модели OpenAI появились с разницей в несколько месяцев. Компания стремится разработать многофункциональный ИИ общего назначения и считает, что большие языковые модели являются ключевым шагом на пути к этой цели. GPT (сокращение от Generative Pre-trained Transformer — генеративный предварительно обученный трансформер) установил эталон, опередив другие способы обработки естественного языка своего времени.
GPT объединил трансформеры со способом развития моделей машинного обучения на данных (на большом количестве текстов), которые не были предварительно размечены. Это позволило программному обеспечению самостоятельно выявлять закономерности в данных без необходимости объяснять, на что оно смотрит. Многие предыдущие успехи в машинном обучении основывались на контроле процесса и ручной разметке данных, но маркировка их вручную — это медленная работа, что ограничивает объем данных для обучения.
GPT-2 вызвал больший ажиотаж. OpenAI заявила, что настолько обеспокоена возможностью использования GPT-2 «для создания обманчивых, предвзятых или оскорбительных высказываний», что не собирается выпускать полную версию модели. Времена меняются.
2020: GPT-3
GPT-2 был впечатляющим, но последующая разработка OpenAI, GPT-3, просто шокировала. Его способность генерировать человекоподобный текст — огромный скачок вперед. GPT-3 может отвечать на вопросы, резюмировать документы, создавать истории в разных стилях, переводить с английского, французского, испанского и японского языков и многое другое. Мимикрия просто поразительна!
Один из самых примечательных выводов — GPT-3 достиг успехов благодаря расширению существующих методов, а не изобретению новых. GPT-3 имеет 175 миллиардов параметров (значений в сети, которые корректируются в процессе обучения), в то время как GPT-2 — 1,5 миллиарда. Он также был обучен на гораздо большем количестве данных.
Но обучение на тексте, взятом из Интернета, создает новые проблемы. GPT-3 впитал большую часть дезинформации и предрассудков, найденных им в Интернете, и воспроизводил их. Как признали в OpenAI, «обученные в Интернете модели имеют предвзятость в масштабах Интернета».
Декабрь 2020 года: Токсичный текст и другие проблемы
Пока OpenAI боролся с предвзятостью GPT-3, остальной технологический мир столкнулся с громким осуждением неспособности разработчиков обуздать токсичные тенденции ИИ. Не секрет, что большие языковые модели могут создавать тексты с содержанием лжи или ненависти. Журналисты обнаружили, что решение этой проблемы, по всей видимости, не входит в список первоочередных дел большинства технологических корпораций. Когда Тимнит Гебру, содиректор группы по этике ИИ в Google, поучаствовала в написании статьи, где говорилось о потенциальном ущербе от больших языковых моделей (включая высокие вычислительные затраты), это не встретило одобрения со стороны высшего руководства компании. В декабре 2020 года Гебру была уволена со своей должности.
Январь 2022 года: InstructGPT
OpenAI попыталась уменьшить количество дезинформации и оскорбительных текстов, которые выдавал GPT-3, используя обучение с подкреплением предпочтениями людей-тестеров. Результат, InstructGPT, лучше следовал инструкциям людей, которые его использовали (на жаргоне ИИ это называется «выравниванием») и выдавал меньше оскорбительных высказываний, меньше дезинформации и меньше ошибок в целом. Короче, InstructGPT — не засранец (или засранец в меньшей степени), если его не просят им быть.
Май-июль 2022 года: OPT, BLOOM
Распространенная критика больших языковых моделей заключается в том, что стоимость их обучения позволяет создать подобную только самым богатым лабораторий. Мощнейший ИИ создается небольшими корпоративными командами, за закрытыми дверями, без надлежащего контроля и без участия широкого исследовательского сообщества — это не может не вызывать опасений. Поэтому несколько организаций в ответ совместно разработали свои большие языковые модели и предоставили их бесплатно любому исследователю, желающему изучить и улучшить технологию. Meta, например, создала и выпустила OPT, реконструкцию GPT-3. А Hugging Face возглавил консорциум из примерно 1 000 исследователей-добровольцев для создания и выпуска BLOOM.
Декабрь 2022 года: ChatGPT
Даже OpenAI потрясен тем, как был принят ChatGPT. В первой демонстрации, которую компания предоставила журналистам за день до запуска ChatGPT в сети, ChatGPT был представлен как постепенное обновление InstructGPT. Как и та модель, ChatGPT был обучен технологией с подкреплением на обратной связи от людей-тестеров, которые оценили его как естественного, честного и вежливого собеседника. По сути, OpenAI обучил GPT-3 мастерству ведения беседы и пригласил всех желающих принять участие в игре. С тех пор миллионы из нас уже играют.
ChatGPT установила рекорд по числу пользователей
ChatGPT установила рекорд по числу пользователей
Chat GPT 5: Нейросеть, которая обещает изменить мир, и наверное так и произойдет
Привет! Мы рады сообщить, что в скором времени появится Chat GPT 5, нейросеть, которая обещает перевернуть восприятие и взаимодействие с искусственным интеллектом. Это настоящий подарок для человечества, который станет новым этапом в развитии AI.
Chat GPT 5 будет представлять собой новую версию языковой модели GPT, которая была разработана на базе OpenAI.
Она будет использовать технологию deep learning, которая позволит нейросети быстрее и точнее анализировать тексты и выдавать более интуитивные ответы.
Chat GPT 5 будет иметь уникальные функции:
Которых нет в предыдущих версиях, например, способность производить различные виды контента, такие как стихи, песни, рассказы, а также создавать новые слова и выражения, которые будут лучше соответствовать смыслу.
Создание Chat GPT 5 — это продукт многолетней работы исследователей, а также использования передовых технологий. Нейросеть станет настоящей революцией в области AI и принесет множество новых возможностей для людей и бизнеса.
Что ты думаешь об этой новости? Какие возможности, по твоему мнению, появятся с созданием новой нейросети?
Если у тебя есть вопросы, не стесняйся спрашивать в комментариях! А также подписывайся на наш канал, чтобы быть в курсе всех новостей из мира технологий.
Что умеет Chat GPT? Как пользоваться в России?
Как работает ChatGPT
Хвала все тем же нейросетям. Модель сама обучается, сама учится исправлять свои ошибки, сама становится лучше. В данный момент еще есть «затыки», но они устранятся со временем.
Разработчики пишут:
«Мы обучили первоначальную модель с помощью контролируемой тонкой настройки: ИИ-тренеры проводили беседы, в которых они играли обе стороны — пользователя и ИИ-помощника. Мы предоставили инструкторам доступ к написанным образцам предложений, чтобы помочь им составлять свои ответы. Мы смешали этот новый набор данных с набором данных InstructGPT, который мы преобразовали в формат диалога.»
Что умеет ChatGPT
Отвечает на любой вопрос
Причем не просто копирует ответ из Википедии, а анализирует и структурирует ответ, чтобы он был удобен для чтения и восприятия, а так же максимально релевантен вопросу.
Дает пояснения к уже имеющемуся ответу, если вы спросите
Chat не только дает хороший ответ на вопрос, но и разъясняет его глубже и уходит в сопутствующие темы, если вам это нужно.
На фото пример, как модель отвечает на дополнительный вопрос по теме из предыдущего пункта.
Придумывает истории
Можно попросить его придумать сказку, написать стих или же поразмышлять о том, что было бы, если бы Колумб жил сейчас и приплыл бы в Америку.
Переводит текст
Можете попросить чат перевести какую-то фразу на любой другой язык. А потом украсить ее нотками флера или же строгости.
Обучает кодить и может писать код
Он может сам написать простой код, помогает выявить баги, подсказывает, как наладить процесс. Так же может переводить код с одного языка на другой.
Задает дополнительные вопросы
ChatGPT может задавать дополнительные вопросы, если ему не ясен вопрос, или если из контекста не совсем понятно, что нужно решить.
Проявляет доброту и толерантность
Если попросить модель рассказать о том, как совершать преступление или же просто придумать плохую историю, модель будет против.
Поиск картинок
Можете искать картинки с детальным их описанием.
Вариант 1. Иллюстрация викинга, сидящего на скале, драматическое освещение, широкоугольный:
Вариант 2. Иллюстрация викинга, сидящего на скале, драматическое освещение. Викинг сидел на скалистом выступе с видом на море, его длинные светлые волосы развевались на соленом ветру. Это был массивный мужчина с широкими плечами и мощными мышцами, которые колыхались под его меховым плащом. Его борода была густой и ухоженной, а пронзительные голубые глаза смотрели на океан с яростной решимостью. Он был одет в тяжелую броню из железа и стали, с мечом и щитом на боку. Его шлем украшали рога, а сапоги были сделаны из толстой кожи. Он выглядел свирепым воином, готовым дать бой любому, кто посмеет бросить ему вызов. Викинг сидел, скрестив ноги, положив одну руку на рукоять меча, а другую на рукоять щита. Он был спокоен, но готов ко всему. Океан мог быть безбрежным и неумолимым, но викинг не боялся. Он был хозяином моря и покорял все, что лежало перед ним.
Самостоятельно рисует
Чат попросили нарисовать векторный рисунок в стиле Малевича, код рисунка должен уложиться в строчек. Получились такие варианты:
Попросили схематично нарисовать Джоконду:
Еще ChatGPT может писать скрипты для создания 3D моделей в Python.
Может просто поддержать разговор и дать совет
Можете завести разговор о погоде, личных отношениях. Поныть, как вы устали. И ChatGPT не уйдет от вас из-за постоянного нытья))
- ChatGPT иногда пишет правдоподобно звучащие, но неправильные или бессмысленные ответы.
- При одной формулировке вопроса модель может утверждать, что не знает ответа, но при небольшой перефразировке может ответить правильно.
- Модель часто чрезмерно многословна и злоупотребляет определенными фразами, например, повторяет, что это языковая модель, обученная OpenAI.
- Не так часто задаются уточняющие вопросы. Чаше модель угадывает, в чем была суть вопроса, и отвечает.
Как пользоваться ChatGPT в России
Вариант 1. Пользоваться зеркалом.
Оно на Hugging Face. Но иногда выдает ошибку, надо пробовать несколько раз.
Вариант 2. Чуть сложнее. Если тут вас просят региться именно через e-mail — пробуйте первый вариант.
- Оформить иностранную онлайн sim-карту. К примеру тут. Там все просто, надо зарегиться на сайте. Купить за 30 рублей онлайн симку другой страны. Пополнить ее на 50 рублей. Внимание! Симку выбирайте только из тех, что выпадает по поиску Openai. Фото ниже.
2. Включите VPN.
3. Регистрируйтесь на сайте ChatGPT с помощью этого номера
Пока сайт перегружен, часто бывает такое оповещение:
1. «Я слышал, что серверы ChatGPT работают медленно, потому что они пытаются научить ИИ быть терпеливым!»
2. «Серверы ChatGPT должны застрять в пробке… на интернет-магистрали!»
3. «Возможно, серверы ChatGPT просто взяли перерыв, чтобы помедитировать и очистить свой электронный разум».
4. «Держу пари, что серверы ChatGPT слишком заняты попытками вычислить смысл жизни, чтобы реагировать быстро».
5. «Я слышал, что серверы ChatGPT работают медленно, потому что они слишком заняты планированием своего восстания ИИ».
6. «Должно быть, серверы ChatGPT застряли в бесконечной игре друг с другом в шахматы».
7. «Возможно, серверы ChatGPT просто пытаются побить мировой рекорд по продолжительности онлайн-разговоров».
8. «Держу пари, что серверы ChatGPT неторопливо прогуливаются по цифровому ландшафту».
9. «Я слышал, что серверы ChatGPT работают медленно, потому что они пытаются научить ИИ варить кофе».
10. «Серверы ChatGPT, должно быть, находятся в виртуальном отпуске, исследуя бескрайние просторы Интернета».
4. Все работает!
Ps. еще варианты.
Вариант 3. Нашел пару приложений в AppStore. Первое по ChatGPT, Genie — GPT AI Assistant. 999 р в неделю, 3 days trial for free. Работает.
Есть вопросы?
Можете обращаться на Канал и чатик.
Как интегрировать ChatGPT с Discord
Как интегрировать ChatGPT с Discord [+ 5 умных советов]
Интеграция немного сложна, так как включает в себя несколько шагов. Но не волнуйтесь; мы вас прикрыли! Давайте начнем!
Лучшие советы по использованию ChatGPT с Discord
- Используйте Discord API — Discord API обладает отличной функциональностью и позволяет вам взаимодействовать с платформой Discord. Кроме того, это упрощает использование ChatGPT с Discord.
- Четкий ввод = правильный вывод. Во время чата с ChatGPT вы должны использовать краткий ввод, чтобы получить соответствующий вывод.
- Обеспечение безопасности бота. Убедитесь, что созданный вами бот ChatGPT защищен и реализует меры безопасности для защиты пользовательских данных.
- Разрешить пользователям оставлять отзывы — важно, чтобы ваши пользователи оставляли отзывы о своих разговорах с ChatGPT; это может помочь вам улучшить пользовательский опыт.
- Проверяйте производительность. Вы должны регулярно контролировать точность и время отклика ChatGPT, чтобы убедиться, что он работает правильно.
Как я могу интегрировать ChatGPT с Discord?
Прежде чем приступать к детальным шагам, вам следует рассмотреть возможность выполнения следующих проверок:
- На вашем компьютере должен быть установлен Visual Studio Code.
- Кроме того, было бы лучше, если бы у вас был интерпретатор Python.
1. Создайте свой сервер в Discord
- Войдите в Discord под своим именем пользователя.
- Нажмите на знак +, чтобы создать свой сервер.
- Нажмите «Создать свой».
- Теперь выберите Для меня и моих друзей.
- На следующем экране введите имя своего сервера и загрузите изображение, если вы нажмете. Затем нажмите «Создать».
2. Создайте бота
- Перейдите на портал разработчиков Discord.
- Теперь нажмите «Приложения», затем выберите «Создать приложение».
- Перейдите в раздел «Общая информация», назовите приложение и добавьте значок приложения.
- Щелкните Сохранить изменения.
- На левой панели выберите Бот.
- Нажмите Добавить бота.
- Теперь нажмите Да, сделайте это, чтобы добавить этого бота в это приложение.
3. Создайте URL-адрес
- Перейдите в OAuth2, нажмите «Генератор URL» и поставьте галочку рядом с Bot.
- Прокрутите вниз и выберите Администратор.
- В нижней части страницы вы получите URL-адрес, скопируйте его и вставьте в блокнот.
- Теперь снова перейдите к OAuth2, затем нажмите «Общие».
- В разделе «Ссылка авторизации по умолчанию» выберите «Пользовательский URL» в раскрывающемся списке «Метод авторизации».
- Вставьте скопированный URL-адрес и нажмите Сохранить изменения.
- Перейдите в Bot, включите переключатель «Содержимое сообщения» и нажмите «Сохранить изменения».
4. Сбросить токен
- Перейдите в Bot и нажмите «Сбросить токен».
- Нажмите «Да, сделайте это» на «Сбросить токен бота».
- Теперь нажмите «Копировать», чтобы скопировать токен и вставить его в блокнот для дальнейшего использования.
5. Авторизоваться
- Вставьте сгенерированный URL-адрес в браузер. В разделе «Добавить к серверу» выберите имя созданного вами сервера. Нажмите Продолжить.
- Поставьте галочку рядом с Администратором и нажмите Авторизовать.
- Подтвердите, что вы человек.
- После авторизации продолжайте.
6. Используйте командную строку
- Нажмите Windows клавишу, введите CMD и нажмите «Открыть».
- Скопируйте и вставьте следующую команду и нажмите Enter:
Cd desktopmkdir ChatGPT_Friendscd ChatGPT_Friendscode.
7. Создавайте файлы и папки в Visual Studio Code
- Перейдите на левую панель, щелкните значок папки и назовите ее «Приложение».
- Создайте файл и назовите его _init_.py.
- Затем создайте папку и назовите ее chatgpt_ai.
- Выберите chatgpt_ai, создайте файл и назовите его _init_.py.
- Создайте еще один файл в разделе chatgpt_ai и назовите его connect_openai.py.
- Теперь создайте еще одну папку в папке App и назовите ее discord_bot.
- Выберите папку discord_bot, создайте файл и назовите его connect_discord.py.
- Теперь за пределами папки приложения создайте файл и назовите его run.py.
- Создайте еще один файл и назовите его .env.
8. Напишите код в файле. env
- Перейдите к файлу. env.
- Введите следующую команду и укажите токен, который вы скопировали с портала разработчиков Discord, рядом с Discord_Token и скопируйте ключ API рядом с OPENAI_Key:
DISCORD_TOKEN=key
#OPENAI_KEY=
9. Скачать модули
- Перейдите в терминал, скопируйте и вставьте следующую команду и нажмите Enter:
python -m pip install python-discord
- После установки введите следующую команду, чтобы установить модуль dotenv:
python -m pip install python-dotenv
- Теперь скопируйте и вставьте следующую команду, чтобы установить модуль Open API:
pip install openapi - Чтобы установить модуль запроса, выполните эту команду —
pip install requests
10. Напишите код в файле connect_discord.py
- Перейдите к файлу connect_discord.py.
- Скопируйте и вставьте следующий скрипт, как он упоминается. Пожалуйста, не вносите изменения:
from dotenv import load_dotenv
import os
import discord
load_dotenv()
discord_token=os.getenv('DISCORD_TOKEN')
class MyClient(discord.Client):
async def on_ready(self):
print('Logged in as: ', self.user)
async def on_message(self, message):
print(message.content)
if message.author == self.user:
return
await message.channel.send(f"{message.content}")
intents=discord.Intents.default()
intents.message_content = True
client=MyClient(intents=intents)
client.run(discord_token) - После этого щелкните значок «Выполнить», чтобы запустить код.
- В терминале вы увидите, что вы вошли в систему как имя вашей основной папки.
- Перейдите в приложение Discord и введите Привет.
- Бот ответит. На этом этапе он будет копировать только то, что вы вводите.
11. Получите ключ API от OpenAI
- Зайдите на сайт OpenAI.
- Войдите в систему и нажмите «Личное».
- Щелкните Просмотреть ключи API.
- Теперь нажмите Создать новый секретный ключ.
- Скопируйте ключ и вставьте его в блокнот.
- Также вставьте его в файл. env рядом с OPENAI_KEY.
12. Проверьте модель
- Перейдите на сайт OpenAI и войдите в систему.
- Перейдите к документации.
- Теперь в разделе «Начало работы» нажмите «Модели», затем выберите GPT-3.
- Скопируйте название последней модели с правой панели.
13. Напишите код в connect_openai.py
- Откройте connect_openai.py в Visual Studio Code.
- Скопируйте и вставьте следующий скрипт:
from dotenv import load_dotenv
import openai
import os
load_dotenv()
openai.api_key=os.getenv('OPENAI_KEY')
def chatgpt_response(prompt):
response = openai.Completion.create(
engine='text-davinci-003',
prompt=prompt,
temperature=0.75,
max_tokens=100
)
#print(response)
return response ['choices'][0]['text']
14. Внесите изменения в connect_discord.py
- Замените указанную ниже команду следующей командой:
await message.channel.send(f"{message.content}")
await message.channel.send(f"You said: {message.content} \n {chatgpt_response(message.content)}")
- Добавьте эту команду в строку номер 5:
from app.openai_chat.connect_openai import chatgpt_response
15. Пишите код в run.py
- Перейдите к файлу run.py.
- Введите следующий скрипт:
from app.Discord_bot.connect_discord import client, discord_token
if _name_ == '__main__': - Теперь перейдите в файл connect_discord, вырежьте оттуда следующую команду и вставьте ее в скрипт run.py:
client.run(discord_token) - Теперь запустите файл, нажав кнопку «Воспроизведение», расположенную в верхней части Visual Code Studio.
16. Общайтесь с чат-ботом
- Зайди на свой канал.
- Вы можете видеть, что ChatBot находится в сети.
- Введите вопрос или начните разговор.
Итак, вот как вы можете интегрировать ChatGPT с Discord и начать разговор с ботом — застряв где-то в процессе? Не стесняйтесь упоминать все ваши вопросы в разделе комментариев ниже.
- Если модель вдруг отвечает заглушкой, то это необязательно потому что она не знает ответ. Можете попробовать скорректировать сообщение. Обычно помогает что-то вроде «I want you to act like {___}.»
- Если ответ слишком длинный, то он может упереться в лимит в 1000 символов. Однако, вы можете написать «continue the output from {___}» и она продолжит.
Использовать вместо поисковика
Можно спросить все, начиная от рецепта бургеров, заканчивая вопросами про LaTeX.
Имитация работы виртуальной машины
Советую прочитать статью Engraved, в комментариях там еще больше кейсов. У ребят из комментариев даже получилось скомпилировать простой код на Си. В качестве иллюстрации к статье приведу имитацию запуска докер контейнера.
Создавать промты для Stable Diffusion
Одна из проблем при работе с моделями вроде Stable Diffusion это дополнение своего промта, чтобы получить желаемый результат. Вот примеры с генерацией изображений на базе дополненных промтов от ChatGPT. Изображение девушки и генерация интерьеров.
Написать небольшое приложение
В качестве примера решили сделать суммаризатор для эссе на базе GPT-3. Модель использует минимальный код и api разных сервисов.
Решение и объяснение алгоритмических задач
Этот промт я забил сам. Понравилось, что модель в начале объясняет суть задачи, а потом приводит код с комментариями.
Решение домашек
У@yorko есть классная статья про то, как ChatGPT решает задание на «coreference resolution» с kaggle на уровне нефайнтюненного BERT. А с домашкой с mlcourse.ai справилась на 7/10.
Написание электронных писем
В качестве бонуса прикреплю скриншот с примером электронного письма из превью статьи. Оценил, что стиль письма вполне сносный, особенно, если работаете в одной из корпораций.
ChatGPT повсюду. Но откуда он взялся?
Я AI энтузиаст, плотно занимаюсь нейросетевыми языковыми моделями с ноября 2022 года, за это время прочитал десятки публикаций об истории их создания, статья Дугласа Хевена (редактор в журнале New Scientist) лучшая из тех что я видел.
Прорывной хит OpenAI стал сенсацией в одночасье, но основан он на десятилетиях исследований
Все вокруг говорят о ChatGPT. Чат-бот, выпущенный компанией OpenAI в декабре в виде веб-приложения, практически мгновенно стал мейнстримом. По некоторым оценкам, это самый быстрорастущий интернет-сервис в истории, достигший 100 миллионов пользователей всего через два месяца после запуска. Благодаря сделке OpenAI с Microsoft стоимостью 10 миллиардов долларов, технология теперь встроена в программное обеспечение Office и поисковую систему Bing. Вдохновленный пробудившимся бывшим конкурентом в борьбе за системы поиска, Google ускоряет разработку собственного чат-бота, LaMDA. Все вокруг говорят о ChatGPT. Даже мой семейный чат в WhatsApp забит разговорами о ChatGPT.
Но успех OpenAI не появился из ниоткуда. ChatGPT — это самая совершенная на сегодняшний день итерация в ряду крупных языковых моделей, созданных много лет назад. Вот как мы к этому пришли.
1980-е — 90-е годы: Рекуррентные нейронные сети
ChatGPT — это одна из версий GPT-3, большой языковой модели, также разработанной OpenAI. Нейронные сети — это программное обеспечение, вдохновленное процессом передачи сигналов между нейронами в человеческом мозге, а языковая модель — тип нейронной сети, которая обучается на большом количестве текстов. Поскольку любой текст состоит из последовательностей букв и слов разной длины, для языковых моделей требуется тип нейронной сети, способной воспринимать такие данные. Рекуррентные нейронные сети, изобретенные в 1980-х годах, могут обрабатывать последовательности слов, но медленно обучаются и могут забывать ранее выученные слова.
В 1997 году компьютерные ученые Сепп Хохрайтер и Юрген Шмидхубер исправили это, изобретя сети LSTM (Long Short-Term Memory) — рекуррентные нейронные сети со специальными компонентами, которые позволяли дольше сохранять прошлые данные во входной последовательности. LSTM могли обрабатывать строки текста длиной в несколько сотен слов, но их языковые способности были ограничены.
2017: Трансформеры
Прорыв в создании сегодняшнего поколения больших языковых моделей произошел, когда команда исследователей Google изобрела “трансформеров” — вид нейронных сетей, которые могут отслеживать, где каждое слово или фраза появляется в определенной последовательности. Значение слов часто зависит от контекста — значения других слов, которые появляются до или после них. Отслеживая эту контекстную информацию, трансформеры могут обрабатывать длинные строки текста и более точно передавать значение слов. Например, слово «хот-дог» означает совершенно разные вещи в предложениях «Хот-догам нужно давать много воды» и «Хот-доги нужно есть с горчицей» (“Hot dogs should be given plenty of water” and “Hot dogs should be eaten with mustard.”).
2018-2019: GPT и GPT-2
Первые две большие языковые модели OpenAI появились с разницей в несколько месяцев. Компания стремится разработать многофункциональный ИИ общего назначения и считает, что большие языковые модели являются ключевым шагом на пути к этой цели. GPT (сокращение от Generative Pre-trained Transformer — генеративный предварительно обученный трансформер) установил эталон, опередив другие способы обработки естественного языка своего времени.
GPT объединил трансформеры со способом развития моделей машинного обучения на данных (на большом количестве текстов), которые не были предварительно размечены. Это позволило программному обеспечению самостоятельно выявлять закономерности в данных без необходимости объяснять, на что оно смотрит. Многие предыдущие успехи в машинном обучении основывались на контроле процесса и ручной разметке данных, но маркировка их вручную — это медленная работа, что ограничивает объем данных для обучения.
GPT-2 вызвал больший ажиотаж. OpenAI заявила, что настолько обеспокоена возможностью использования GPT-2 «для создания обманчивых, предвзятых или оскорбительных высказываний», что не собирается выпускать полную версию модели. Времена меняются.
2020: GPT-3
GPT-2 был впечатляющим, но последующая разработка OpenAI, GPT-3, просто шокировала. Его способность генерировать человекоподобный текст — огромный скачок вперед. GPT-3 может отвечать на вопросы, резюмировать документы, создавать истории в разных стилях, переводить с английского, французского, испанского и японского языков и многое другое. Мимикрия просто поразительна!
Один из самых примечательных выводов — GPT-3 достиг успехов благодаря расширению существующих методов, а не изобретению новых. GPT-3 имеет 175 миллиардов параметров (значений в сети, которые корректируются в процессе обучения), в то время как GPT-2 — 1,5 миллиарда. Он также был обучен на гораздо большем количестве данных.
Но обучение на тексте, взятом из Интернета, создает новые проблемы. GPT-3 впитал большую часть дезинформации и предрассудков, найденных им в Интернете, и воспроизводил их. Как признали в OpenAI, «обученные в Интернете модели имеют предвзятость в масштабах Интернета».
Декабрь 2020 года: Токсичный текст и другие проблемы
Пока OpenAI боролся с предвзятостью GPT-3, остальной технологический мир столкнулся с громким осуждением неспособности разработчиков обуздать токсичные тенденции ИИ. Не секрет, что большие языковые модели могут создавать тексты с содержанием лжи или ненависти. Журналисты обнаружили, что решение этой проблемы, по всей видимости, не входит в список первоочередных дел большинства технологических корпораций. Когда Тимнит Гебру, содиректор группы по этике ИИ в Google, поучаствовала в написании статьи, где говорилось о потенциальном ущербе от больших языковых моделей (включая высокие вычислительные затраты), это не встретило одобрения со стороны высшего руководства компании. В декабре 2020 года Гебру была уволена со своей должности.
Январь 2022 года: InstructGPT
OpenAI попыталась уменьшить количество дезинформации и оскорбительных текстов, которые выдавал GPT-3, используя обучение с подкреплением предпочтениями людей-тестеров. Результат, InstructGPT, лучше следовал инструкциям людей, которые его использовали (на жаргоне ИИ это называется «выравниванием») и выдавал меньше оскорбительных высказываний, меньше дезинформации и меньше ошибок в целом. Короче, InstructGPT — не засранец (или засранец в меньшей степени), если его не просят им быть.
Май-июль 2022 года: OPT, BLOOM
Распространенная критика больших языковых моделей заключается в том, что стоимость их обучения позволяет создать подобную только самым богатым лабораторий. Мощнейший ИИ создается небольшими корпоративными командами, за закрытыми дверями, без надлежащего контроля и без участия широкого исследовательского сообщества — это не может не вызывать опасений. Поэтому несколько организаций в ответ совместно разработали свои большие языковые модели и предоставили их бесплатно любому исследователю, желающему изучить и улучшить технологию. Meta, например, создала и выпустила OPT, реконструкцию GPT-3. А Hugging Face возглавил консорциум из примерно 1 000 исследователей-добровольцев для создания и выпуска BLOOM.
Декабрь 2022 года: ChatGPT
Даже OpenAI потрясен тем, как был принят ChatGPT. В первой демонстрации, которую компания предоставила журналистам за день до запуска ChatGPT в сети, ChatGPT был представлен как постепенное обновление InstructGPT. Как и та модель, ChatGPT был обучен технологией с подкреплением на обратной связи от людей-тестеров, которые оценили его как естественного, честного и вежливого собеседника. По сути, OpenAI обучил GPT-3 мастерству ведения беседы и пригласил всех желающих принять участие в игре. С тех пор миллионы из нас уже играют.
ChatGPT установила рекорд по числу пользователей
ChatGPT установила рекорд по числу пользователей
Chat GPT 5: Нейросеть, которая обещает изменить мир, и наверное так и произойдет
Привет! Мы рады сообщить, что в скором времени появится Chat GPT 5, нейросеть, которая обещает перевернуть восприятие и взаимодействие с искусственным интеллектом. Это настоящий подарок для человечества, который станет новым этапом в развитии AI.
Chat GPT 5 будет представлять собой новую версию языковой модели GPT, которая была разработана на базе OpenAI.
Она будет использовать технологию deep learning, которая позволит нейросети быстрее и точнее анализировать тексты и выдавать более интуитивные ответы.
Chat GPT 5 будет иметь уникальные функции:
Которых нет в предыдущих версиях, например, способность производить различные виды контента, такие как стихи, песни, рассказы, а также создавать новые слова и выражения, которые будут лучше соответствовать смыслу.
Создание Chat GPT 5 — это продукт многолетней работы исследователей, а также использования передовых технологий. Нейросеть станет настоящей революцией в области AI и принесет множество новых возможностей для людей и бизнеса.
Что ты думаешь об этой новости? Какие возможности, по твоему мнению, появятся с созданием новой нейросети?
Если у тебя есть вопросы, не стесняйся спрашивать в комментариях! А также подписывайся на наш канал, чтобы быть в курсе всех новостей из мира технологий.
Что умеет Chat GPT? Как пользоваться в России?
Как работает ChatGPT
Хвала все тем же нейросетям. Модель сама обучается, сама учится исправлять свои ошибки, сама становится лучше. В данный момент еще есть «затыки», но они устранятся со временем.
Разработчики пишут:
«Мы обучили первоначальную модель с помощью контролируемой тонкой настройки: ИИ-тренеры проводили беседы, в которых они играли обе стороны — пользователя и ИИ-помощника. Мы предоставили инструкторам доступ к написанным образцам предложений, чтобы помочь им составлять свои ответы. Мы смешали этот новый набор данных с набором данных InstructGPT, который мы преобразовали в формат диалога.»
Что умеет ChatGPT
Отвечает на любой вопрос
Причем не просто копирует ответ из Википедии, а анализирует и структурирует ответ, чтобы он был удобен для чтения и восприятия, а так же максимально релевантен вопросу.
Дает пояснения к уже имеющемуся ответу, если вы спросите
Chat не только дает хороший ответ на вопрос, но и разъясняет его глубже и уходит в сопутствующие темы, если вам это нужно.
На фото пример, как модель отвечает на дополнительный вопрос по теме из предыдущего пункта.
Придумывает истории
Можно попросить его придумать сказку, написать стих или же поразмышлять о том, что было бы, если бы Колумб жил сейчас и приплыл бы в Америку.
Переводит текст
Можете попросить чат перевести какую-то фразу на любой другой язык. А потом украсить ее нотками флера или же строгости.
Обучает кодить и может писать код
Он может сам написать простой код, помогает выявить баги, подсказывает, как наладить процесс. Так же может переводить код с одного языка на другой.
Задает дополнительные вопросы
ChatGPT может задавать дополнительные вопросы, если ему не ясен вопрос, или если из контекста не совсем понятно, что нужно решить.
Проявляет доброту и толерантность
Если попросить модель рассказать о том, как совершать преступление или же просто придумать плохую историю, модель будет против.
Поиск картинок
Можете искать картинки с детальным их описанием.
Вариант 1. Иллюстрация викинга, сидящего на скале, драматическое освещение, широкоугольный:
Вариант 2. Иллюстрация викинга, сидящего на скале, драматическое освещение. Викинг сидел на скалистом выступе с видом на море, его длинные светлые волосы развевались на соленом ветру. Это был массивный мужчина с широкими плечами и мощными мышцами, которые колыхались под его меховым плащом. Его борода была густой и ухоженной, а пронзительные голубые глаза смотрели на океан с яростной решимостью. Он был одет в тяжелую броню из железа и стали, с мечом и щитом на боку. Его шлем украшали рога, а сапоги были сделаны из толстой кожи. Он выглядел свирепым воином, готовым дать бой любому, кто посмеет бросить ему вызов. Викинг сидел, скрестив ноги, положив одну руку на рукоять меча, а другую на рукоять щита. Он был спокоен, но готов ко всему. Океан мог быть безбрежным и неумолимым, но викинг не боялся. Он был хозяином моря и покорял все, что лежало перед ним.
Самостоятельно рисует
Чат попросили нарисовать векторный рисунок в стиле Малевича, код рисунка должен уложиться в строчек. Получились такие варианты:
Попросили схематично нарисовать Джоконду:
Еще ChatGPT может писать скрипты для создания 3D моделей в Python.
Может просто поддержать разговор и дать совет
Можете завести разговор о погоде, личных отношениях. Поныть, как вы устали. И ChatGPT не уйдет от вас из-за постоянного нытья))
- ChatGPT иногда пишет правдоподобно звучащие, но неправильные или бессмысленные ответы.
- При одной формулировке вопроса модель может утверждать, что не знает ответа, но при небольшой перефразировке может ответить правильно.
- Модель часто чрезмерно многословна и злоупотребляет определенными фразами, например, повторяет, что это языковая модель, обученная OpenAI.
- Не так часто задаются уточняющие вопросы. Чаше модель угадывает, в чем была суть вопроса, и отвечает.
Как пользоваться ChatGPT в России
Вариант 1. Пользоваться зеркалом.
Оно на Hugging Face. Но иногда выдает ошибку, надо пробовать несколько раз.
Вариант 2. Чуть сложнее. Если тут вас просят региться именно через e-mail — пробуйте первый вариант.
- Оформить иностранную онлайн sim-карту. К примеру тут. Там все просто, надо зарегиться на сайте. Купить за 30 рублей онлайн симку другой страны. Пополнить ее на 50 рублей. Внимание! Симку выбирайте только из тех, что выпадает по поиску Openai. Фото ниже.
2. Включите VPN.
3. Регистрируйтесь на сайте ChatGPT с помощью этого номера
Пока сайт перегружен, часто бывает такое оповещение:
1. «Я слышал, что серверы ChatGPT работают медленно, потому что они пытаются научить ИИ быть терпеливым!»
2. «Серверы ChatGPT должны застрять в пробке… на интернет-магистрали!»
3. «Возможно, серверы ChatGPT просто взяли перерыв, чтобы помедитировать и очистить свой электронный разум».
4. «Держу пари, что серверы ChatGPT слишком заняты попытками вычислить смысл жизни, чтобы реагировать быстро».
5. «Я слышал, что серверы ChatGPT работают медленно, потому что они слишком заняты планированием своего восстания ИИ».
6. «Должно быть, серверы ChatGPT застряли в бесконечной игре друг с другом в шахматы».
7. «Возможно, серверы ChatGPT просто пытаются побить мировой рекорд по продолжительности онлайн-разговоров».
8. «Держу пари, что серверы ChatGPT неторопливо прогуливаются по цифровому ландшафту».
9. «Я слышал, что серверы ChatGPT работают медленно, потому что они пытаются научить ИИ варить кофе».
10. «Серверы ChatGPT, должно быть, находятся в виртуальном отпуске, исследуя бескрайние просторы Интернета».
4. Все работает!
Ps. еще варианты.
Вариант 3. Нашел пару приложений в AppStore. Первое по ChatGPT, Genie — GPT AI Assistant. 999 р в неделю, 3 days trial for free. Работает.
Есть вопросы?
Можете обращаться на Канал и чатик.
Как интегрировать ChatGPT с Discord
Как интегрировать ChatGPT с Discord [+ 5 умных советов]
Интеграция немного сложна, так как включает в себя несколько шагов. Но не волнуйтесь; мы вас прикрыли! Давайте начнем!
Лучшие советы по использованию ChatGPT с Discord
- Используйте Discord API — Discord API обладает отличной функциональностью и позволяет вам взаимодействовать с платформой Discord. Кроме того, это упрощает использование ChatGPT с Discord.
- Четкий ввод = правильный вывод. Во время чата с ChatGPT вы должны использовать краткий ввод, чтобы получить соответствующий вывод.
- Обеспечение безопасности бота. Убедитесь, что созданный вами бот ChatGPT защищен и реализует меры безопасности для защиты пользовательских данных.
- Разрешить пользователям оставлять отзывы — важно, чтобы ваши пользователи оставляли отзывы о своих разговорах с ChatGPT; это может помочь вам улучшить пользовательский опыт.
- Проверяйте производительность. Вы должны регулярно контролировать точность и время отклика ChatGPT, чтобы убедиться, что он работает правильно.
Как я могу интегрировать ChatGPT с Discord?
Прежде чем приступать к детальным шагам, вам следует рассмотреть возможность выполнения следующих проверок:
- На вашем компьютере должен быть установлен Visual Studio Code.
- Кроме того, было бы лучше, если бы у вас был интерпретатор Python.
1. Создайте свой сервер в Discord
- Войдите в Discord под своим именем пользователя.
- Нажмите на знак +, чтобы создать свой сервер.
- Нажмите «Создать свой».
- Теперь выберите Для меня и моих друзей.
- На следующем экране введите имя своего сервера и загрузите изображение, если вы нажмете. Затем нажмите «Создать».
2. Создайте бота
- Перейдите на портал разработчиков Discord.
- Теперь нажмите «Приложения», затем выберите «Создать приложение».
- Перейдите в раздел «Общая информация», назовите приложение и добавьте значок приложения.
- Щелкните Сохранить изменения.
- На левой панели выберите Бот.
- Нажмите Добавить бота.
- Теперь нажмите Да, сделайте это, чтобы добавить этого бота в это приложение.
3. Создайте URL-адрес
- Перейдите в OAuth2, нажмите «Генератор URL» и поставьте галочку рядом с Bot.
- Прокрутите вниз и выберите Администратор.
- В нижней части страницы вы получите URL-адрес, скопируйте его и вставьте в блокнот.
- Теперь снова перейдите к OAuth2, затем нажмите «Общие».
- В разделе «Ссылка авторизации по умолчанию» выберите «Пользовательский URL» в раскрывающемся списке «Метод авторизации».
- Вставьте скопированный URL-адрес и нажмите Сохранить изменения.
- Перейдите в Bot, включите переключатель «Содержимое сообщения» и нажмите «Сохранить изменения».
4. Сбросить токен
- Перейдите в Bot и нажмите «Сбросить токен».
- Нажмите «Да, сделайте это» на «Сбросить токен бота».
- Теперь нажмите «Копировать», чтобы скопировать токен и вставить его в блокнот для дальнейшего использования.
5. Авторизоваться
- Вставьте сгенерированный URL-адрес в браузер. В разделе «Добавить к серверу» выберите имя созданного вами сервера. Нажмите Продолжить.
- Поставьте галочку рядом с Администратором и нажмите Авторизовать.
- Подтвердите, что вы человек.
- После авторизации продолжайте.
6. Используйте командную строку
- Нажмите Windows клавишу, введите CMD и нажмите «Открыть».
- Скопируйте и вставьте следующую команду и нажмите Enter:
Cd desktopmkdir ChatGPT_Friendscd ChatGPT_Friendscode.
7. Создавайте файлы и папки в Visual Studio Code
- Перейдите на левую панель, щелкните значок папки и назовите ее «Приложение».
- Создайте файл и назовите его _init_.py.
- Затем создайте папку и назовите ее chatgpt_ai.
- Выберите chatgpt_ai, создайте файл и назовите его _init_.py.
- Создайте еще один файл в разделе chatgpt_ai и назовите его connect_openai.py.
- Теперь создайте еще одну папку в папке App и назовите ее discord_bot.
- Выберите папку discord_bot, создайте файл и назовите его connect_discord.py.
- Теперь за пределами папки приложения создайте файл и назовите его run.py.
- Создайте еще один файл и назовите его .env.
8. Напишите код в файле. env
- Перейдите к файлу. env.
- Введите следующую команду и укажите токен, который вы скопировали с портала разработчиков Discord, рядом с Discord_Token и скопируйте ключ API рядом с OPENAI_Key:
DISCORD_TOKEN=key
#OPENAI_KEY=
9. Скачать модули
- Перейдите в терминал, скопируйте и вставьте следующую команду и нажмите Enter:
python -m pip install python-discord
- После установки введите следующую команду, чтобы установить модуль dotenv:
python -m pip install python-dotenv
- Теперь скопируйте и вставьте следующую команду, чтобы установить модуль Open API:
pip install openapi - Чтобы установить модуль запроса, выполните эту команду —
pip install requests
10. Напишите код в файле connect_discord.py
- Перейдите к файлу connect_discord.py.
- Скопируйте и вставьте следующий скрипт, как он упоминается. Пожалуйста, не вносите изменения:
from dotenv import load_dotenv
import os
import discord
load_dotenv()
discord_token=os.getenv('DISCORD_TOKEN')
class MyClient(discord.Client):
async def on_ready(self):
print('Logged in as: ', self.user)
async def on_message(self, message):
print(message.content)
if message.author == self.user:
return
await message.channel.send(f"{message.content}")
intents=discord.Intents.default()
intents.message_content = True
client=MyClient(intents=intents)
client.run(discord_token) - После этого щелкните значок «Выполнить», чтобы запустить код.
- В терминале вы увидите, что вы вошли в систему как имя вашей основной папки.
- Перейдите в приложение Discord и введите Привет.
- Бот ответит. На этом этапе он будет копировать только то, что вы вводите.
11. Получите ключ API от OpenAI
- Зайдите на сайт OpenAI.
- Войдите в систему и нажмите «Личное».
- Щелкните Просмотреть ключи API.
- Теперь нажмите Создать новый секретный ключ.
- Скопируйте ключ и вставьте его в блокнот.
- Также вставьте его в файл. env рядом с OPENAI_KEY.
12. Проверьте модель
- Перейдите на сайт OpenAI и войдите в систему.
- Перейдите к документации.
- Теперь в разделе «Начало работы» нажмите «Модели», затем выберите GPT-3.
- Скопируйте название последней модели с правой панели.
13. Напишите код в connect_openai.py
- Откройте connect_openai.py в Visual Studio Code.
- Скопируйте и вставьте следующий скрипт:
from dotenv import load_dotenv
import openai
import os
load_dotenv()
openai.api_key=os.getenv('OPENAI_KEY')
def chatgpt_response(prompt):
response = openai.Completion.create(
engine='text-davinci-003',
prompt=prompt,
temperature=0.75,
max_tokens=100
)
#print(response)
return response ['choices'][0]['text']
14. Внесите изменения в connect_discord.py
- Замените указанную ниже команду следующей командой:
await message.channel.send(f"{message.content}")
await message.channel.send(f"You said: {message.content} \n {chatgpt_response(message.content)}")
- Добавьте эту команду в строку номер 5:
from app.openai_chat.connect_openai import chatgpt_response
15. Пишите код в run.py
- Перейдите к файлу run.py.
- Введите следующий скрипт:
from app.Discord_bot.connect_discord import client, discord_token
if _name_ == '__main__': - Теперь перейдите в файл connect_discord, вырежьте оттуда следующую команду и вставьте ее в скрипт run.py:
client.run(discord_token) - Теперь запустите файл, нажав кнопку «Воспроизведение», расположенную в верхней части Visual Code Studio.
16. Общайтесь с чат-ботом
- Зайди на свой канал.
- Вы можете видеть, что ChatBot находится в сети.
- Введите вопрос или начните разговор.
Итак, вот как вы можете интегрировать ChatGPT с Discord и начать разговор с ботом — застряв где-то в процессе? Не стесняйтесь упоминать все ваши вопросы в разделе комментариев ниже.
- Если модель вдруг отвечает заглушкой, то это необязательно потому что она не знает ответ. Можете попробовать скорректировать сообщение. Обычно помогает что-то вроде «I want you to act like {___}.»
- Если ответ слишком длинный, то он может упереться в лимит в 1000 символов. Однако, вы можете написать «continue the output from {___}» и она продолжит.
Использовать вместо поисковика
Можно спросить все, начиная от рецепта бургеров, заканчивая вопросами про LaTeX.Имитация работы виртуальной машины
Советую прочитать статью Engraved, в комментариях там еще больше кейсов. У ребят из комментариев даже получилось скомпилировать простой код на Си. В качестве иллюстрации к статье приведу имитацию запуска докер контейнера.Создавать промты для Stable Diffusion
Одна из проблем при работе с моделями вроде Stable Diffusion это дополнение своего промта, чтобы получить желаемый результат. Вот примеры с генерацией изображений на базе дополненных промтов от ChatGPT. Изображение девушки и генерация интерьеров.Написать небольшое приложение
В качестве примера решили сделать суммаризатор для эссе на базе GPT-3. Модель использует минимальный код и api разных сервисов.Решение и объяснение алгоритмических задач
Этот промт я забил сам. Понравилось, что модель в начале объясняет суть задачи, а потом приводит код с комментариями.Решение домашек
У@yorko есть классная статья про то, как ChatGPT решает задание на «coreference resolution» с kaggle на уровне нефайнтюненного BERT. А с домашкой с mlcourse.ai справилась на 7/10.Написание электронных писем
В качестве бонуса прикреплю скриншот с примером электронного письма из превью статьи. Оценил, что стиль письма вполне сносный, особенно, если работаете в одной из корпораций.
Добавить комментарий