Автоматическая обработка текста OpenAI для Гугл Таблиц

Владельца онлайн магазина на платформе Horoshop интересовало решение нижеперечисленных технических вопросов и их стоимость:

1) Перевод с русского на украинский наименований товаров с их описаниями и характеристиками, что в общей сложности составляло 2,8 млн символов, а также выбор оптимального сервиса для этого – ChatGPT или Google Translate API.
2) Перевод описаний как с русского на украинский язык и наоборот, расчет стоимости которого необходим по 10 000 позиций по 1000 символов, в целом – 10 млн символов.
3) Возможность осуществления рерайта описаний с сохранением их структуры, точных технических характеристик и HTML разметки для 50 000 товаров ориентировочно (русский язык), поскольку HTML были утрачены в результате перевода старым способом.
4) Наличие возможности в ChatGPT выполнить поиск описаний для 10 000 товаров только с помощью их названия и автоматический перенос данных в таблицу Excel.

Выбор версии GPT-3.5 Turbo

Чаще всего среди всех запросов по переводам маркетплейсов есть выбор в пользу интеграции с OpenaAI/ChatGPT. Стоимость данной разработки согласно выбранному тарифу. Полную сумму к оплате для настройки процесса решения, вышеупомянутых заказчиком, всех технических вопросов невозможно предугадать, поскольку неизвестна скорость обработки такого объема данных в ChatGPT. А стоимость самой разработки настройки интегрирования ChatGPT на платформу Horoshop составляла 10 000 гривен.

Для оптимизации всех необходимых технических решений чаще всего используется версия GPT-3.5 Turbo, в которой расчет стоимости перевода символов кириллицы отличается от стоимости перевода латинских символов. Исходя из того, что оплата за 1 символ – 1 токен, то ориентировочно оплата за 1 миллион символов составит 4-5$. Также в автоматических переводах к цене обычно добавляется стоимость prompt запроса, добавляемого в текст. В процессе работы, в редких случаях, текст нужно делить на части.

Получить консультацию

Настройка функции поиска описаний товаров с помощью ChatGPT и перенос их в таблицу Excel возможна, однако ожидать, что информация будет точной и соответствовать конкретному товару, не стоит.

Функцию рерайта описаний товаров гарантированно можно добавлять в тело prompt запроса к ChatGPT с указанием «ответ в структурированном html коде». Успешное тестирование одного описания товара показало нижеследующий результат.

Пробное описание товара	Описание товара после обработки OpenAI/ChatGPT

Окончательное техническое задание

1) Произвести перевод всех названий позиций товаров на украинский язык.
2) Создать описания отсутствующих товаров по наличию их названий.
3) Обеспечить рерайт имеющихся описаний товаров.
4) Перевести все вновь описанные на украинский язык.
5) Массовая обработка Гугл Таблицы, то есть из ячейки A запрос будет автоматически попадать в ChatGPT, а выдача результата будет производиться в ячейку Б. Исходное количество позиций товаров предполагалось 50 000.

Продолжительность разработки интеграции предполагала 10-16 рабочих дней.

Разработка интеграции

В ходе работы возникла необходимость организовать операцию с необходимой обработки данных, повторяющейся, а также было принято оптимальное решение подключить интеграцию именно через Google Таблицу, а не отдельный файл Excel. Для начала была поставлена задача выполнить обработку 100 описаний товаров, что позволяло бы фактически проанализировать стоимость работы ChatGPT. Поскольку настройка интеграции осуществляется под отдельную задачу, то каждое новое дополнительное ТЗ, касающееся работы Google Таблицы и синхронизации ее с ChatGPT, необходимо было отправлять разработчикам.

Ключ API OpenAI получен после подписки на ChatGPT Plus.


Заказчик подготовил исходные данные о товарах и предоставил три prompt запроса, где в файле формата Word указан красный, из какой ячейки нужно получать информацию и в какой ячейке должен прописываться результат.


Дополнительно рекомендовано сделать один документ, в котором первая колонка – prompt, а вторая колонка переменная. Тогда в ячейку prompt можно было вместо «Вставить название» использовать , где 2 – это номер колонки, а при разборе документа в prompt с помощью скрипта подставлять значение колонок. В результате в определенную колонку прописывался бы результат.

Получить консультацию


Выделенные заголовки и жирные шрифты в описании товара в выдаче ChatGPT при попадании в Таблицу и импорте его в Horoshop не сохраняются.

Тестирование

При заполнении первого товара по предоставленным prompt запросам ответы, как и было предусмотрено, автоматически попадали в соответствующие ячейки Google Таблицы. Однако, результаты третьего prompt запроса продублировались и нуждались в корректировке вручную. Успешный результат получен после оптимизации prompt запроса к следующему содержанию:

«Напиши структурированное уникальное описание для карты товара на русском языке, в соответствии с нормами SEO c html тегами для товара: «(Вставить название – ячейка B)», используя информацию из этого текста: «(Вставить описание – ячейка C)», но не меняя технические термины. Текст должен быть не менее 1500 символов. Не использовать span, div, schema markup, основное название должно быть h2. (Результат в ячейке D)».

Для дальнейшей работы ключа API OpenAI необходимо было пополнить баланс средств в ChatGPT. Во избежание неэффективного использования средств, при возможных сбоях массового запуска обработки данных, пополнение рекомендовано производить постепенно. Постепенное пополнение позволяло отследить стоимость обработки ChatGPT 50 000 товаров.

В процессе работы, соответственно, увеличивалась сумма пополнения.

Отслеживание скорости работы OpenAI/ChatGPT

В связи с успешной обработкой данных 100 позиций товаров (за 1,9$), была запущена интеграция на остальные товары. Время создания текстов давало возможность спрогнозировать завершение всего процесса за 2,5 – 3 месяца, поскольку один продукт отрабатывался за 2-4 мин. После установки автоматического действия на каждые 4 мин протокола, то есть ориентировочно 360 мин в сутки, на полный прогон данных потребовалось более 4-х месяцев. Разработчиком внесено предложение ускорить интеграцию добавлением количества API ключей, в расчете на каждые 1-5-10 тысяч товаров требуется свой ключ, а это предполагало дополнительную регистрацию новых кабинетов в ChatGPT.

Дальнейшие наблюдения обнаружили, что стоимость скорости заполнения, ориентировочно 300 строк Google Таблицы, составляла около 4$ в сутки.


Средства моментально расходовались и нуждались в систематическом пополнении. Возникал вопрос взаимосвязи скорости от установленного лимита суммы – 120$/месяц и возможности его поднятия. Позже стало известно, что скорость процесса обработки данных можно увеличивать при переходе к следующему уровню – при расходах суммы 50$ и после 7-ми дней с первой оплаты. Затем скорость увеличится при переходе на 3-й уровень, когда потратится 100$ и т.д. Таким образом, исчезла потребность в новых ключах API OpenAI. Предыдущий опыт работы разработчика указывал, что обычно украинский язык обрабатывается медленнее всего и рекомендуется пробовать постепенно поднимать лимиты – к сбоям в настройке интеграции это не приведет.

Обработка данных останавливалась при заполнении Google Таблицы на 1000-й строке, а списание средств – на 12.77$. Это объяснялось тем, что разработчики с целью проверки работы интеграции предварительно устанавливали дополнительную верхушку контроля. Процесс был успешно продлен. Рекомендуется дальнейшее наблюдение за работой интеграции.

Результат

На современном этапе максимальное развитие онлайн-магазинов, оптимизация их автоматизированной работы и другие преимущества бизнес-торговли обеспечиваются благодаря интегрированию платформ маркетплейсов с ChatGPT, как новейшей моделью искусственного интеллекта, разработанной OpenAI.
Подготовка расширенных описаний товаров, рерайт описаний по соблюдению HTML разметки и их структурированности, перевод на необходимый язык – всю обработку данных для большого количества товаров может выполнить версия GPT-3.5 Turbo с дополнительным вовлечением в работу Google Таблицы. Об этом свидетельствует опыт разработки интеграции, описанный в данном кейсе.