Исследование ИИ в Азербайджане: о том, как Сабина Ахмедова выявила ошибки в работе ChatGPT-4 и получила международное признание – ФОТО
Сабина Ахмедова — выпускница магистратуры 2024 года, Университета "Хазар", Высшей школы науки, искусства и технологий, факультета английского языка и литературы, по специальности "Перевод".
Ее магистерская работа под названием "A Сomparative Quality assessment of ChatGPT-4 and human translation of scientific texts" посвящена сравнительному качественному анализу переводов научных текстов, выполненных ChatGPT-4 и профессиональными переводчиками. Она рассказала 1news.az о выявлении ошибок в работе языковых моделей, публикации ее статьи в Словацком международном научном журнале и создании чат-бота “AIVerse”.
Так как я училась на специальности "Перевод", в мае 2023 года мне нужно было выбрать тему для магистерской работы, которую я впоследствии буду защищать. Меня всегда интересовала тема искусственного интеллекта (ИИ), и я решила писать на эту тему.
Одна из книг, заинтересовавшая меня "Грядущая волна: технологии, власть и величайшая дилемма XXI века" на английском языке "The Coming Wave: Technology, Power, and the Twenty-first Century's Greatest Dilemma", написанная Мустафой Сулейманом и Майклом Бхаскаром (соучредителями Deepmind и Inflection AI) в 2023 году, стала бестселлером. В ней авторы описывают будущее, определяемое искусственным интеллектом и синтетической биологией, которые открывают новую эру для человечества, создавая богатство и излишки, невиданные ранее (Сулейман и Бхаскар, 2023, стр.22).
Во время "грядущей волны", описанной в книге, интерес к искусственному интеллекту значительно возрос. В декабре 2015 года Сэмюэль Харрис Альтман и Илон Маск основали компанию OpenAI Inc. И в 2022 году мир оценил языковую модель ChatGPT-3.5 от OpenAI, которая за 5 дней после запуска привлекла около 1 миллиона пользователей.
Вдохновленные идеей написания о искусственном интеллекте наша работа с научным руководителем профессором ГусейнАга Рзаевым изначально велась над этой моделью, проверяя точность и качество переводов научных текстов с английского на русский язык. В марте 2023 года была выпущена модель ChatGPT-4, доступная для премиум-пользователей. Данная языковая модель генерирует изображения благодаря интеграции модели Dalle-E3 в ChatGPT-4, демонстрируя заметное улучшение в переводе. Мы решили включить в дипломную работу обе модели, сравнивая их возможности в области переводов научных текстов между парой языков: английским и русским. Работая над тезисом, мы дополнили также техническую часть, используя автоматические нейронные метрики оценки машинного перевода, такие как COMET-22 и BLEURT-20.
В исследовании проводился сравнительный анализ качества этих переводов с использованием нейронных метрик оценки машинного перевода COMET-22 и BLEURT-20. Ключевой целью было выявить ошибки и пролить свет на сильные и слабые стороны языковых моделей.
Кроме того, мы рассмотрели улучшенные возможности ChatGPT-4 в отличие от предыдущей модели ChatGPT-3.5. В дополнение мы выявили процентные соотношения между обеими моделями и их процентные соотношения к человеческому переводу, оценили их эффективность перевода в сравнении с человеческим переводом при помощи критики перевода (сочетающей литературно-эстетический, лингвистический и другие подходы к анализу текста перевода). Используя эмпирическое исследование смешанного метода, мы проанализировали 30 научных статей, взятых с архива научного журнала Acta Naturae, оценивая эффективность переводов и возможности моделей GPT. Выбирая из списка метрик, мы решили остановиться на топовых нейронных метриках, каждая из которых имеет свои преимущества. К примеру, нейронная метрика COMET-22 является более мощной метрикой, обученной на более широком и разнообразном наборе данных, и фокусируется на глобальном семантическом сходстве между исходным текстом и переводом. В результате она менее чувствительна к мелким ошибкам или отклонениям в переводе, нежели BLEURT, поэтому значения в процентах повыше. BLEURT метрика в большей степени подходит для задач, где требуется высокая степень лингвистической и стилистической точности.
При оценке эффективности перевода языковых моделей ChatGPT-4 и ChatGPT-3.5 в сравнении с человеческим переводом модель ChatGPT-4, измеряемая метрикой COMET-22, достигла точности 92%, а ChatGPT-3.5 достигла точности 87%. По показателям метрики BLEURT-20 производительность перевода моделей ChatGPT-4 и ChatGPT-3.5 составляет 62% и 54% соответственно.
Основные ошибки, выявленные при сравнении текстов, переведенных языковыми моделями ChatGPT-4 и ChatGPT-3.5 с человеческим переводом научных текстов связаны с некорректным переводом и повторением фраз, неэквивалентными и неверно истолкованными идиоматическими выражениями, терминами, обходом грамматических правил согласования полов в предложениях. Переводчики, специализирующиеся в определенных областях, могут легко преодолеть подобные ошибки.
В январе 2024 года компания OpenAI предложила систему-конструктор, которая помогает создавать собственные чат-боты с последующим размещением в GPT Store. GPT Store — это рынок для клиентов и отличная возможность продвигать собственные GPT-чат боты, предлагающие специфические функции и услуги.
Мы создали GPT-агент (чат-бот) под названием “AIVerse”. Этот удобный чат-бот-помощник переводчик включает в себя 4 языка: азербайджанский, английский, иврит и русский, огромный набор академических языковых словарей, знаком с культурными нюансами данных языков, ознакомлен с множеством идиоматических выражений. Используя подсказки, чат-бот может переводить со скриншотов, изображений и картинок (состоящих из слов), или просто описывая картинку на любом из этих языков, выполняя перевод в один клик.
Есть несколько причин для создания данного инструмента-помощника. Во-первых, чтобы помочь нашим студентам быстро переводить с английского на азербайджанский и наоборот, изучая другие языки, а также идиомы. Во-вторых, мы живем в мультикультурной и толерантной стране, у нас есть еврейская и русские общины, с помощью этого чат-бота мы можем помочь в изучении азербайджанского языка, например, чат-бот может создать официальные документы на государственном языке в помощь при переводе людям разных национальностей, проживающим на территории Азербайджанской Республики. Также чат-бот может помочь туристам, не владеющим азербайджанским языком, ежегодно посещающим нашу страну, которые хотят изучить традиции, обычаи и культуру. Это также оказывает влияние на сотрудничество и дружбу между Азербайджанской Республикой и другими странами. Наконец, это потенциальное развитие нашего будущего поколения.
Проделав огромную работу впервые в Азербайджанской Республике, мы отправили наши результаты исследования в компанию OpenAI для рассмотрения и дальнейшего улучшения моделей. Статистический анализ показывает, то что модель ChatGPT-4 работает лучше по сравнению с предыдущей моделью ChatGPT-3.5.
Наша статья была выпущена в Словацком международном научном журнале в мае под номером №83, стр. 90-95, 2024 Slovak international scientific journal — SIS journal (www.slovak-journal.com).
Сразу после выхода в свет статьи мы получили огромное количество приглашений в журналы Франции, Дании, Германии и другие страны Европы, а также приглашения на международные конференции в Швеции, на 14-ю международную научную конференцию, проводимую в Эстонии, 9-ю международную научную конференцию в Стокгольме.
Я очень признательна и благодарна в первую очередь Университету Хазар и моему факультету Высшей школы науки, искусства и технологий за создание условий, способствующих академическим исследованиям и личностному развитию. Я получила огромный объем знаний за эти два года обучения в магистратуре и хочу выразить особую благодарность за большую поддержку и помощь моему научному руководителю, профессору ГусейнаАге Рзаеву.
Я очень горжусь тем, что родилась в Азербайджанской Республике и смогла внести свой вклад в развитие области перевода. Я надеюсь продолжить обучение в сфере перевода и изучение области искусственного интеллекта. Диплом бакалавра с отличием я получила в Университете иностранных языков на факультете английской филологии и литературы.
Cабина Ахмедова работала в Министерстве связи и высоких технологий Азербайджанской Республики (нынешнее Министерство транспорта, связи и высоких технологий) на позиции главного координатора по сотрудничеству с Государством Израиль и странами СНГ в департаменте международного сотрудничества.
