شرکت OpenAI اخیرا گزارشی درباره کارکرد مدل منتشر کرده که در آن به محدودیت‌ها و نقص‌های امنیتی این سیستم و روش‌های رفع آن‌ها پرداخته شده است. این گزارش نشان می‌دهد که در طول آزمایش‌ها، حالت صوتی پیشرفته در موارد نادری ناگ‌هانی صدای کاربر را بدون اجازه او پیروی کرده است.
در بخشی از <a href="https://openai.com/index/gpt-4o-system-card/" target="_blank" rel="noreferrer noopener nofollow"گزارش OpenAI درباره GPT-4o تحت عنوان تشکیل صدای غیر‌مجاز، این شرکت توضیح داده که مدل هوش مصنوعی ناخواسته خروجی‌ای تولید می‌کند که در آن صدای کاربر همانند‌سازی شده است. در ادامه می‌توانید نمونه‌ای از این مکالمه را بشنوید
همان‌گونه که در فایل صوتی شنیده می‌شود، در میان مکالمه مدل هوش مصنوعی با صدای بلندی کلمه نه را می‌گوید و سپس با صدای کاربر به ادامه جملات خود می‌پردازد.
پیروی صدای کاربر توسط هوش مصنوعی
OpenAI در گزارش خود هشدار داده که توانایی مدل برای تولید صدایی مشابه دیگران می‌تواند منجر به افزایش کلاهبرداری و تسهیل جعل هویت شود. این قابلیت همچنین امکان سوءاستفاده برای انتشار اطلاعات نادرست را فراهم می‌کند.
به گفته این شرکت، می‌تواند تقریبا هر نوع صدایی را که در داده‌های آموزشی خود یافته است، از جمله نمود‌های صوتی و موسیقی، بازتولید کند؛ هرچند OpenAI با دستورالعمل‌های خاصی جلوی این کار را گرفته است. به‌طور کلی چت‌بات‌ها دستورالعمل‌های پنهانی دارند که کاربران آن‌ها را نمی‌بینند؛ برای مثال وقتی فردی مکالمه متنی را آغاز می‌کند، دستورالعملی به هوش مصنوعی می‌گوید که از بحث درباره خشونت و موارد مشابه خودداری کند.
نیز یک مدل چندوجه‌ی است اما OpenAI برای آن دستورالعمل‌هایی تعریف کرده تا از انجام برخی کار‌ها مانند پیروی از صدای کاربران جلوگیری کند.
در گزارش OpenAI به چند مورد نادر پیروی صدای کاربر توسط هوش مصنوعی اشاره شده است. این شرکت با محدود کردن کاربر به استفاده از صدا‌هایی که OpenAI با همکاری صداپیشگان تولید کرده است، احتمال تولید صدا‌های دیگر را کاهش خواهد داد.
