هوش مصنوعی Orca-Math مایکروسافت برای حل مسائل ریاضی معارفه شد

مایکروسافت مدل هوش مصنوعی Orca-Math را معارفه کرد؛ این هوش مصنوعی یک مدل زبانی کوچک (SLM) است اما از مدل‌های زیاد بزرگ‌تری همانند جمینای پرو گوگل و GPT-3.5 در حل مسائل ریاضی بهتر عمل می‌کند. یقیناً این مدل کاملاً توسط مایکروسافت تشکیل نشده، درواقع Orca-Math برپایه مدل ۷ میلیارد پارامتری شرکت Mistral ساخته شده است. پیش‌ازاین مایکروسافت از همکاری چندساله با این شرکت فرانسوی خبر داده می بود.

بر پایه اظهار رسمی بلاگ مایکروسافت ریسرچ، Orca-Math در بنچمارک GSM8k pass@1 که مخصوص بازدید مقدار توانایی در حل مسائل ریاضی است، امتیاز ۸۶.۸۱ درصد را کسب کرد. این رقم از امتیاز مدل‌های بزرگی همانند جمینای پرو، LLAMA-2-70 متا، GPT-3.5 و حتی از مدل‌های تخصصی ریاضی همانند MetaMath-70B و WizardMa8th-70B زیاد تر است. قابل‌ذکر است که مدل پایه Mistral-7B نیز در بنچمارک GSM8k امتیاز ۳۷.۸۳ درصد را به‌دست آورد.

مدل هوش مصنوعی Orca-Math مایکروسافت

مدل Orca-Math با مجموعه داده‌ای متشکل از ۲۰۰ هزار قضیه ریاضی آموزش دیده است؛ هرچند این مقدار کوچک‌تر از دیگر مجموعه داده‌های ریاضی است، اما این مقدار داده امکان آموزش سریع تر و مقرون‌به‌صرفه را فراهم می‌کند. این چنین Orca-Math تحت یک فرایند یادگیری تکراری قرار داشته، بدین صورت که حل مسائل تکراری را تمرین می‌کرد و به‌طور مداوم بر پایه بازخورد سیگنال‌های ناظر، خود را بهبود می‌داد.

به‌نظر می‌رسد استارتاپ انتروپیک نیز از همین مجموعه داده برای آموزش مدل هوش مصنوعی Claude 3 Opus منفعت گیری کرده است. مدل هوش مصنوعی قوی انتروپیک که به‌تازگی معارفه شده، رقیبی جدی برای جمینای و ChatGPT محسوب می‌شود.

مایکروسافت مدل زبانی مهم Orca با ۱۳ میلیارد پارامتر را در ژوئن ۲۰۲۳ (خردادماه) معارفه کرد که از GPT-4 به‌گفتن معلم هوش مصنوعی خود منفعت گیری می‌کرد. Orca 2 نیز در نسخه‌های ۱۳ و ۷ میلیارد پارامتری در نوامبر ۲۰۲۳ (آبان‌ماه) معارفه شد که هر دو برپایه مدل متن‌باز متا یعنی Llama 2 LLM بودند. اکنون عضو تازه خانواده Orca، با ۷ میلیارد پارامتر، مخصوص حل مسائل ریاضی است و می‌تواند در این عرصه کاربردهای مختلفی داشته باشد.