لاحظت حركة مثيرة في مجال التعرف على الكلام. أطلقت Sierra مجموعة بيانات متعددة اللغات تسمى μ-Bench للاختبار، وهي خطوة جدية جدًا.

الملخص: تتضمن المجموعة 250 تسجيلًا حقيقيًا من خدمة العملاء و4270 مقطع صوتي موسوم. الاختلاف الرئيسي عن المعايير الحالية هو أنها لا تدعم اللغة الإنجليزية فقط. تدعم خمس لغات — الإنجليزية، الإسبانية، التركية، الفيتنامية، والماندرين.

الأكثر إثارة للاهتمام هو المقياس الجديد UER (معدل خطأ العبارة). يميز بين الأخطاء التي تغير معنى التصريح وتلك التي لا تؤثر على المعنى. هذا أدق بكثير من مقياس WER التقليدي، حيث تُعتبر جميع الأخطاء متساوية.

نتائج الاختبار: يتصدر Google Chirp-3 من حيث الدقة، بينما Deepgram Nova-3 أسرع الجميع، لكنه يتأخر في تعدد اللغات. من المثير أن نرى كيف سيتطور الأمر لاحقًا.

المجموعة والجدول الزمني للنتائج متاحان الآن على Hugging Face، بحيث يمكن للمطورين الآخرين المشاركة في التقييم. يبدو أن μ-Bench يصبح المعيار الجديد لتقييم ASR بشكل جدي في بيئة خدمة العملاء.