Benchmarks for Pirá 2.0, a Reading Comprehension Dataset about the Ocean, the Brazilian Coast, and Climate Change ... : معايير لبيرا 2.0، مجموعة بيانات فهم القراءة حول المحيط والساحل البرازيلي وتغير المناخ ...

Pirá is a reading comprehension dataset focused on the ocean, the Brazilian coast, and climate change, built from a collection of scientific abstracts and reports on these topics. This dataset represents a versatile language resource, particularly useful for testing the ability of current machine learning models to acquire expert scientific knowledge. Despite its potential, a detailed set of baselines has not yet been developed for Pirá. By creating these baselines, researchers can more easily utilize Pirá as a resource for testing machine learning models across a wide range of question answering tasks. In this paper, we define six benchmarks over the Pirá dataset, covering closed generative question answering, machine reading comprehension, information retrieval, open question answering, answer triggering, and multiple choice question answering. As part of this effort, we have also produced a curated version of the original dataset, where we fixed a number of grammar issues, repetitions, and other ... : ABSTRACT Pirá هي مجموعة بيانات لفهم القراءة تركز على المحيط والساحل البرازيلي وتغير المناخ، وهي مبنية على مجموعة من الملخصات العلمية والتقارير حول هذه الموضوعات. تمثل مجموعة البيانات هذه موردًا لغويًا متعدد الاستخدامات، وهو مفيد بشكل خاص لاختبار قدرة نماذج التعلم الآلي الحالية على اكتساب المعرفة العلمية الخبيرة. على الرغم من إمكاناتها، لم يتم بعد وضع مجموعة مفصلة من خطوط الأساس لبيرا. من خلال إنشاء خطوط الأساس هذه، يمكن للباحثين استخدام بيرا بسهولة أكبر كمورد لاختبار نماذج التعلم الآلي عبر مجموعة واسعة من مهام الإجابة على الأسئلة. في هذه الورقة، نحدد ستة معايير على مجموعة بيانات بيرا، تغطي الإجابة التوليدية المغلقة على الأسئلة، وفهم القراءة الآلية، واسترجاع المعلومات، والإجابة على الأسئلة المفتوحة، والإجابة على الأسئلة، والإجابة على أسئلة الاختيار من متعدد. وكجزء من هذا الجهد، أنتجنا أيضًا نسخة منسقة من مجموعة البيانات الأصلية، حيث أصلحنا عددًا من المشكلات النحوية والتكرار وأوجه القصور الأخرى. علاوة على ذلك، تم توسيع مجموعة البيانات في العديد من الاتجاهات الجديدة، وذلك لمواجهة المعايير المذكورة أعلاه: ترجمة ...