المنهج / دليل توضيحي للتوسيم
من الكلام إلى أدلة قابلة للمراجعة.
مثال عملي لمواصفات توسيم الكلام العربي: اصطلاحات واضحة، وقرارات قابلة للتتبّع، ومعايير محددة للجودة. يُكيَّف الدليل ويُعتمد لكل مشروع وفق اللهجة وظروف التسجيل والاستخدام المقصود وحقوق البيانات قبل بدء الإنتاج.
مختبر الصوتيات العربية · من الصوت إلى التوسيم
مثال المختبر العاماستمع إلى الكلام.
واستكشف التوسيم.
من تسجيل حجازي قصير إلى طبقاتٍ تكشف بنية الكلام. استكشف الموجة الصوتية والمخطط الطيفي والنبر والوزن المقطعي في مساحة عمل واحدة.
رامي مر لينا أمسالنص كما يظهر في طبقة Arabic بالعينة.
يفتح المختبر المستقل في تبويب جديد. عرض بحثي تعليمي، وليس مشروع عميل أو ضمانًا للدقة.

شغّل التسجيل وافحص الجزء المحدد.
اربط النص بحدوده ووسومه.
راجع الإعدادات قبل تفسير النتائج.
حزمة توضيحية قابلة للتنزيل
المخرج الجيد يتضمن سياقه.
ملفات JSON وCSV، وقاموس بيانات ثنائي اللغة، وتقرير فحوص بنيوية، وقائمة ملفات بقيم SHA-256. هذا مثال اصطناعي لبنية التسليم؛ ولا يتضمن تسجيلًا أو قياسات مأخوذة من المختبر.
نزّل الحزمة التوضيحية ZIP ↓ اقرأ اصطلاحات التوسيم ↗٠١ · تحديد تجربة أولية قبل التوسع
الاتفاق على ما سيُوسَّم وكيفية الحكم على قبوله.
- إعداد وصف للمشروع يحدد الاستخدام المستهدف، والتنوع اللهجي، ومعايير اختيار المتحدثين، وظروف التسجيل، وطبقات التوسيم، والاستخدامات المسموح بها، وصيغ التسليم، وأدوار المراجعين، ومعايير القبول.
- التمييز بين ساعات التسجيل، وساعات التسجيل الصوتي المقبولة، وساعات عمل التوسيم، والسجلات المراجعة. يُقاس جهد التجربة الأولية لكل طبقة؛ فساعة العمل لا تساوي ساعة التسجيل.
- اختيار عينة أولية محددة تتضمن الحالات الصعبة المتوقعة، مثل تداخل الكلام والضوضاء والتناوب اللغوي والكلمات غير المألوفة واختلاف أساليب الكلام. يُتفق على حجمها مع العميل؛ ولا يتضمن الدليل وعدًا بمخزون بيانات أو قدرة تشغيلية.
- تثبيت نسخة تعليمات التجربة وقائمة التسميات قبل المراجعة المستقلة، وتوثيق التعديلات وأثرها في المواد التي سبق توسيمها.
٠٢ · إثبات الحقوق وحماية الهويات
يتطلب استخدام التسجيل غرضًا مصرحًا به ومسارًا موثقًا للتعامل معه.
- قبل إتاحة البيانات، تُراجع جهة المصدر، وأذونات المشاركين أو الأساس المنطبق، واستخدامات النماذج المسموح بها، وقيود الترخيص وإعادة التوزيع. وتُحال المسائل القانونية غير المحسومة إلى مختص مؤهل.
- استخدام معرفات بديلة للسجلات والمتحدثين، وحفظ بيانات الاستقطاب والموافقات منفصلةً بصلاحيات مقيدة. لا يضمن استبدال الأسماء إزالة قابلية التعرف على الأشخاص.
- تحديد المخوّلين بالوصول، وموقع التخزين، وطريقة النقل، ومدة الاحتفاظ، ومسار الإبلاغ عن الحوادث، وآلية التعامل مع طلبات الانسحاب والحذف قبل الجمع. لا تُرفع التسجيلات إلى خدمة ذكاء اصطناعي خارجية دون تصريح محدد.
- عزل المواد غير الواضحة الحقوق أو المحتوية على إفصاح حساس غير مقصود، وتسجيل المشكلة دون نسخ محتواها الحساس في التقارير العامة.
٠٣ · فحص المصدر وتسجيل بياناته
حفظ الأصل وإتاحة إعادة تنفيذ التحويلات المعتمدة.
- تسجيل معرف الملف وبصمته الرقمية وترميزه ومعدل أخذ العينات وعدد القنوات ومدته ومرجع مصدره وتصنيف الوصول إليه. يُتحقق من إمكان قراءة الملف ومطابقته لفهرس التسليم.
- حفظ المصدر دون تعديل. وعند اعتماد إعادة أخذ العينات أو اختيار قناة أو ترشيح الإشارة، يُحفظ ملف مشتق مستقل وإعدادات التحويل. لا تُوصف زيادة معدل أخذ العينات بأنها تستعيد معلومات مفقودة.
- الإبلاغ عن قصّ سعة الإشارة والانقطاع واختلال القنوات وتداخل الكلام والضوضاء للمراجعة. تُحدد حدود القبول لكل مشروع؛ ولا يُستبعد متحدث أو تنوع لهجي صعب بصمت.
- الفصل بين الخلفية التي يذكرها المتحدث والتصنيف اللساني الذي يقترحه المراجع، واستخدام قيمة غير معروف أو غير مؤكد عند عدم كفاية الأدلة.
٠٤ · تفريغ الكلمات دون طمس اللهجة
التفريغ الإملائي اصطلاح كتابي متفق عليه، وليس تحليلًا صوتيًّا.
- تحديد تمثيل اللواصق والتردد والتكرار والبدايات المتروكة والأعداد والاختصارات والكلمات المقترضة والتناوب اللغوي والأحداث غير الكلامية. تُعرّف آلية فصل الوحدات الكتابية مستقلةً عن الإملاء.
- الحفاظ على ألفاظ اللهجة؛ فلا يُعاد صوغها بالفصحى ولا تُصحح بنيتها النحوية إلا إذا طُلبت طبقة مستقلة للنص المعياري.
- تحديد قائمة محدودة لوسوم الأحداث، مثل [noise] و[laughter] و[unintelligible]، مع شرح نطاقها. لا تُستبدل علامة عدم اليقين بكلمة مخمّنة.
- عند اختيار CODA أو اصطلاح آخر، تُحدد نسخته والقرارات الخاصة باللهجة. لا يُعد المرجع البحثي قاعدة إملائية شاملة لجميع التنوعات السعودية والخليجية.
- الفصل بين النص الأصلي والنص الذي خضع للتوحيد الكتابي. وتوثيق التعامل مع يونيكود والتشكيل والترقيم والهمزة والألف، وتطبيق السياسة نفسها في التقييم.
٠٥ · إسناد الحدود إلى التسجيل
تستند المحاذاة إلى الاستماع والفحص الصوتي، لا إلى تخمين الأزمنة من النص.
- فحص الشكل الموجي والمخطط الطيفي والاستماع في السياق. ويُبيّن ما إذا كان الحد مستندًا إلى حدث صوتي أو إلى اصطلاح تحليلي، خصوصًا عندما تجعل المجاورة الصوتية تعيين حد واحد أمرًا ملتبسًا.
- اعتبار المحاذاة الآلية اقتراحًا حتى مراجعتها، مع فحص حالات إخفاقها والحدود الخارجة عن النطاق والأجزاء المفقودة والمدد غير المعقولة.
- استخدام طبقات مستقلة للمتحدثين عند تزامن كلامهم؛ فلا يُفرض كلام متداخل على سلسلة واحدة من الفترات غير المتداخلة.
- الحفاظ على مدد موجبة وفترات متجاورة في طبقات الفترات بصيغة TextGrid، وتمثيل الصمت وفق الاصطلاح المعتمد، والتحقق من اتساق المجال الزمني للطبقات مع التسجيل.
- تسجيل عدم اليقين وملاحظة للمراجعة عند قصور الدليل. لا تُنسخ الأزمنة المرجعية دون فحص، ولا تُوزع المدة بالتساوي على الأصوات، ولا تُختلق أزمنة لمثال لم يُسجَّل.
٠٦ · التمييز بين الصوتيات والفونولوجيا
الصوت الكلامي المحقَّق ليس بالضرورة فونيمًا.
- تحديد مستوى النسخ بالأبجدية الصوتية الدولية، واسعًا أو دقيقًا، والرموز والعلامات المسموح بها، واصطلاحات الطول والتضعيف والمماثلة والحذف والتحققات غير المؤكدة.
- فصل النسخ الصوتي عن التفسير الفونيمي في حقول واضحة عند طلبهما معًا، وشرح اصطلاح الأقواس أو الشرطتين المائلتين في مفتاح المشروع.
- تحديد أسس التقسيم إلى مقاطع صوتية وطريقة حسم الحالات المختلف عليها، دون افتراض قائمة مقاطع أو قاعدة نبر واحدة لجميع اللهجات العربية.
- في توسيم النبر، تُعرّف الوحدة والفئات قبل التوسيم. ولا يُسوّى بين نبر الكلمة والبروز المدرك والبؤرة الخطابية.
- في التنغيم، يُحدد الإطار التحليلي وقائمة الأحداث والأدلة. فالتردد الأساسي المقاس ليس في ذاته وسمًا لوظيفة خطابية. وتُراجع أخطاء تتبع التردد الأساسي والأجزاء غير المجهورة والأحداث الملتبسة.
٠٧ · مراجعة مستقلة ثم حسم الاختلافات
قياس الاختلاف قبل حسمه.
- إسناد عينة متفق عليها وموزعة على الفئات ذات الصلة إلى موسِّمين مستقلين دون إطلاع أحدهما على قرارات الآخر. تُحفظ مجموعة منفصلة للحالات الصعبة النادرة، وتُعرض نتائجها منفصلةً عن العينة الممثلة.
- اختيار مقياس الاتفاق الملائم للتسميات وتصميم المهمة، مع بيان حجم العينة ووحدة القياس وتوزيع الفئات وسياسة القيم المفقودة وحدود المقياس. الاتفاق وحده ليس دليلًا على الدقة.
- في مراجعة الحدود، تُحدد الوحدات المتناظرة وحدود التسامح ومرجع خضع لحسم مستقل. ويُعرض توزيع أخطاء الحدود وحالات الإخفاق، إضافةً إلى نسبة الحدود الواقعة ضمن التسامح إن استُخدمت.
- في فحوص التفريغ المشابهة لتقييم التعرف الآلي على الكلام، تُثبت سياسة الوحدات والتوحيد الكتابي قبل حساب معدل خطأ الكلمات: مجموع الاستبدالات والحذف والإدراج مقسومًا على عدد الوحدات المرجعية. يُذكر البسط والمقام وتُحدد معالجة المرجع الخالي من الوحدات.
- يتضمن سجل حسم الاختلاف القرارين الأصليين والأدلة وقرار المراجع وسببه ونسخة التعليمات. تُعاد مراجعة السجلات المتأثرة عند تعديل قاعدة، ولا تُحذف الاختلافات لتحسين النتيجة.
٠٨ · تسليم حزمة موثقة ومحددة النسخة
يجب أن يعرف العميل محتوى الملفات وحدودها.
- تسليم فهرس التسجيلات المتفق عليه والتوسيمات وقاموس البيانات ونسخة التعليمات وملخص المصدر والحقوق وتقرير الجودة والقيود المعروفة وفهرس البصمات الرقمية للملفات.
- التحقق من سلامة حفظ العربية ورموز الأبجدية الصوتية الدولية واستعادتها بترميز UTF-8، وثبات المعرفات، وقياس الزمن بالثواني، والحقول المطلوبة، والتسميات المسموح بها، والروابط بين التسجيل والتوسيم.
- استخدام null للقيم الرقمية المفقودة في JSON. وفي CSV، يُشرح اصطلاح القيم المفقودة صراحةً؛ ولا يُستخدم الصفر بدلًا من زمن غير معروف.
- لا يُصدَّر ملف TextGrid ذو محاذاة زمنية إلا عند توافر أزمنة صحيحة. المثال النصي الذي لا يتضمن أزمنة في هذه الصفحة ليس ملف TextGrid محاذًى صالحًا، ولا يجوز عرضه على هذا الأساس.
- توثيق اعتماد التسليم الفني والتفويض التجاري للمالك كلًّا على حدة. ولا تثبت مراجعة عينة جودة البيانات التي لم تُراجع.
طبقات واضحة، وقواعد صريحة
| الطبقة | الغرض | قاعدة التوسيم |
|---|---|---|
| orthography | ما قيل وفق الاصطلاح الإملائي المعتمد | فصل النص الأصلي عن النص الموحَّد كتابيًّا، ووضع علامات عدم اليقين. |
| words | محاذاة الكلمات أو الوحدات المتفق عليها | تحديد التعامل مع اللواصق وربط الفترات بالتسجيل المصدر. |
| phones | الأصوات الكلامية المحقَّقة | تحديد دقة النسخ الصوتي واشتراط الفحص الصوتي. |
| syllables / stress | البنية المقطعية وأحكام النبر | تعريف الاصطلاحات التحليلية وحفظ الحالات المختلف عليها. |
| prosody / pragmatics | الأحداث التنغيمية أو الوظائف السياقية | استخدام حقول مستقلة وأدلة معلنة؛ فلا يُستنتج المعنى من التردد الأساسي وحده. |
| events / review | الضوضاء والتداخل وعدم اليقين وحسم الاختلافات | استخدام قائمة تسميات محددة النسخة وملاحظات مراجعة قابلة للتتبّع. |
كيف تُراجع المخرجات؟
| الفحص | الطريقة | شرط القبول |
|---|---|---|
| الحقوق والمصدر | مراجعة الإذن باستخدام المصدر والاستخدامات المسموح بها | تمنع الحقوق غير المحسومة التسليم. |
| سلامة البنية | فحص المعرفات والحقول والصيغ وقائمة التسميات والمجالات الزمنية | تصحيح جميع الأخطاء المانعة في البنية أو الملفات. |
| التفريغ | مراجعة عينة متفق عليها بالرجوع إلى التسجيل مع بيان سياسة التوحيد والأعداد | تُحدد عتبة مناسبة للمهمة بعد التجربة الأولية؛ ولا تُدّعى نتيجة مضمونة. |
| التوقيت | مقارنة الحدود المتناظرة بأدلة محكَّمة وبيان توزيع الأخطاء | الاتفاق على التسامح ومعالجة الحدود الملتبسة قبل القبول. |
| التسميات الفئوية | بيان الاتفاق المستقل وتوزيع الفئات | حسم الخلافات الجوهرية وتوثيق ما يتبقى من عدم اليقين. |
| التسليم | فحص الفهرس والتوثيق والصلاحيات وسجل الموافقات | المراجعة الفنية وتفويض المالك شرطان مستقلان. |
مثال تطبيقي: سجل نصي دون اختلاق كلام مسجَّل
توضح العبارة المؤلَّفة «هذا مثال توضيحي.» سياسةً من ثلاث وحدات مفصولة بمسافات، مع حفظ الترقيم مستقلًّا. لا متحدث لها ولا تسجيل. تبقى اللهجة والنسخ الصوتي والمقاطع والنبر والأزمنة بقيمة null لعدم وجود دليل عليها. ملء هذه الحقول بالتخمين ليس تحسينًا؛ بل مخالفة للدليل.
{
"record_id": "synthetic-text-001",
"provenance": "authored_text_only_no_recording",
"schema_version": "example-1.0",
"guideline_version": "1.0",
"text": "هذا مثال توضيحي.",
"normalization": "preserve_original",
"tokens": [
"هذا",
"مثال",
"توضيحي"
],
"punctuation": ".",
"audio_id": null,
"speaker_id": null,
"dialect": null,
"start_seconds": null,
"end_seconds": null,
"phonetic_transcription": null,
"syllables": null,
"stress": null,
"prosody": null,
"review_status": "illustrative_structure_only"
}المصادر والقراءة المتخصصة
- Praat manual — TextGrid file formats
توثيق رسمي لطبقات الفترات والنقاط والمجالات الزمنية ويونيكود وضوابط الملفات.
- International Phonetic Association — IPA chart
مرجع رسمي لرموز الأبجدية الصوتية الدولية. لا يعيد هذا الدليل نشر اللوحة.
- Habash et al. (2018) — Unified Guidelines and Resources for Arabic Dialect Orthography
بحث في الاصطلاحات الإملائية الصريحة للهجات؛ ويتطلب اعتمادها قرارًا خاصًّا بالمشروع.
- Artstein & Poesio (2008) — Inter-Coder Agreement for Computational Linguistics
مرجع منهجي لاختيار مقاييس الاتفاق وتفسيرها.
بيانات ظ · ðˤData.ai
ابدأ بمشروع تجريبي محدد النطاق.
نتفق أولًا على الحقوق، والمخرجات، ومعايير القبول، والجدول الزمني، ثم نحدد إمكانية التنفيذ.