الفتحة والضمة والكسرة: كيف يخزنها النص الرقمي؟
تظهر الحركة فوق الحرف أو تحته، لكنها في النص الرقمي قيمة Unicode مستقلة تتبع الحرف الأساسي. فكلمة «عِلْم» تحتوي حروفًا وعلامات مركبة؛ وعند إزالة العلامات تبقى «علم» بالحروف نفسها.
تشمل المجموعة الشائعة الفتحة والضمة والكسرة والسكون والتنوين والشدة، وتوجد الألف الخنجرية وعلامات قرآنية أخرى. لذلك لا تكفي عبارة «احذف كل ما فوق الحروف» لوصف قاعدة تقنية دقيقة.
مُعَلِّمٌمعلممعلّمالهمزة والتاء المربوطة والألف المقصورة ليست تشكيلًا
الحروف أ وإ وآ وؤ وئ وحدات إملائية مستقلة في النص النهائي، حتى لو أمكن تمثيل بعض أشكالها تقنيًا بحرف أساسي وعلامة مركبة بعد التفكيك. لهذا قد يسبب تطبيق تطبيع Unicode ثم حذف كل العلامات المركبة تحويل «أثر» إلى «اثر»، وهو تغيير إملائي لا إزالة تشكيل فقط.
الأداة الآمنة تحدد نطاق الحركات المقصود بدل حذف كل فئة Mn بلا تمييز. كما تبقى التاء المربوطة «ة» والألف المقصورة «ى» لأنهما حرفان لا حركتان.
متى يصنع التشكيل فرقًا في معنى الكلمة؟
السلسلة «علم» قد تشير إلى العِلْم أو العَلَم أو الفعل عَلِمَ. السياق يحل الالتباس غالبًا في القراءة البشرية، لكن نظام البحث أو المتعلم المبتدئ قد يحتاج العلامات. لذلك تكون النسخة غير المشكلة مناسبة لبعض مهام المطابقة، وليست بديلًا كاملًا عن الأصل.
| الحروف | قراءة | معنى |
|---|---|---|
| علم | عِلْم | المعرفة |
| علم | عَلَم | راية أو اسم |
| كتب | كَتَبَ | فعل معلوم |
| كتب | كُتُب | جمع كتاب |
إذا كانت الحركة جزءًا من الدرس أو الضبط أو القراءة الموثقة، أنشئ نسخة مبسطة ولا تستبدل الملف الأصلي.
هل نحتفظ بالشدة؟ وهل التطويل من التشكيل؟
الشدة علامة نطق تؤدي وظيفة صامت مضاعف، ولهذا قد يفضّل بعض الباحثين الاحتفاظ بها حتى بعد حذف الحركات القصيرة. أما التطويل «ـ» فهو محرف تنسيقي يمد شكل الكلمة ولا يحدد حركة، وغالبًا يحذف عند توحيد البيانات.
| العلامة | وظيفتها | اقتراح افتراضي |
|---|---|---|
| الفتحة والضمة والكسرة | نطق قصير وإعراب | تحذف في نسخة المطابقة |
| التنوين | نطق ونحو | يحذف مع الحركات |
| الشدة | تضعيف الحرف | خيار مستقل |
| التطويل | تنسيق بصري | يحذف غالبًا |
| علامات المصحف | وقف وضبط متخصص | لا تحذف بلا سبب واضح |
كيف تساعد النسخة غير المشكلة في البحث ومقارنة البيانات؟
إذا كتب المستخدم كلمة بلا حركات بينما السجل مشكول، تفشل المطابقة الحرفية رغم تطابق الحروف. لذلك تنشئ أنظمة البحث غالبًا مفتاحًا مبسطًا للمقارنة مع إبقاء النص الأصلي للعرض. وينطبق الأمر على إزالة التطويل وتوحيد بعض المسافات.
لكن حذف الحركات لا يحل اختلاف الهمزات أو الياء والألف المقصورة تلقائيًا، ولا ينبغي خلط القواعد كلها في خطوة واحدة دون توثيق. اجعل كل تحويل قابلًا للتفسير والتراجع.
- احفظ النص الأصلي للعرض.
- أنشئ حقلًا مبسطًا للبحث.
- وثّق هل الشدة تدخل في المفتاح.
- لا تغيّر الهمزات تحت اسم إزالة التشكيل.
- اختبر أسماء أشخاص وأماكن.
- قارن النتائج بعينات حقيقية.
لماذا يحتاج حذف العلامات إلى فهم NFC وNFD؟
يسمح Unicode بتمثيل بعض الحروف في صورة مركبة جاهزة أو حرف أساسي يتبعه محرف مركب. يحول التطبيع NFD الشكل الجاهز إلى مكوناته، بينما يعيد NFC تركيب ما يمكن تركيبه. حذف كل العلامات بعد NFD قد يزيل همزة أ لأنها أصبحت علامة مركبة تقنيًا.
لذلك تستخدم المعالجة الدقيقة نطاقات الحركات العربية نفسها على النص دون تفكيك إملائي غير ضروري. يمكن مراجعة ملحق Unicode الخاص بالتطبيع وجدول المحارف العربية.
نفرق بين العلامة المراد حذفها والبنية الإملائية للحرف، ولا نعد كل محرف مركب «تشكيلًا» لمجرد فئته التقنية.
لماذا تتغير الحروف أو تبقى علامات بعد الحذف؟
إذا تحولت الهمزات إلى ألف، فالسبب غالبًا تفكيك النص ثم حذف جميع العلامات. وإذا بقيت رموز صغيرة، فقد تكون من نطاق علامات قرآنية أو امتدادات عربية لا تشملها القاعدة الأساسية.
اختفت الهمزة
لا تطبّع إلى NFD ثم تحذف كل العلامات؛ استخدم نطاق الحركات المحدد.
بقيت الشدة
تحقق من خيار الحفاظ على الشدة ومن ترتيب العلامات في النص.
بقي رمز طويل
هذا غالبًا تطويل ـ وليس حركة، ويحتاج خيارًا مستقلًا.
اختفت علامة وقف
علامات المصحف فئة متخصصة؛ استعد الأصل وحدد إن كنت تحتاج نسخة مبسطة.
تختلف المطابقة
قد تكون المشكلة في الهمزة أو المسافات أو الألف المقصورة لا في التشكيل.
عد الحروف تغير
الحركات محارف مستقلة، لذا ينخفض عد المحارف بعد حذفها طبيعيًا.
سير عمل لتوحيد النص دون فقد الأصل
حدد النسخة المرجعية
احتفظ بالنص المشكول كما استلمته، وسمه بوضوح. لا تجعل النسخة المبسطة المصدر الوحيد إذا كنت ستحتاج النطق أو الاستشهاد.
اختر قاعدة معلنة
اكتب: نحذف الحركات الأساسية والتطويل ونبقي الشدة، مثلًا. القاعدة المعلنة تجعل النتائج قابلة لإعادة الإنتاج.
اختبر ثم طبّق
مرر عينة فيها همزات وشدة وتنوين وعلامات خاصة، وقارن الحروف الأساسية قبل معالجة الملف الكامل.
أسئلة شائعة عن الحركات والتطويل والهمزات
هل الشدة حرف أم حركة؟
هي علامة مركبة تدل على تضعيف الصامت، وليست حرفًا مستقلًا، لكنها تحمل معلومة نطق مهمة.
هل الألف الخنجرية من التشكيل؟
هي علامة مركبة وتدخل في كثير من قواعد إزالة التشكيل، لكن قد تكون مهمة في نصوص مضبوطة.
لماذا لا تُحذف الهمزة؟
لأن أ وإ وؤ وئ أشكال إملائية للكلمات وليست حركات قصيرة ينبغي محوها.
هل حذف التشكيل يغير ترتيب الكلمات؟
لا، إذا كانت القاعدة صحيحة؛ تُزال العلامات فقط وتبقى الفقرات والترقيم.
هل الأفضل إبقاء الشدة؟
يعتمد على الغرض. تفيد في النطق والتمييز، بينما قد تُحذف في مفاتيح بحث مبسطة.
أنشئ نسخة مبسطة مع إبقاء الأصل محفوظًا
حدد العلامات التي تريد حذفها، اختبر عينة فيها همزات وشدة، ثم طبّق القاعدة على النص الكامل.
فتح أداة الإزالةهل كان هذا الدليل مفيدًا؟
اختر إجابة واحدة؛ يساعدنا التصويت على معرفة الأدلة التي تحتاج توضيحًا أو تحديثًا.