تنظيف النص

كيفية الاستخدام تنظيف النص

1. الصق النص الذي تريد تنظيفه.
2. فعّل التصحيحات التي تحتاجها — يُطبّق كل منها فورًا ويعرض العدّاد كم محرفًا أزاله.
3. انسخ النتيجة.

لماذا لا يتطابق نصّان يبدوان متطابقين؟

لأن الحرف العربي الواحد قد يُكتب بأكثر من صورة في الترميز، والصور متطابقة للعين ومختلفة للحاسوب. هذا هو السبب الأول لفشل البحث والمطابقة في البيانات العربية.

التوحيد يحلّ هذا بردّ كل صورة إلى صورة قياسية واحدة قبل المقارنة. وهو ضروري في قوائم الأسماء وقواعد العملاء والبحث داخل المستندات — فبدونه يظهر العميل نفسه مرتين، ولا يجد البحث ما هو موجود فعلًا.

وانتبه إلى أن التوحيد إجراء للمقارنة لا للعرض: «على» و«علي» اسمان مختلفان، وتوحيدهما مناسب للبحث وغير مناسب للحفظ. طبّقه على نسخة تُقارن بها، واحتفظ بالأصل كما كُتب.

التشكيل والتطويل

التشكيل — الفتحة والضمة والكسرة والسكون والشدة والتنوين — نقاط ترميز مستقلة تُضاف فوق الحروف وتحتها. وهي تغيّر عدد المحارف ولا تغيّر الكلمة.

وإزالتها مطلوبة عند المقارنة والفهرسة: نص مشكّل ونص غير مشكّل لن يتطابقا أبدًا رغم أنهما الكلمة نفسها. وهي غير مطلوبة عند العرض، خصوصًا في النصوص الدينية والشعرية والتعليمية حيث التشكيل جزء من المعنى.

أما التطويل (ـ) فهو محرف يُمدّ به الحرف لأغراض المحاذاة أو الزخرفة، ولا ينطق ولا يحمل معنى. «كــتــاب» و«كتاب» كلمة واحدة بعدد محارف مختلف. وهو ينتقل مع النص المنسوخ من مستندات مصمّمة، ويُفسد المقارنة دون سبب مرئي — إزالته آمنة دائمًا.

ما يأتي مع النص المنسوخ من PDF

ملف PDF لا يعرف الفقرات، بل يعرف محارف في مواضع. ولذلك يتحوّل كل نهاية سطر إلى فاصل سطر عند النسخ، حتى في وسط الجملة.

وفي النصوص العربية تظهر مشكلة إضافية: بعض ملفات PDF تخزّن الحروف بأشكالها المعروضة — أي بصورة الحرف في أول الكلمة أو وسطها أو آخرها — بدل صورته الأساسية. والنتيجة نص يبدو صحيحًا ولا يمكن البحث فيه، لأن كل حرف مخزّن بنقطة ترميز مختلفة عن المتوقّعة.

وأحيانًا يأتي النص معكوس الترتيب، فتظهر الكلمات مقلوبة عند اللصق. سبب ذلك أن الملف خزّن الترتيب البصري لا الترتيب المنطقي، ولا يمكن إصلاحه بالتنظيف وحده — يحتاج إلى استخراج بأداة تفهم النص ثنائي الاتجاه، أو إلى تعرّف ضوئي على الصفحة.

خيار «دمج الأسطر» يعالج الحالة الشائعة: يجمع فواصل الأسطر داخل الفقرة ويُبقي الأسطر الفارغة كحدود بين الفقرات.

المحارف غير المرئية

محارف بلا شكل ظاهر لكنها تُحسب — عند المقارنة وعند البحث وعند المعالجة.

علامتا الاتجاه هما الخاصّتان بالنصوص العربية، وهما الأكثر إرباكًا: يضيفهما المحرّر تلقائيًا لضبط اتجاه العرض عند خلط العربية باللاتينية، ثم تنتقلان مع النسخ. والنتيجة سلسلتان تبدوان متطابقتين ولا تتطابقان، دون أي فرق مرئي على الإطلاق.

ماذا يفعل كل خيار

كل خيار تغيير واحد. ولا يُجرى شيء إضافي في الخفاء.

• إزالة التشكيل — يحذف الحركات والتنوين والشدة والسكون.
• إزالة التطويل — يحذف محرف المدّ الزخرفي. آمن دائمًا.
• توحيد الألف — يردّ أ وإ وآ وٱ إلى ا.
• توحيد الياء — يردّ ى في آخر الكلمة إلى ي.
• توحيد التاء المربوطة — يردّ ة إلى ه.
• توحيد الأرقام — يحوّل بين الأرقام العربية الشرقية والغربية.
• إزالة المحارف غير المرئية — يحذف محارف الجدول أعلاه، ومنها علامتا الاتجاه.
• دمج الأسطر — يجمع فواصل الأسطر داخل الفقرة ويبقي الأسطر الفارغة.
• ضغط المسافات — يحوّل تتابع المسافات والجدولة إلى مسافة واحدة.

الأسئلة الشائعة