CC_ALDi_POC.py

import numpy as np
from transformers import AutoTokenizer, AutoModelForSequenceClassification

model_name = "AMR-KELEG/Sentence-ALDi"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

def compute_score(sentence):
    """Returns a normalized divergence 'distance' score from MSA in [0, 1]"""
    # Warning -- inputs longer than 512 subtokens are truncated
    inputs = tokenizer(sentence, return_tensors="pt", truncation=True, max_length=512)
    outputs = model(**inputs)
    logits = outputs.logits
    return min(max(0, logits[0][0].item()), 1)


def get_page_divergence_from_MSA(page):
    lines = [l.strip() for l in page.split("\n") if l.strip()]

    ALDi_scores = [compute_score(l) for l in lines]
    mean_ALDi, std_ALDi = np.mean(ALDi_scores), np.std(ALDi_scores)

    print(f"{round(mean_ALDi, 2)}±{round(std_ALDi, 2)}")

page1 = '''لا شك أن الاستعانة بالله تعالى واللجوء إليه وقت الشدة تفرج عن المؤمن كربه، وتزيل همه، وتقربه من ربه، وهناك جملة من الأدعية وردت عن النبي –ﷺ- حول هذا الأمر يمكن الاقتداء بها، ويجب ألاّ نهرب من الواقع ونكتفي بالدعاء، فالأمة بحاجة لجمع الكلمة، والوحدة بين المسلمين، والوقوف ساعدا واحدا، والاستعانة مع ذلك بالدعاء. وفيما يلي إطلالة بسيطة على أدعية تفريج الكروب.
يقول الدكتور عجيل النشمي أستاذ الشريعة بالكويت:
ورد في الصحيحين عن ابن عباس أن رسول الله ﷺ كان يقول عند الكرب: “لا إله إلا الله العظيم الحليم، لا إله إلا الله رب العرش العظيم، لا إله إلا الله رب السموات السبع ورب الأرض رب العرش الكريم.
وعن أنس أن النبي ﷺ كان إذا حزبه أمر قال: “يا حي يا قيوم برحمتك أستغيث” (رواه الترمذي)، وعن أبي هريرة أن النبي ﷺ كان إذا أهمه الأمر رفع طرفه إلى السماء فقال: “سبحان الله العظيم”، وإذا اجتهد في الدعاء قال: “يا حي يا قيوم” (رواه الترمذي).
وعن أبي بكرة رضي الله عنه أن رسول الله ﷺ قال: “دعوت المكروب: اللهم رحمتك أرجو، فلا تكلني إلى نفسي طرفة عين، وأصلح لي شأني كله لا إله إلا أنت” (رواه أبوداود).
وعن أسماء بنت عميس رضي الله عنها قالت: قال لي رسول الله ﷺ: “ألا أعلمك كلمات تقولينهن عند الكرب أو في الكرب؟!: الله ربي لا أشرك به شيئاً” وفي رواية أنها تقال سبع مرات، (رواه أبو داود وابن ماجه بسند حسن).
وعن ابن مسعود رضي الله عنه عن النبي ﷺ قال: “ما أصاب عبداً هم ولا حزن فقال: اللهم إني عبدك، ابن عبدك، ابن أمتك، ناصيتي بيدك، ماض فيَّ حكمك، عدل فيَّ قضاؤك، أسألك بكل اسم هو لك، سميت بك نفسك، أو أنزلته في كتابك، أو علمته أحداً من خلقك، أو استأثرت به في علم الغيب عندك، أن تجعل القرآن العظيم ربيع قلبي ونور بصري وجلاء حزني، وذهاب همي، إلا أذهب الله همه وحزنه وأبدله مكانه فرحاً” (رواه أحمد وابن حبان بسند صحيح) .
وعن سعد بن أبي وقاص قال: قال رسول الله ﷺ: “دعوة ذي النون إذ دعا بها وهو في بطن الحوت: لا إله إلا أنت سبحانك إني كنت من الظالمين، لم يدع بها رجل مسلم في شيء قط إلا استجيب له.'''

page2 = '''دبي، الإمارات العربية المتحدة (CNN) -- نشر النجم البرتغالي كريستيانو رونالدو صورة له الى جانب الكرات والأحذية الذهبية والجوائز التي حصدها حتى الآن، قائلاً إنه لم يكن يتخيل أن يلتقط صورة كهذه يوماً ما.
وقال مهاجم نادي ريال مدريد في تعليقه على الصورة التي نشرها عبر حساباته الرسمية على مواقع التواصل الاجتماعي: "عندما كنت ألعب في شوارع ماديرا وأحلم بالوصول إلى القمة، لم أكن أتخيل أبدا أن التقط صورة كهذه." وأضاف "أهدي هذه اللحظة، لعائلتي وأصدقائي وزملائي والمدربين..."
Quando jogava nas ruas da Madeira e sonhava chegar ao topo não pensei que tiraria uma foto assim. Dedico este momen… https://t.co/vIYRS2pZ5x
وأهدى رونالدو كل هذه الإنجازات لأنصاره قائلاً: إنها أيضاً لكم.
يذكر أن رونالدو كان قد تُوّج في ديسمبر / كانون الأول الماضي بجائزة الكرة الذهبية التي تقدمها مجلة "فرانس فوتبول" الفرنسية، للمرة الخامسة في تاريخه، ليعادل عدد الكرات الذهبية التي حققها النجم الأرجنتيني ليونيل ميسي.
قد يهمك أيضاً: بعضها قد يصدمك.. إليك أغرب تصريحات نجوم كرة القدم في 2017
كما أنه كان قد ساهم بفوز ريال مدريد بلقب دوري أبطال أوروبا والدوري الإسباني ولقب كأس العالم للأندية والسوبر الإسباني والأوروبي، خلال عام 2017.'''

page3 = '''(BUSINESSWIRE)--تفخر NIQ، وهي قوة رائدة في مجال معلومات المستهلك والسوق، بالإعلان عن تعيين Kris Ewing كرئيس عالمي لخدمات لجنة المستهلك (CPS) لتسريع النمو وتعزيز الابتكار وتقديم حلول تركز على العميل. يؤكد تعيين القيادة هذا على التزام NIQ الثابت بتوسيع القياس من مصادر المستهلك عبر قنوات وفئات متنوعة، مما يعزز دورها المحوري في تعزيز صناعة السلع الاستهلاكية المعبأة (CPG). مع احتفال NIQ بالذكرى المئوية لتأسيسها، يدل هذا التعيين على التفاني في تعزيز أعمال لجنة المستهلك للتقدم نحو عصر جديد حيث تعد الرؤى القوية القائمة على البيانات ضرورية لنجاح صناعة السلع الاستهلاكية المعبأة.
إن ارتقاء Ewing إلى منصب الرئيس العالمي لخدمات لجنة المستهلك هو دليل على التزام NIQ بتعزيز الرؤى القائمة على البيانات إلى مستويات غير مسبوقة. ومع كونه يعمل مباشرة تحت إدارة Tracey Massey، الرئيس التنفيذي للعمليات في NIQ، فإن Ewing مكلف بتوجيه التوسع العالمي للشركة في أنشطة لجنة المستهلك. مع التركيز الشديد على عروض المنتجات المتميزة، والتكنولوجيا المتطورة، وفريق من المتسوقين المهرة وخبراء المستهلك، تهدف قيادة Ewing إلى وضع معايير جديدة للصناعة.
مع ذكر 76% من كبار القادة في صناعة السلع الاستهلاكية سريعة التداول أن تغيير سلوكيات المستهلكين والأجيال الجديدة يمثل تحديًا وفرصة للنمو المستقبلي، ينصب تركيز NIQ على تقديم التزام للعملاء يوفر رؤى المستهلك المستقبلية التي تمكن العلامات التجارية من خلق نمو طويل الأجل.
قال Kris Ewing، الرئيس العالمي لخدمات لجنة المستهلك في NIQ: "أنا متحمس للغاية لفرصة القيادة في هذا المشهد الديناميكي". "إن التزامنا بتطوير وتعزيز قدراتنا أمر بالغ الأهمية لخدمة عملائنا بشكل أفضل وتحقيق أهدافنا الطموحة. وإنني أتطلع إلى قيادة هذه الرحلة من الابتكار والنمو، وضمان أن إستراتيجياتنا يتردد صداها مع الاحتياجات المتطورة باستمرار لعملائنا والصناعة".
تعطي NIQ الأولوية الإستراتيجية للنهوض بخدمات لجنة المستهلك عبر المؤسسة، وتبدأ سلسلة من الإجراءات الرئيسية:
تعزيز المزيد من الوضوح للعملاء من خلال ربط خدمات قياس البيع بالتجزئة وخدمات لجنة المستهلك من خلال وجهات نظر ديناميكية ومتكاملة حول NIQ Discover (تم إطلاقها في عام 2024).
تعزيز التغطية والتمثيل وجودة بيانات خدمة العملاء عبر الأسواق العالمية من خلال استثمارات مركزة في العينات الرائدة في المملكة المتحدة وفرنسا وإيطاليا وإسبانيا وألمانيا وأستراليا والولايات المتحدة وكندا.
توفير دعم معزز من خلال التدريب وورش العمل والقيادة الفكرية من قِبل خبراء متخصصين رائدين في الصناعة للكشف عن مسارات جديدة للنمو من خلال الاستفادة من أفضل رؤى قياس البيع بالتجزئة ورؤى لجنة المستهلك.
تقديم قراءة اتجاه أكثر دقة وموثوقية، لا سيما في قنوات النمو الرئيسية بالإضافة إلى التغطية الشاملة الموسعة والفئات والخصائص.
تقود NIQ وتيرة سريعة من تقدم القياس، مدعومة باستثمارات كبيرة وإستراتيجية في التغطية والتكنولوجيا. من خلال تبني نهج التفكير المستقبلي، حددت الشركة المبادرات الحاسمة الرئيسية لتعزيز النمو الكبير، حيث تعمل خدمات لجنة المستهلك كركيزة أساسية في هذا السعي الإستراتيجي. تدعم NIQ بثبات مهمتها المتمثلة في الرؤى الرائدة والابتكار في مجال معلومات المستهلك والسوق، مما يدفعنا إلى الأمام نحو مستقبل من التطورات التي لا مثيل لها والتأثير التحويلي في الصناعة.
حول NIQ
NIQ هي شركة استخبارات استهلاكية رائدة في العالم، تقدم الفهم الأكثر اكتمالاً لسلوك شراء المستهلك وتكشف عن مسارات جديدة للنمو. في عام 2023، اندمجت NIQ مع GfK، مما جمع بين شركتين رائدتين في الصناعة مع وصول عالمي لا مثيل له. مع قراءة شاملة للبيع بالتجزئة ورؤى المستهلك الأكثر شمولاً -يتم تقديمها مع التحليلات المتقدمة من خلال أحدث المنصات- توفر NIQ ميزة Full View‏TM.
NIQ، هي إحدى الشركات في مجموعة Advent International مع عمليات في أكثر من 100 سوق، تغطي أكثر من 90% من سكان العالم. للحصول على المزيد من المعلومات، تفضَّل بزيارة NIQ.com.
إن نص اللغة الأصلية لهذا البيان هو النسخة الرسمية المعتمدة. أما الترجمة فقد قدمت للمساعدة فقط، ويجب الرجوع لنص اللغة الأصلية الذي يمثل النسخة الوحيدة ذات التأثير القانوني.'''

page4 = '''مع ريماكس هوم ماسترز امتلك شقتك للبيع بحي الجامعة بالمنصورة سعر المتر يبدأ من 6500 للمتر ادفع مقدم 50% والباقى بالتقسيط على سنة اتصل بينا...
(no title)
شقة للايجارسكني اواداري بتقسيم الاسلكي المعادي الجديدة 200متر تتكون من : 3 غرف + 2 حمام ( 1 ماستر ) + رسيبشن كبير 4 قطع + مطبخ - سوبر لوكس...
(no title)
السرعه بقت مطلوبه ومن النهارده هيكون فى مجموعه اختيارات هتوفرلك مجهود كبير ده لو انت بتدور على عقار هتقدر تقولنا بتدور عل...
'''

for page in [page1, page2, page3, page4]:
    get_page_divergence_from_MSA(page)