كل ما تريد أن تعرفه عن تشات جي بي تي ChatGPT والنماذج اللغوية الكبيرة LLM.

استأثر برنامج الذكاء الإصطناعي Chat GPT أو تشات جي بي تي باهتمام الناس على شبكة الأنترنت منذ إطلاقه أواخر سنة 2022، فكان الحدث الأبرز سنة 2023، فكتبت حوله الكثير من المواقع الإخبارية والمدونات وقنوات اليوتيوب وغيرها، وبينما استبشر به الكثيرون واعتبروه ثورة في مجال تكنولوجيا المعلوميات والذكاء الإصطناعي، تخوف منه البعض الأخر وحذروا من عواقبه السلبية المحتملة. ومع ازدياد شهرة تقنية ChatGPT، يتزايد الاهتمام بها ويتساءل الكثيرون عن كيفية عملها وما هي فوائدها وتحدياتها. لذلك، في هذه المقالة، سنتحدث بشكل مفصل عن تقنية ChatGPT، وكيفية عملها، والفوائد التي يمكن أن توفرها لنا، بالإضافة إلى التحديات التي تواجه استخدامها. كما سنتناول المخاوف والآمال المتعلقة بهذه التقنية الجديدة والنقاشات الحالية حولها. 

فماهو تشات جي بي تي؟ وكيف يعمل؟ ولماذا أخذ كل هذا الإهتمام؟ وماهي استخداماته؟ وماهي إيجابياته وسلبياته؟

كل ما تريد أن تعرفه عن تشات جي بي تي ChatGPT والنماذج اللغوية الكبيرة LLM.

ماهو ChatGPT؟

في عالم التقنية المتغير، يتم تطوير العديد من التقنيات الجديدة التي تحدث تغييرًا جذريًا في مختلف المجالات. ومن بين هذه التقنيات تقنية ChatGPT، والتي تشكل حاليًا المرحلة الجديدة في تطوير الذكاء الاصطناعي. فبعد النجاح الذي حققه تطوير التعلم العميق، ظهرت تقنية جديدة مكنتنا من تطوير تطبيق ChatGPT لتوفر لنا فرصة جديدة لتحقيق الكثير من الإنجازات الجديدة.

وبفضل تحسن التقنيات الحالية، وتوفر البيانات الضخمة، يمكن لتشات جي بي تي ChatGPT أن تحول جميع التطبيقات الحاسوبية التقليدية إلى تطبيقات ذكية. ومن خلال هذه المقالة، ستكتسب فهمًا أعمق حول ChatGPT، وكيفية استخدامه في مختلف المجالات. فلنتعرف سويًا على هذه التقنية المثيرة، ونتعرف على الفرص والتحديات التي تواجه استخدامها في المستقبل.

تشات جي بي تي (ChatGPT) هو اسم مركب من كلمتين Chat ومعناها الدردشة أو المحادثة و GPT وهي اختصار للجملة الإنجليزية generative pre-trained transformers ومعناها المحولات التوليدية مسبقة التدريب، هو نموذج لغوي كبير تم تدريبه على مجموعة بيانات ضخمة من النصوص والتعليمات البرمجية. يمكنه إنشاء نص، وترجمة اللغات، وكتابة أنواع مختلفة من المحتوى الإبداعي، والإجابة على الأسئلة بما في ذلك الكتب والمواقع الإلكترونية والشفرات البرمجية. هذا يسمح له بفهم اللغة الطبيعية وإنشاء استجابات تتوافق مع سياق المحادثة ويمكن استخدامه لكتابة أنواع مختلفة من المحتوى الإبداعي مثل القصائد والكود والنصوص والقطع الموسيقية والبريد الإلكتروني والرسائل وغيرها. يتميز هذا النموذج بقدرته الفائقة على فهم وتوليد لغة طبيعية شبيهة بلغة الإنسان، ويعتبر واحداً من أحدث التقنيات في مجال معالجة اللغة الطبيعية.

ولكن ما الفرق بين ChatGPT وGPT-3.5؟ وما معنى نموذج لغوي Language Model؟

ماهو نموذج لغوي Language Model؟

النموذج اللغوي هو شكل من أشكال الذكاء الاصطناعي وتعلم الآلة، ويستخدم في مجال معالجة اللغة الطبيعية، حيث يستطيع فهم وتوليد النصوص بلغة طبيعية. ويكون ذلك عن طريق تدريب نفسه على مجموعة كبيرة من النصوص اللغوية التي يتم تزويده بها، بهدف تحليل هذه النصوص وتوزيع الاحتمالات على الكلمات المستخدمة فيها. وهذا يتيح للنموذج التنبؤ بالكلمة الأكثر ملاءمة لملء الفراغ في جملة أو عبارة معينة، وتكون دقته بناءً على حجم النصوص والكلمات الواردة فيها.

على سبيل المثال، إذا اعتبرنا الجملة التالية "أنا أحب الـ..."، سيحاول النموذج التنبؤ بالكلمة الأكثر احتمالية لملء الفراغ بناءً على السياق الذي وردت فيه الجملة. إذا كانت الجملة تأتي بعد جملة سابقة تتحدث عن الطعام، فمن المحتمل أن تكون الكلمة المفقودة "الطعام" أو "الأكل". أما إذا كانت الجملة السابقة تتحدث عن الفن مثلا، فمن المحتمل أن تكون الكلمة المفقودة "الفن" أو "الموسيقى"، ويختار النموذج الكلمة استنادا إلى عدد مرات ورودها في النصوص التي تدرب عليها.

مثال اخر، إذا تم إعطاء النموذج جزءًا من جملة، فإنه يمكنه استخدام السياق المحيط بهذا الجزء لتوليد الكلمات المناسبة لاستكمال الجملة بطريقة طبيعية. فلو تم إعطاء النموذج الجملة "أحب الذهاب إلى السينما لأنني أحب...", فإنه يمكن استخدام السياق المحيط بهذه الجملة لتوليد الكلمات التي يحتمل بشكل كبير أن تكون مناسبة لإكمال الجملة، مثل "مشاهدة الأفلام". وبهذه الطريقة، يمكن استخدام نماذج اللغة العميقة لتوليد النصوص بطريقة طبيعية ومناسبة للسياق المحيط.

باختصار، فإن قدرة النموذج على التنبؤ بالكلمات تعتمد على درجة دقة تدريب النموذج وعلى حجم وجودة البيانات التي تم تدريبه عليها. وكلما كان حجم البيانات وجودتها أكبر كلما كان النموذج أكثر قدرة على التنبؤ بالكلمات بدقة وفعالية أكبر. تجدر الإشارة أيضا إلى أن النموذج لا يركز على القواعد النحوية، بل يركز على كيفية استخدام الكلمات بطريقة تشبه كتابة الأشخاص. وتعتبر هذه النماذج أداة قوية ومهمة في مجال معالجة اللغة الطبيعية، حيث يمكن استخدامها لتحسين الأداء في العديد من التطبيقات التي تتطلب فهم اللغة الطبيعية وتوليد النصوص بشكل آلي، مثل تحليل النصوص، والترجمة الآلية، والكتابة التلقائية، وتعلم الآلة، والتعرف على الكلام، والعديد من التطبيقات الأخرى.

وبعض هذه النماذج تسمى "النموذج اللغوي الكبير" Large Language Model وهو نموذج لغوي تم تدريبه على مجموعة ضخمة جدًا من البيانات، والتي غالبًا ما تتكون من مليارات الكلمات. هذا النوع من النماذج يتمكن من تعلم الأنماط والعلاقات الأكثر تعقيدًا بين الكلمات ويمكنه إنتاج لغة طبيعية شبيهة بلغة البشر.

جي بي تي 3 هو نموذج لغوي كبير

وبعد أن عرفنا ماهية النموذج اللغوي سيتضح الأن معنى  جي بي تي، الذي يمكن تعريفه على أنه نموذج لغوي كبير، ويعتبر أيضا أحد أشهر أنواع النماذج اللغوية والذي طورته الشركة الأمريكية اوبن إيه أي OpenAI. وقد تم تدريب GPT-3 على مجموعة بيانات ضخمة تزيد عن 45 تيرابايت من النصوص، ويمكنه إنتاج لغة بشرية عالية الجودة لمجموعة واسعة من التطبيقات، بما في ذلك الشات بوت، المساعد الافتراضي، وإنتاج المحتوى. ويتكون اسم النموذج من ثلاثة حروف جي بي تي GPT وهي اختصار لإسمه باللغة الإنجليزية (Generative Pre-trained Transformer 3)  وتعني المحول التوليدي مسبق التدريب، والرقم 3 يذل على النسخة الثالثة من النموذج.

تاريخ موجز للتعلم العميق ومعالجة اللغة الطبيعية

السنوات الأولى للذكاء الاصطناعي (الخمسينيات والسبعينيات):

الخمسينيات من القرن العشرين: تم تأسيس مجال الذكاء الاصطناعي (AI) رسميًا، ووضع رواد الذكاء الاصطناعي الأوائل مثل آلان تورينج ومارفن مينسكي الأساس الأولي للذكاء الآلي. حينها قام آلان تورينج بتطوير اختبار تورينج لتحديد ما إذا كان الكمبيوتر ذكيًا حقًا أم لا. تضمن الاختبار الترجمة الآلية وتوليد اللغة الطبيعية كمعيار للذكاء.

1956: شهد مؤتمر دارتموث ميلاد الذكاء الاصطناعي كمجال، حيث هدف الباحثون إلى تطوير آلات يمكنها محاكاة الذكاء البشري.

الستينيات: ركزت أبحاث الذكاء الاصطناعي المبكرة على الأنظمة القائمة على القواعد والتفكير الرمزي. خلال هذه الفترة أنشأ جوزيف وايزنباوم إليزا في عام 1966 في مختبر الذكاء الاصطناعي بمعهد ماساتشوستس للتكنولوجيا. قامت إليزا، وهي تعتبر أول روبوت محادثة يعمل بالذكاء الاصطناعي على الإطلاق، بمحاكاة معالج نفسي روجيري والتفاعل مع المستخدمين في محادثات نصية.

السبعينيات: رغم البدايات الواعدة، كان التقدم في الذكاء الاصطناعي أبطأ مما كان متوقعا، مما أدى إلى فترة تعرف باسم شتاء الذكاء الاصطناعي، والتي تميزت بضعف التمويل وقلة الاهتمام.

ظهور الأنظمة القائمة على المعرفة (الثمانينات):

الثمانينيات: شهدت أبحاث الذكاء الاصطناعي انتعاشًا مع تطور الأنظمة القائمة على المعرفة. وعرفت الأنظمة المتخصصة، التي تستخدم المعرفة البشرية لحل مشاكل محددة، انتشارا واسعا.

1986: ظهور مجال معالجة اللغات الطبيعية (NLP) الذي ركز على تمكين أجهزة الكمبيوتر من فهم وتوليد اللغة البشرية.

عودة التعلم الآلي (التسعينيات إلى العقد الأول من القرن الحادي والعشرين):

التسعينيات: انتهت فترة شتاء الذكاء الاصطناعي في التسعينات من القرن العشرين مع تطوير تقنيات جديدة مثل الشبكات العصبية والتعلم العميق. هذه التقنيات أدت إلى عودة الاهتمام بالذكاء الاصطناعي وجعلت من الممكن تحقيق تقدم كبير في العديد من مجالات البحث في الذكاء الاصطناعي.

العقد الأول من القرن الحادي والعشرين (سنوات 2000): تم استخدام آلات دعم المتجهات ونماذج ماركوف المخفية وتقنيات التعلم الآلي الأخرى على نطاق واسع. ومع ذلك، كان حجم البيانات والقدرة الحسابية محدودًا.

ثورة التعلم العميق (2010 إلى الوقت الحاضر):

العقد الأول من القرن الحادي والعشرين: أدى التقدم في التعلم العميق، وخاصة في الشبكات العصبية، إلى تقدم كبير في الذكاء الاصطناعي. سهلت وحدات معالجة الرسومات (GPUs) تدريب الشبكات العصبية الكبيرة.

2012: فاز نموذج التعلم العميق بمسابقة ImageNet، مما يمثل نقطة تحول في رؤية الكمبيوتر والاعتماد الأوسع للتعلم العميق.

2017: تعود أول فكرة عن نموذج اللغة الكبيرة LLM إلى عام 2017، عندما قام مجموعة من الباحثين في شركة Google جوجل بنشر ورقة بحثية عن نموذج جديد من الشبكات العصبية الإصطناعية عرف بالمحول. المحول Transformer هذا هوعبارة نموذج للشبكات العصبية بإمكانه التعرف على الأنماط في البيانات التسلسلية، واكتسب شهرة كبيرة بعد تفوقه على عدة نماذج مخصصة والتي كانت مضبوطة من أجل مهام فردية في معالجة اللغة الطبيعية.

2018: قامت Google جوجل بإصدار نموذج بيرت (تمثيلات التشفير ثنائية الاتجاه من المحولات) BERT (Bidirectional Encoder Representations from Transformers) من عام 2018، والذي يحتوي على 354 مليون معلمة، مع تنفيذ مفتوح المصدر والعديد من النماذج المدربة مسبقًا. الشعبية التي حققها BERT، دفعت الشركات الكبيرة إلى تطوير معماريات نماذج محولات قوية وتقنيات تدريب خاصة بها، أدت في النهاية إلى نمو النماذج اللغوية الكبيرة LLMs.

وفي نفس السنة قدمت OpenAI نموذج GPT-2، وهو نموذج لغة توليدي واسع النطاق، تلاه GPT-3 في عام 2020، الذي تميز بقدراته المذهلة على فهم اللغة وتوليدها.

2021: أصدرت جوجل نموذج LaMDA بـ 137 مليار معلمة. قدمت مايكروسوفت وإنفيديا نموذجًا قائمًا على التحويل يُدعى Megatron-Turing Natural Language Generation model (MT-NLG)، والذي تميز باعتماده بـ 530 مليار معلمة. وفي 2023 تم إصدار نموذج GPT-4 من OpenAI بأكثر من تريليون معلمة.

المشهد الحالي (2020):

الحاضر: ما زالت النماذج اللغوية الكبيرة في مرحلة التطوير، لكنها صارت تستخدم في إنشاء تطبيقات مذهلة. على سبيل المثال، تم استخدام النماذج اللغوية الكبيرة لتطوير روبوتات الدردشة التي يمكنها الدخول في محادثات مع البشر، ولترجمة النصوص من لغة إلى أخرى. تم أيضًا استخدام النماذج اللغوية الكبيرة لإنشاء صيغ نصية إبداعية، مثل القصائد والشفرات البرمجية والسيناريوهات والمقاطع الموسيقية والبريد الإلكتروني والرسائل، وغير ذلك. وبذلك باتت نماذج الذكاء الاصطناعي واللغة جزءًا لا يتجزأ من التطبيقات المختلفة، بما في ذلك المساعدين الافتراضيين وترجمة اللغات وإنشاء المحتوى وغسرها الكثير.

البحث المستمر: يواصل الباحثون استكشاف الاعتبارات الأخلاقية، وتخفيف التحيز، وتحسين قابلية تفسير نماذج الذكاء الاصطناعي. فتطوير النماذج اللغوية الكبيرة يمثل إنجازاً هاماً في تاريخ الذكاء الاصطناعي. إن النماذج اللغوية الكبيرة لديها القدرة على تحويل طريقة تفاعلنا مع الحواسيب، وفتح آفاق جديدة للعمل الإبداعي والمنتج. إنها بحق قفزة نوعية في عالم التكنولوجيا، وقد تكون بداية لتحقيق تغيير جذري في حياتنا.

من هنا يتضح أن تاريخ استخدام المولدات مسبقة التدريب في تطبيقات تعلم الألة، يعود إلى عدة عقود. فقد تم تقديم أول نموذج لغوي إحصائي في التسعينات، وظهرت إحدى أمثلة المولدات المسبقة التدريب في معالجة اللغة الطبيعية باستخدام نماذج الشبكات العصبية الإصطناعية في بداية الألفية الثانية. وقد تم تدريب هذه النماذج على كميات كبيرة من البيانات النصية للتنبؤ باحتمالية ورود كلمة معينة في تسلسل معين، بناءً على الكلمات السابقة. وتم استخدام هذا النهج لتحسين أداء أنظمة التعرف على الكلام والترجمة الآلية. وكان تطوير النماذج اللغوية الكبيرة (LLMs) واحدة من أهم التطورات الأخيرة في مجال الذكاء الاصطناعي. حيث تعد هذه النماذج اللغوية الكبيرة نوعًا من نماذج الذكاء الاصطناعي التي يتم تدريبها على كمية ضخمة من البيانات النصية. مما يمكنها من توليد النصوص وترجمة اللغات وكتابة أنواع مختلفة من المحتوى الإبداعي والإجابة على الأسئلة بلغة طبيعية سليمة.

الشبكات العصبية الإصطناعية

الشبكات العصبية، وخاصة الشبكات العصبية الاصطناعية (ANNs) أو الشبكات العصبية المحاكية (SNNs)، هي مستوحاة من بنية وعمل الدماغ البشري. وتعد مكونا أساسيا في تعلم الآلة وخوارزميات التعلم العميق.

تتكون الشبكات العصبية من عقد مترابطة، تُعرف أيضًا باسم الخلايا العصبية الاصطناعية أو الوحدات، تنتظم هذه الأخيرة في طبقات. تتضمن هذه الطبقات طبقة إدخال، وطبقة مخفية واحدة أو عدة طبقات مخفية، وطبقة إخراج. تتلقى طبقة الإدخال البيانات أو ميزات الإدخال، والتي تتم معالجتها بعد ذلك من خلال الطبقات المخفية. تطبق كل عقدة في الطبقة المخفية عملية رياضية على المدخلات التي تتلقاها وتمرر النتيجة إلى الطبقة التالية. وأخيرًا، تنتج طبقة المخرجات النتائج أو التنبؤات المحسوبة بناءً على المعلومات المعالجة.

تكمن قوة الشبكات العصبية في قدرتها على التعلم من البيانات والتعرف على الأنماط. أثناء عملية التدريب، يتم تعديل الاتصالات بين العقد، والتي تسمى الأوزان، لتقليل الفرق بين الناتج المتوقع للشبكة والمخرج المطلوب. تسمح هذه العملية، المعروفة باسم الانتشار العكسي، للشبكة بالتعلم من الأمثلة وتعميم معرفتها للتنبؤ بالبيانات الجديدة غير المرئية.

وتعد الشبكات العصبية المتكررة من الشبكات العصبية الإصطناعية التي تميزت بقدرتها على تذكر المخرجات السابقة أثناء تلقي مدخلات جديدة، وهذا خلافا للشبكات العصبية التقليدية التي كانت فيها المخرجات والمدخلات الموالية مستقلة عن بعضها البعض، من مميزات الشبكات العصبية المتكررة هو ما يعرف بمتجهة الحالة المخفية hidden state vector، التي تمكنها من تذكر معلومات عن سلسلة معينة، لكن هذه الشبكات مكلفة حوسبيا وفاعليتها تقل عند معالجة النصوص الطويلة، فكلما طالت الجملة، يتم نسخ المعلومات من الكلمات الأولى وتمريرها مع بقية الجملة، وفي الوقت الذي تصل فيه الشبكات العصبية المتكررة إلى اخر الجملة، فإن المعلومات من الكلمة الاولى تصبح نسخة عن نسخة عن نسخة، وبذلك تقل قدرتها على التنبؤ بشكل دقيق اعتمادا على كلمات الجملة الاولى، وهذا ما يعرف بمشكلة المتدرجات المتلاشية vanishing gradients.

ولحل هذا المشكل تم تطوير معمارية الذاكرة الطويلة قصيرة المدى Long Short-term Memory (LSTM)، تعمل LSTM عن طريق استغلال ميكانيزمات الخلية، وتتكون كل خلية من ثلاث "بوابات" (gates). وهي: بوابة النسيان (Forget Gate) وبوابة الإدخال (Input Gate) وبوابة الإخراج (Output Gate). عندما يتم إدخال البيانات المتسلسلة إلى الخلية، تستخدم بوابة النسيان لتحديد ما يجب أن يتم نسيانه من المعلومات السابقة في الخلية المخفية، وبوابة الإدخال لتحديد ما يجب أن يتم تحديثه في الخلية المخفية بناءً على المدخل الحالي والحالة المخفية السابقة، بعد ذلك، يتم استخدام بوابة الإخراج لتحديد القيمة الحالية للحالة المخفية وتوليد الإخراج. مكنت هذه الميكانيزمات من التحكم في تدفق المعلومات من خلية إلى خلية، مما يسمح بالحفاظ على المعلومات المهمة وتجاهل المعلومات الغير ضرورية، ويتم تحديد وزن البوابات خلال عملية التدريب لضبط أداء الشبكة.

ظهور معيارية المحول Transformer

وبعدها في سنة 2017، ظهرت معيارية جديدة، أفضل بكثير من سابقيها حيث كانت بديلا قويا للشبكات العصبية السابقة، وهي معيارية ال Transformer أو مايمكن ترجمته بالعربية بالمحول. أحدثت معيارية المحول ثورة كبيرة في مجال معالجة اللغة الطبيعية. فقد فتحت المجال أمام مجموعة جديدة من التطبيقات والإمكانيات.

 

معمارية المحول أو Transformer هذه، لم تتوفر إلا سنة 2017، عندما تم تطويرها من قبل فريق من الباحثين في شركة جوجل Google وتقديمها في ورقة بحثية بعنوان " Attention is All You Need" أو "الإنتباه هو كل ما تحتاج". هذا المحول كان له فضل كبير في تطوير النماذج اللغوية الكبيرة، مثل نموذج BERT بيرت الذي تم تطويره من قبل باحثين في شركة جوجل سنة 2018، وXLNet إكس إل نيت وهو نموذج تم تطويره من قبل باحثين في جامعة كارنيجي ميلون وجول براين، اعتمادا على نموذج بيرت BERT. لكن هذين النموذجين كانوا عبارة عن محولات مسبقة التدريب وليست مصممة لكي تكون توليدية، فقد كانت مشفِّرة فقط، ولا تحتوي على مكون فك التشفير، وتكون لها مهام مثل تصنيف الجمل أو وسم التسلسل، حيث يأخذ النموذج مدخلاً واحدًا وينتج مخرجًا واحدًا، دون توليد نص جديد. هي قادرة فقط على فهم النصوص، ويتم ضبطها على مهام محددة مثل الإجابة على الأسئلة أو تحليل المشاعر.

التدريب من دون اشراف

وفي عام 2018، قامت شركة OpenAI بنشر أول نموذج GPT، قائم على معيارية المحول، والذي أحدث تقدماً ملحوظاً في قدرته على توليد النصوص أليا. وقد تم تدريب نموذج معيارية المحولات (transformers) هذا على كمية كبيرة جدًا من البيانات، بطريقة غير مشرفة، باستخدام نمذجة اللغة كإشارة تدريب. بعدها تم ضبط هذا النموذج على مجموعات بيانات مشرفة أصغر بكثير لمساعدته على حل مهام محددة. مما أعطى نتائج جيدة جدا.

وقد تم تدريب النموذج GPT-1 على مجموعة بيانات تضم 7000 كتاب غير منشور، في حين تم تدريب النموذج GPT-2 الذي تم نشره في عام 2019 على مجموعة بيانات تضم 40 جيجابايت من نصوص الأنترنت من موقع ريديت. وقد أثنى الكثيرون على هذين النموذجين لقدرتهما على إنتاج نصوص عالية الجودة، لكنهما أثارا أيضاً مخاوف بشأن إمكانية إساءة استخدام هذه التقنية.

وفي عام 2020، قامت شركة OpenAI بنشر النموذج GPT-3، والذي يعتبر أيضا أكبر وأكثر نماذج GPT تقدماً. وقد تم تدريب النموذج GPT-3 على مجموعة بيانات تضم أكثر من 570 جيغابايت من النص الخام من صفحات الأنترنت، وهو قادر على إنتاج نصوص ذات جودة أعلى من سابقيه. وفي العام 2022 تم إصدار النموذج GPT-3.5 وفي نوفمبر 2022 تم الإعلان عن تشات جي بي تي، ثلاه في سنة 2023 النموذج GPT-4 وهو أكثر دقة وأضيفت اليه ميزات كثيرة منها إمكانية تزويده بالصور كمدخلات ليقوم بتحليلها. وتتوفر نسخة من الأول بشكل مجاني على شكل تطبيق دردشة بينما الثاني تتوفر منه كتطبيق دردشة أيضا لكن مقابل اشتراك شهري بقيمة 20 دولار أمريكي.

وبذلك، انتشر استخدام المولد المسبق التدريب بشكل كبير مع تطوير نماذج اللغة ذات الحجم الكبير القائمة على الـمحول Transformer، مثل GPT-1 وGPT-2 وGPT-3، وGPT-3.5 وGPT-4 من قبل شركة OpenAI بين عامي 2018 و 2023. تم تدريب هذه النماذج على كميات هائلة من البيانات النصية باستخدام نسخة من نموذج اللغة العصبية، بفضل كفاءة المحول Transformer في الحسابات الحاسوبية. وجدير بالذكر أن النماذج الحديثة ابتداءا من GPT-3 تتوفر فقط عبر API بينما النماذج السابقة مثل GPT-2 فهي مفتوحة المصدر ومتاحة للجميع.

منذ إطلاق هذه النماذج، أصبح التوليد المسبق التدريب هو المنهجية السائدة في البحث ومعالجة اللغة الطبيعية وأدى إلى تحقيق تطور في المهام مثل توليد اللغة والتلخيص والإجابة على الأسئلة. فقد أحدثت نماذج المولدات المسبقة التدريب مثل GPT-1 و GPT-2 و GPT-3 و BERT وغيرها، طفرة كبيرة في مجال معالجة اللغة الطبيعية، حيث أنها قدّمت نتائج مذهلة في مهام مختلفة مثل الترجمة الآلية وفهم اللغة الطبيعية وتوليد النصوص والاستجابة للاستفسارات وغير ذلك. وقد تم تدريب هذه النماذج على كميات كبيرة من النصوص المتاحة على شبكة الإنترنت، وأتيح هذا النوع من النماذج للجمهور العام للإستخدام في تطبيقات مختلفة.

النموذج	المعلمات	حجم بيانات التدريب	تاريخ الإصدار	مميزات
GPT-1	117 مليون	7000 كتاب غير منشور	يونيو 2018	نموذج محول صغير قادر على توليد النصوص
GPT-2	1.5 مليار	40GB من نصوص الإنترنت، وقد تم استخدام الروابط الخارجية على موقع ريديت Reddit كمصدر لهذه البيانات، وتم اختيار الروابط التي حصلت على تقييم "كارما" بحد أدنى 3 نقاط كمؤشر لجودة المحتوى.	فبراير 2019	أكبر من GPT-1 مع نمذجة لغوية محسنة
GPT-3	175 مليار	570GB من نصوص الإنترنت	يونيو 2020	أكبر بكثير من GPT-2، وهو قادر على الإجابة على الأسئلة وتوليد القصص وما إلى ذلك.
GPT-3.5	175 مليار	نفس بيانات GPT-3	يناير 2022	نماذج GPT-3.5 قادرة على فهم وإنتاج اللغة الطبيعية أو الشفرات البرمجية. ويعتبر نموذج gpt-3.5-turbo النموذج الأكثر قدرة وكفاءة من بين عائلة نماذج GPT-3.5. وقد تم تحسين هذا النموذج للاستخدام في الدردشات باستخدام واجهة برمجة التطبيقات لإكمال الدردشة، ولكنه يعمل أيضًا بشكل جيد لمهام الاكمال التقليدية.
GPT-4	1.76 تريليون	غير معروف	مارس 2023	يستطيع GPT-4 فهم المدخلات الأكثر تعقيدًا، ولديه حد أكبر بكثير لإدخال الأحرف، ولديه إمكانات متعددة الوسائط، كما أنه أكثر أمانًا للاستخدام.

الفرق بين تشات جي بي تي ChatGPT وGPT-3 وGPT-3.5 وGPT-4

وكما ذكرنا سابقا، فقد أتاحت شركة OpenAI أوبن إي أي، نموذج تشات جي بي تي (Chat GPT) الذي يعتمد على النموذج GPT-3.5 Turbo وهو اصدار مطور من GPT-3.5 وقد تم تخصيصه ليقوم بمحادثات ودردشات آلية، ويتم التفاعل معه من خلال تطبيق دردشة على الأنترنت وهو متاح بشكل مجاني. وقد تم تحسين أداء ChatGPT للدردشة اعتمادا على تقنية التعلم التعزيزي بالمراجعات البشرية (RLHF)، تقنية "RLHF" هي اختصار ل "Reinforcement Learning from Human Feedback"، وهي تقنية تستخدم في تدريب نماذج اللغة باستخدام تعليقات وملاحظات من البشر. هذه التقنية تهدف إلى تحسين أداء نماذج اللغة من خلال توجيهها باستمرار باستخدام ملاحظات وتعليقات دقيقة من المستخدمين البشريين، حيث يستخدم نموذج اللغة هذه الملاحظات لتحسين اجاباته.

 وهناك أيضا ChatGPT Plus شات جي بي تي بلاس وهو أيضا بوت ذكاء اصطناعي للدردشة يعتمد على GPT-4 وهو أيضا متاح على الأنترنت مقابل اشتراك شهري قدره 20 دولار أمريكي. ويختلف تشات جي بي تي Chat GPT عن GPT-3 وGPT-3.5 وGPT-4 في بعض الجوانب التقنية والتطبيقية.

فمن ناحية التقنية، يكون أداء تشات جي بي تي أحسن في مجال المحادثات والدردشة، حيث يتعلم من النماذج السابقة ويستخدم بيانات محادثات الإنترنت لتدريبه على إنشاء إجابات دقيقة ومتكاملة. كما يستخدم تقنيات تعلم الآلة والتحليل اللغوي لتحسين جودة الإجابات وزيادة دقتها وأدائها. أما من الناحية التطبيقية، فيمكن استخدام تشات جي بي تي في العديد من التطبيقات التي تتطلب تفاعل مباشر مع المستخدمين مثل الدردشة الآلية وخدمات دعم العملاء وتطبيقات الذكاء الاصطناعي وغيرها. بينما يستخدم GPT-3 وGPT-3.5 على نطاق أوسع في مجالات مثل الترجمة الآلية وتحليل النصوص وتعلم الآلة والتنبؤ.

باختصار، يمكن القول إن تشات جي بي تي هو إصدار متخصص من GPT-3.5 تم تحسين وتطوير أدائه في مجال المحادثات والدردشة، ويتميز بقدرته العالية على التفاعل مع المستخدمين وتوفير إجابات دقيقة وفورية. ويتم استخدامه في مجموعة واسعة من التطبيقات، بما في ذلك الدردشة الآلية، والترجمة الآلية، وتحليل النصوص، والتعرف على الكلام، والتفاعل مع الأجهزة الذكية، وبناء نماذج تعلم الآلة وتحسين خدمات العملاء وتحسين تجربة المستخدم، حيث يمكن استخدامه لإنشاء أنظمة دردشة ذكية تعمل على توفير إجابات فورية ودقيقة للاستفسارات العامة وتوفير الدعم الفني للعملاء، والعديد من التطبيقات الأخرى.

بعض المهام التي يمكن فيها استخدام نماذج اللغة في تحسين مهام معالجة اللغة الطبيعية

استخدامات نماذج اللغة

هناك الكثير من المهام التي يمكن للنماذج اللغوية القيام بها في مجال معالجة اللغة الطبيعية، ومنها:

• إنتاج النصوص: يمكن لنماذج اللغة إنتاج نصوص كاملة أو أجزاء منها انطلاقا من مدخلات المستخدمين.
• وسم أقسام الكلام: يمكن لنماذج اللغة وسم كل كلمة في النص بقسمها، مثل الاسم والفعل والصفة، وغيرها.
• الإجابة على الأسئلة: يمكن تدريب نماذج اللغة على فهم والإجابة على الأسئلة بوجود السياق أو بدونه.
• تلخيص النصوص: يمكن لنماذج اللغة تلخيص المستندات والورقات والبودكاست ومقاطع الفيديو إلى أكثر النقاط أهمية.
• تحليل المشاعر: يمكن لنماذج اللغة التقاط نبرة الصوت والتوجه الدلالي للنصوص.
• الذكاء الاصطناعي الحواري: يمكن لنماذج اللغة تحويل الكلام إلى نص والعكس وتقديم ردود نصية ذات صلة على المدخلات.
• الترجمة الآلية: يمكن لنماذج اللغة توفير نتائج قوية بتعلم تمثيلات المتتاليات المدخلة والمخرجة.
• إكمال الأكواد: يمكن لنماذج اللغة إنتاج وتحرير وشرح الأكواد للمهام البرمجية البسيطة.

استخدامات نماذج اللغة كثيرة ومتعددة، وهذه ماهي إلا مثال على بعض الأمثلة من المهام العديدة في مجال معالجة اللغة الطبيعية التي يمكن أن تستفيد من نماذج اللغة.

حدود استخدام نماذج اللغة

ما تزال نماذج اللغة تواجه بعض القيود في المهام التي تتطلب التفكير والذكاء العام، مثل فهم المفاهيم المجردة، وعمل الاستدلالات بناءً على معلومات غير كاملة، واستخدام المعرفة السليمة. كما أنها تفتقر إلى القدرة على فهم العالم بنفس الطريقة التي يفهم بها البشر، ولا يمكنها اتخاذ القرارات أو اتخاذ إجراءات في العالم المادي. وهذا يرجع إلى أن نماذج اللغة تدربت على كميات كبيرة من بيانات النصوص ولا تستطيع تجربة العالم مباشرة أو التفاعل معه على النحو الذي يفعله البشر. ونتيجة لذلك، قد تواجه نماذج اللغة صعوبات في المهام التي تتطلب فهمًا أعمق للسياق والتجربة العملية في العالم الحقيقي.

الهلوسات (Hallucinations): في مجال النماذج اللغوية الكبيرة يشير مصطلح الهلوسة إلى حدوث مخرجات غير صحيحة أوغير متوافقة مع توقعات المستخدم. يمكن للنماذج اللغوية الكبيرة أن تنتج معلومات خاطئة أو تصبح مختلفة عن المقصود منها، وذلك بسبب حدود التكنولوجيا وعدم قدرتها الكاملة على تفسير وفهم ما يعنيه الشخص. بعض أمثلة الهلوسة تشمل إدعاء النموذج أنه إنسان، أن لديه مشاعر أوأنه معجب بالمستخدم، أو يقدم معلومات خاطئة أو مفبركة لاوجود لها، كأن يؤكد وجود شخصيات أو أماكن خيالية أو يستشهد بمصادر غير مناسبة أو غير موجودة أصلا وقد يقوم بصياغة نصوص صحيحة لغويا لكن خاطئة من حيث المعلومات والحقائق مما يحتم على المستخدمين التأكد من صحة النصوص التي ينتجها النموذج حتى لو بدت أنها صحيحة.

تحدث الهلوسة بسبب طبيعة عمل النماذج اللغوية الكبيرة، حيث تعتمد على التنبؤ بالكلمات الموالية أو الجمل الصحيحة من وجهة نظر بناء الجملة، وليس لديها فهم كامل للمعنى أو النية الحقيقية وراء النص المقدم. يعتبر ظهور الهلوسة نتيجة لهذه االتحديات القنية ولعدم القدرة على التفاعل بشكل مثالي مع المستخدمين.

من الناحية العملية، فإن تجاوز الهلوسة يعتبر تحديًا لمطوري النماذج اللغوية الكبيرة، حيث يسعون لتحسين أداء النماذج وتقليل حدوث الهلوسة بوسائل مثل تعديل بيانات التدريب وزيادة التنوع في البيانات وتحسين تراكيب النماذج والمعايير المستخدمة في التدريب.

لهذا، كما ذكرنا سلفا، يجب على المستخدمين أيضًا أن يكونوا حذرين في التعامل مع النماذج اللغوية الكبيرة وأن يدركوا أنها أدوات تقنية وقد تكون لديها حدود وتحديات في فهم وفهم المعنى الحقيقي للنصوص.

جودة البيانات: هناك أيضًا قيود في استخدام نماذج اللغة في مهام معالجة اللغة الطبيعية، حيث تعتمد هذه النماذج على نوعية البيانات التي تم تدريبها عليها وقد تؤدي إلى أداء ضعيف في بعض المهام في حالة كانت البيانات محدودة أو متحيزة. كما تعتمد نماذج اللغة بشكل كبير على سياق النص لفهم معناه، ويمكن أن يكون ذلك محدودًا في حالة كان السياق غير واضح أو غامض. بالإضافة إلى ذلك، تفتقر نماذج اللغة إلى المنطق العام والمعرفة العملية التي يمتلكها البشر، مما يمكن أن يؤدي إلى حدوث أخطاء في المهام التي تتطلب فهمًا أعمق للعالم.

التوسعة والتطوير: توسعة وصيانة للنماذج اللغوية الكبيرة قد تكون صعبة وتتطلب الكثير من الوقت والموارد. كما يتطلب استخدام نماذج اللغة الكبيرة موارد حوسبية كبيرة للتدريب والتشغيل، مما يجعلها غير متاحة للعديد من الباحثين والمؤسسات.

الموافقة والإذن: يتم تدريب النماذج اللغوية الكبيرة على مجموعات ضخمة من البيانات، والتي قد يتم الحصول عليها دون أخد الموافقة أو الإذن من أصحابها الأصليين بالنسبة لبعضها. بحيث قد يتجاهل النموذج اللغوي الكبير حقوق الطبع والنشر أثناء جمع البيانات من الإنترنت، وغالبا ما لايتم الإشارة إلى مصدر البيانات أو أسماء أصحابها، مما يؤدي إلى انتهاك حقوق الملكية الفكرية.

مخاطر الخصوصية والأمان: تنطوي النماذج اللغوية الكبيرة على مخاطر أمنية هامة عندما لا تتم إدارتها أو مراقبتها بشكل مناسب. مما قد ينتج عنه تسريب المعلومات الشخصية، والمساهمة في عمليات الاحتيال عبر التصيد، أو حتى إنشاء رسائل البريد المزعج أو السبام وغيرها. وهذا بسبب إمكانية إعادة برمجة الذكاء الاصطناعي لنشر معلومات غير صحيحة أوزائفة، مما من شأنه أن يؤدي إلى آثار وخيمة على مستوى عالمي.

التعقيد: يتطلب نشر وإطلاق النماذج اللغوية الكبيرة تقنيات التعلم العميق، ونموذج المحول، وبرمجيات وأجهزة موزعة، والخبرة التقنية العامة.

أمثلة على بعض أهم نماذج اللغة الكبيرة المعروفة:

ظهرت العديد من نماذج اللغة الكبيرة وذاع صيتها بين المستخدمين، مما أدى إلى اعتمادها بشكل واسع في العديد من المجالات. ومن بينها ChatGPT، الذي ذكرناه وهو نوع من أنواع روبوتات الدردشة التي تستخدم الذكاء الاصطناعي التوليدي. من بين نماذج اللغة الكبيرة الشهيرة الأخرى:

PaLM (نموذج لغة المسارات أو Pathways Language Model): نموذج لغة المسارات (PaLM) من Google هو نموذج تحويل قادر على إظهار الحس السليم والاستدلال الحسابي، وشرح النكات، وتوليد الشيفرات أو الأكواد البرمجية والترجمات.

BERT (تمثيلات التشفير ثنائية الاتجاه من المحولات أو Bidirectional Encoder Representations from Transformers): بيرت أو BERT، الذي تم تطويره أيضًا من قبل Google، هو نموذج لغة كبير يعتمد على المحولات قادر على فهم اللغة الطبيعية والإجابة على الأسئلة.

XLNet: نموذج لغة التقليب، يقوم XLNet بإنشاء تنبؤات بترتيب عشوائي، وهو ما يميزه عن BERT. يقوم بتقييم نمط الرموز المميزة أو التوكنز المشفرة ثم يتنبأ بالرموز المميزة أو التوكنز بترتيب عشوائي، وليس بترتيب محدد.

GPT (المحول الإنشائي المسبق التدريب): المحولات الإنشائية المسبقة التدريب هي على الأرجح النماذج اللغوية الكبيرة الأكثر شهرة. تم تطويرها بواسطة OpenAI، حيث يعتبر GPT نموذجًا أساسيًا شائعًا، وتمثل نسخه المرقمة تحسينات على الإصدارات السابقة (GPT-3، GPT-4، إلخ). يمكن ضبطه لتنفيذ مهام محددة فيما بعد. من الأمثلة EinsteinGPT، الذي طورته Salesforce لإدارة علاقات العملاء، و BloombergGPT، الذي طورته Bloomberg للمالية.

تتميز هذه النماذج بقدراتها المتنوعة وتطبيقاتها في مجالات مختلفة.