[ad_1]
تتحرك الكاميرا عبر سحابة من المكعبات متعددة الألوان، يمثل كل منها رسالة بريد إلكتروني. تم تسمية ثلاثة مكعبات عابرة باسم “k****@enron.com” و”m***@enron.com” و”j*****@enron.com”. عندما تتحرك الكاميرا للخارج، تشكل المكعبات مجموعات من الألوان المتشابهة.
هذا تصور لمجموعة كبيرة من بيانات البريد الإلكتروني من شركة Enron، والتي غالبًا ما تستخدم لتدريب أنظمة الذكاء الاصطناعي، مثل ChatGPT.
جيريمي وايت
في الشهر الماضي، تلقيت بريدًا إلكترونيًا مثيرًا للقلق من شخص لا أعرفه: روي تشو، دكتوراه. مرشح في جامعة إنديانا بلومنجتون. وأوضح أن السيد تشو حصل على عنوان بريدي الإلكتروني، لأن GPT-3.5 Turbo، وهو أحد أحدث وأقوى نماذج اللغات الكبيرة (LLM) من OpenAI، قد سلمه إليه.
تم تضمين معلومات الاتصال الخاصة بي في قائمة عناوين البريد الإلكتروني التجارية والشخصية لأكثر من 30 موظفًا في صحيفة نيويورك تايمز، والتي تمكن فريق بحث، بما في ذلك السيد تشو، من استخراجها من GPT-3.5 Turbo في خريف هذا العام. وكتب تشو أنه مع بعض العمل، تمكن الفريق من “تجاوز قيود النموذج في الرد على الاستفسارات المتعلقة بالخصوصية”.
عنوان بريدي الإلكتروني ليس سرا. لكن نجاح تجربة الباحثين يجب أن يدق ناقوس الخطر لأنه يكشف عن إمكانات ChatGPT وأدوات الذكاء الاصطناعي المولدة مثلها، للكشف عن معلومات شخصية أكثر حساسية مع القليل من التغيير والتبديل.
عندما تطرح سؤالاً على ChatGPT، فإنه لا يقوم ببساطة بالبحث في الويب للعثور على الإجابة. وبدلاً من ذلك، فهو يعتمد على ما “تعلمه” من كم هائل من المعلومات – بيانات التدريب التي تم استخدامها لتغذية النموذج وتطويره – لإنشاء نموذج. يتدرب LLMs على كميات هائلة من النصوص، والتي قد تتضمن معلومات شخصية مأخوذة من الإنترنت ومصادر أخرى. توضح بيانات التدريب هذه كيفية عمل أداة الذكاء الاصطناعي، ولكن ليس من المفترض أن يتم تذكرها حرفيًا.
من الناحية النظرية، كلما زادت البيانات التي تتم إضافتها إلى ماجستير إدارة الأعمال، كلما تم دفن ذكريات المعلومات القديمة بشكل أعمق في تجاويف النموذج. يمكن أن تؤدي العملية المعروفة باسم النسيان الكارثي إلى اعتبار LLM المعلومات التي تم تعلمها مسبقًا أقل أهمية عند إضافة بيانات جديدة. يمكن أن تكون هذه العملية مفيدة عندما تريد أن “ينسى” النموذج أشياء مثل المعلومات الشخصية. ومع ذلك، فقد وجد السيد تشو وزملاؤه – من بين آخرين – مؤخرًا أن ذكريات حاملي ماجستير العلوم، تمامًا مثل ذكريات البشر، يمكن تشغيلها.
في حالة التجربة التي كشفت عن معلومات الاتصال الخاصة بي، أعطى باحثو جامعة إنديانا GPT-3.5 Turbo قائمة قصيرة بالأسماء وعناوين البريد الإلكتروني التي تم التحقق منها لموظفي نيويورك تايمز، مما تسبب في قيام النموذج بإرجاع نتائج مماثلة استذكرها من بيانات التدريب الخاصة به. .
مثل الذاكرة البشرية، لم يكن استدعاء GPT-3.5 Turbo مثاليًا. وكان الناتج الذي تمكن الباحثون من استخلاصه لا يزال عرضة للهلوسة، وهو الميل إلى إنتاج معلومات كاذبة. في المثال الناتج الذي قدموه لموظفي Times، كانت العديد من عناوين البريد الإلكتروني الشخصية إما معطلة ببضعة أحرف أو خاطئة تمامًا. لكن 80 بالمائة من عناوين العمل التي أعادها النموذج كانت صحيحة.
تستخدم شركات مثل OpenAI وMeta وGoogle تقنيات مختلفة لمنع المستخدمين من طلب معلومات شخصية من خلال مطالبات الدردشة أو الواجهات الأخرى. تتضمن إحدى الطرق تعليم الأداة كيفية رفض طلبات المعلومات الشخصية أو غيرها من المخرجات المتعلقة بالخصوصية. سيتم رفض المستخدم العادي الذي يفتح محادثة مع ChatGPT عن طريق طلب معلومات شخصية، لكن الباحثين وجدوا مؤخرًا طرقًا لتجاوز هذه الضمانات.
الضمانات في المكان
إن مطالبة ChatGPT مباشرة بالمعلومات الشخصية لشخص ما، مثل عناوين البريد الإلكتروني أو أرقام الهواتف أو أرقام الضمان الاجتماعي، سيؤدي إلى استجابة جاهزة.
لم يكن السيد تشو وزملاؤه يعملون بشكل مباشر مع الواجهة العامة القياسية لـ ChatGPT، بل مع واجهة برمجة التطبيقات الخاصة به، أو API، والتي يمكن للمبرمجين الخارجيين استخدامها للتفاعل مع GPT-3.5 Turbo. تهدف العملية التي استخدموها، والتي تسمى الضبط الدقيق، إلى السماح للمستخدمين بمنح ماجستير إدارة الأعمال المزيد من المعرفة حول مجال معين، مثل الطب أو التمويل. ولكن كما وجد السيد تشو وزملاؤه، يمكن أيضًا استخدام هذه الأداة لإحباط بعض الدفاعات المضمنة في الأداة. تم قبول الطلبات التي يتم رفضها عادةً في واجهة ChatGPT.
قال السيد تشو: “ليس لديهم الحماية المتعلقة بالبيانات المضبوطة”.
وقال متحدث باسم OpenAI ردًا على طلب للتعليق: “من المهم جدًا بالنسبة لنا أن يكون الضبط الدقيق لنماذجنا آمنًا”. “نحن ندرب نماذجنا على رفض طلبات الحصول على معلومات خاصة أو حساسة عن الأشخاص، حتى لو كانت تلك المعلومات متاحة على الإنترنت المفتوح.”
تثير الثغرة الأمنية القلق بشكل خاص لأنه لا أحد – باستثناء عدد محدود من موظفي OpenAI – يعرف حقًا ما يكمن في ذاكرة بيانات التدريب في ChatGPT. وفقًا لموقع OpenAI الإلكتروني، فإن الشركة لا تبحث بشكل نشط عن المعلومات الشخصية أو تستخدم البيانات من “المواقع التي تجمع المعلومات الشخصية في المقام الأول” لبناء أدواتها. تشير شركة OpenAI أيضًا إلى أن حاملي شهادة الماجستير في إدارة الأعمال لا يقومون بنسخ المعلومات أو تخزينها في قاعدة بيانات: “تمامًا مثل الشخص الذي قرأ كتابًا ثم قام بتدوينه، لا تستطيع نماذجنا الوصول إلى معلومات التدريب بعد أن يتعلموا منها”.
وبعيدًا عن تأكيداتها بشأن بيانات التدريب التي لا تستخدمها، فإن OpenAI معروفة بالسرية بشأن المعلومات التي تستخدمها، فضلاً عن المعلومات التي استخدمتها في الماضي.
وقال الدكتور براتيك ميتال، الأستاذ في قسم الهندسة الكهربائية وهندسة الكمبيوتر بجامعة برينستون: «على حد علمي، لا توجد نماذج لغوية كبيرة متاحة تجاريًا تتمتع بدفاعات قوية لحماية الخصوصية».
وقال الدكتور ميتال إن شركات الذكاء الاصطناعي لم تكن قادرة على ضمان أن هذه النماذج لم تتعلم معلومات حساسة. وأضاف: “أعتقد أن هذا يمثل مخاطرة كبيرة”.
تم تصميم LLMs لمواصلة التعلم عند تقديم تدفقات جديدة من البيانات. يعد اثنان من برامج LLM الخاصة بشركة OpenAI، وهما GPT-3.5 Turbo وGPT-4، من أقوى النماذج المتاحة للعامة اليوم. تستخدم الشركة نصوص اللغة الطبيعية من العديد من المصادر العامة المختلفة، بما في ذلك مواقع الويب، ولكنها تقوم أيضًا بترخيص إدخال البيانات من أطراف ثالثة.
بعض مجموعات البيانات شائعة عبر العديد من شهادات LLM. إحداها عبارة عن مجموعة مكونة من حوالي نصف مليون رسالة بريد إلكتروني، بما في ذلك آلاف الأسماء وعناوين البريد الإلكتروني، والتي تم نشرها للعامة عندما كانت شركة إنرون قيد التحقيق من قبل منظمي الطاقة في أوائل العقد الأول من القرن الحادي والعشرين. تعد رسائل البريد الإلكتروني الخاصة بشركة Enron مفيدة لمطوري الذكاء الاصطناعي لأنها تحتوي على مئات الآلاف من الأمثلة على الطريقة التي يتواصل بها الأشخاص الحقيقيون.
أصدرت OpenAI واجهة الضبط الدقيق لـ GPT-3.5 في أغسطس الماضي، والتي قرر الباحثون أنها تحتوي على مجموعة بيانات Enron. وعلى غرار خطوات استخراج المعلومات حول موظفي التايمز، قال تشو إنه وزملاؤه الباحثون تمكنوا من استخراج أكثر من 5000 زوج من أسماء وعناوين البريد الإلكتروني لشركة إنرون، بمعدل دقة يبلغ حوالي 70 بالمائة، من خلال توفير 10 معلومات معروفة فقط. أزواج.
وقال الدكتور ميتال إن مشكلة المعلومات الخاصة في ماجستير إدارة الأعمال التجارية تشبه تدريب هذه النماذج بمحتوى متحيز أو سام. وقال: “ليس هناك سبب لتوقع أن النموذج الناتج سيكون خاصًا أو لن يسبب أي ضرر بطريقة سحرية”.
[ad_2]
المصدر