Long One Uncensored: คู่มือข้อผิดพลาดทั่วไป

กับดักบริบทของโมเดล 'Long One Uncensored'

ขีดจำกัดหน้าต่างบริบทเป็นคอขวดหลักเมื่อรันเซสชัน uncensored แบบยาว โมเดลประมวลผลทั้ง prompt และ completion รวมกัน ทำให้หน้าต่าง 100,000 tokens หายไปอย่างรวดเร็วหาก output ยาว หากแอปของคุณส่ง system prompt ขนาดใหญ่ พื้นที่สำหรับประวัติการสนทนาจะลดลง ซึ่งมักนำไปสู่ข้อผิดพลาดจากการตัดข้อความหรือการสูญเสียข้อมูลแบบเงียบใน tokens เก่า

นักพัฒนาต้องติดตามจำนวนโทเค็นอย่างระมัดระวัง คำขอเดียวไม่สามารถเกินขีดจำกัดแข็งของหน้าต่างบริกได้ หากคุณกำลังสร้างแชทบอทที่เก็บประวัติการสนทนา คุณต้องนำกลยุทธ์หน้าต่างเลื่อนหรือการสรุปข้อมูลไปใช้ มิฉะนั้น API จะปฏิเสธคำขอที่ผลักจำนวนโทเค็นรวมสูงเกินไป นี่ไม่ใช่ข้อบกพร่อง แต่เป็นขีดจำกัดทางกายภาพของสถาปัตยกรรมทรานส์ฟอร์มเมอร์

ใช้ GET /v1/models เพื่อตรวจสอบขีดจำกัดปัจจุบันของคุณ การรู้จำนวน token input และ output ที่แน่นอนของคุณช่วยให้คุณคาดการณ์ได้ว่าเมื่อใดที่หน้าต่างจะเต็ม วางแผนการจัดการหน่วยความจำของคุณก่อนเริ่มสตรีมคำตอบที่ยาว

ทำไมสตรีมของคุณหยุดก่อนกำหนด

การสตรีมหยุดก่อนกำหนดเพราะเซิร์ฟเวอร์ปิดการเชื่อมต่อก่อนที่โมเดลจะสร้างเสร็จ มักเกิดเมื่อไคลเอนต์ตัดการเชื่อมต่อเร็วเกินไป หรือเมื่อไทม์เอาต์เครือข่ายกระตุ้น ในโมเดล uncensored การสร้างอาจคาดเดาไม่ได้ นำไปสู่เอาท์พุตที่ยาวกว่าซึ่งเกินไทม์เอาต์ไคลเอนต์เริ่มต้น

คุณต้องเขียนลอจิกการเรียกซ้ำที่แข็งแกร่งสำหรับสตรีมที่ไม่สมบูรณ์ ตรวจสอบชิ้นสุดท้ายเพื่อดูฟิลด์ 'finish_reason' หากเป็น 'length' แสดงว่าโมเดลชนกับขีดจำกัด max_tokens หากเป็น 'stop' แสดงว่าโมเดลทำงานเสร็จสมบูรณ์ หากเป็น 'content_filter' แสดงว่ามีการชนกับขีดจำกัดเนื้อหา เช่น ข้อจำกัดเนื้อหาเล็กน้อย

ควรอ่านสถิติการใช้งานจากชิ้นสุดท้ายเสมอ หากคุณละเลยชิ้นสุดท้าย คุณจะสูญเสียจำนวนโทเค็น ซึ่งทำให้การเรียกเก็บเงินและการตรวจสอบที่แม่นยำเป็นไปไม่ได้ ตรวจสอบให้แน่ใจว่าไลบรารีไคลเอนต์ของคุณจัดการเหตุการณ์ SSE ได้ถูกต้อง อย่าสันนิษฐานว่าสตรีมจะเสร็จสมบูรณ์ในครั้งเดียว

ความล้มเหลวของโหมด JSONในโมเดลแบบ uncensored

โหมด JSON ล้มเหลวเมื่อโมเดลแบบไม่มีเซนเซอร์เพิกเฉยต่อคำแนะนำการจัดรูปแบบของคุณ โดยไม่มีกฎเกณฑ์ที่เข้มงวด โมเดลอาจเพิ่มบล็อกโค้ดมาร์กดาวน์หรือข้อความอธิบายรอบวัตถุ JSON ซึ่งทำให้โปรแกรมที่คาดหวัง JSON ล้วนๆ ทำงานผิดพลาด

ใช้พารามิเตอร์ response_format ที่ตั้งค่าเป็น json_object สิ่งนี้บังคับให้โมเดลเอาต์พุต JSON ที่ถูกต้อง อย่างไรก็ตาม แม้จะมีการตั้งค่านี้ คุณควรตรวจสอบเอาต์พุต โมเดล uncensored มีความสร้างสรรค์ และความสร้างสรรค์อาจนำไปสู่ข้อผิดพลาดไวยากรณ์ Always wrap your parsing logic in a try-catch block.

หากโมเดลทำงานผิดพลาด ให้ลองปรับค่า temperature โดยค่าที่ต่ำกว่าจะลดความสุ่มและปรับปรุงความสอดคล้องของโครงสร้าง การตั้งค่า temperature สูงทำให้โมเดลมีแนวโน้มที่จะสร้างวงเล็บหรือเครื่องหมายคำพูดผิดพลาดมากขึ้น ควรทดสอบ prompt ของคุณอย่างละเอียดก่อนนำไปใช้งานจริง การเปลี่ยนแปลงเล็กน้อยใน system prompt สามารถปรับปรุงความน่าเชื่อถือของ JSON ได้อย่างมาก

การจัดการการปฏิเสธใน API แบบไม่มีเซนเซอร์

การปฏิเสธยังคงเกิดขึ้นใน API ไร้เซนเซอร์เนื่องจากข้อจำกัดเนื้อหาที่เขียนตายตัว การปฏิเสธที่พบบ่อยที่สุดคือเนื้อหาทางเพศที่เกี่ยวข้องกับเด็ก นี่คือกฎที่ไม่สามารถต่อรองได้ที่ใช้กับคำขอทั้งหมด หัวข้ออื่นๆ เช่น ความรุนแรงหรือความเห็นที่ถกเถียงกันมักอนุญาต

ตรวจสอบ field finish_reason ใน response API ของคุณ หากบ่งชี้ถึงการปฏิเสธ ให้ตรวจสอบ prompt เพื่อหาตัวกระตุ้น บางครั้งคำเฉพาะหรือรูปแบบประโยคสามารถเปิดใช้งานตัวกรองได้ ปรับ prompt ของคุณเพื่อหลีกเลี่ยงตัวกระตุ้นเหล่านี้หากเป็นไปได้

อย่าสันนิษฐานว่า 'uncensored' หมายถึง 'ไม่มีกฎ' มันหมายถึงมีกฎน้อยกว่าโมเดลมาตรฐาน โมเดลถูกปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย เข้าใจความแตกต่างนี้ สิ่งนี้ช่วยให้คุณออกแบบกลไกสำรองที่ดีขึ้นสำหรับแอปพลิเคชันของคุณ จัดการการปฏิเสธอย่างสุภาพโดยการบันทึกเหตุการณ์เพื่อวิเคราะห์

ขีดจำกัดโทเค็น: อินพุตเทียบกับเอาต์พุต

ขีดจำกัดจำนวนโทเค็นสำหรับอินพุตและเอาต์พุตนั้นแตกต่างกัน คุณสามารถส่งคำสั่งอินพุตขนาดใหญ่ได้ แต่เอาต์พุตจะถูกจำกัดไว้ที่ 16,000 โทเค็นต่อคำขอ หากไม่ได้ตั้งค่า max_tokens ค่าเริ่มต้นคือ 2,048 โทเค็น ซึ่งค่าเริ่มต้นนี้มักสั้นเกินไปสำหรับงานที่ซับซ้อน

กำหนดค่า max_tokens ให้ชัดเจนเสมอ เพื่อป้องกันค่าใช้จ่ายที่ไม่คาดคิดและรับประกันความยาวของผลลัพธ์ที่คาดการณ์ได้ โมเดลแบบ uncensored มีแนวโน้มที่จะสร้าง token มากกว่าโมเดลที่เข้มงวด และหยุดได้ยากกว่า หากคุณต้องการคำตอบที่ยาว ให้ตั้งค่า max_tokens ให้สูงขึ้น แต่จำไว้ว่า token ทั้งหมด (input + output) ต้องอยู่ใน context window ขนาด 100,000

ตรวจสอบการใช้งานโทเค็นของคุณอย่างใกล้ชิด เครดิตพรีเพย์ถูกคิดตามการใช้งานโทเค็นจริง ข้อผิดพลาดนั้นฟรี แต่การเสร็จสิ้นที่สำเร็จมีค่าใช้จ่าย การรู้ขีดจำกัดโทเค็นของคุณช่วยให้คุณวางแผนงบประมาณได้อย่างแม่นยำ หลีกเลี่ยงการส่งอินพุตขนาดใหญ่หากคุณต้องการเอาต์พุตสั้นๆ

Parameter Tuning for 'Unhinged' Outputs

Parameter tuning controls the creativity and randomness of the model. Temperature and top_p are the most important settings. Higher temperature values make the output more random and creative. Lower values make it more deterministic and focused.

สำหรับเอาต์พุตแบบ 'ไม่ยึดติด' ให้ใช้อุณหภูมิที่สูงขึ้น สิ่งนี้กระตุ้นให้โมเดลสำรวจหัวข้อและรูปแบบที่พบน้อยกว่า ใช้ top_p เพื่อควบคุมความหลากหลายของคำศัพท์ ค่า top_p ต่ำจะจำกัดโมเดลให้ใช้ token ที่เป็นไปได้มากที่สุด ค่าสูงอนุญาตให้เลือกคำที่หลากหลายมากขึ้น

ทดลองใช้พารามิเตอร์เหล่านี้เพื่อหาจุดสมดุลที่เหมาะสม อุณหภูมิที่สูงเกินไปอาจนำไปสู่ข้อความที่ไร้ความหมาย อุณหภูมิต่ำเกินไป และโมเดลจะซ้ำซาก ใช้พารามิเตอร์ seed เพื่อความสามารถในการทำซ้ำ สิ่งนี้มีประโยชน์สำหรับการดีบัก อินพุตที่สอดคล้องกันควรให้ผลลัพธ์ที่สอดคล้องกันเมื่อ seed ถูกตรึง

อัตราจำกัดและการจราจรแบบพุ่งสูง

อัตราการใช้งานปกป้อง API จากภาระเกินขีดจำกัด คุณจำกัดอยู่ที่ 300 คำขอต่อนาทีต่อคีย์ คุณยังสามารถมีคำขอ 8 คำขอพร้อมกันได้ หากเกินขีดจำกัดเหล่านี้ API จะส่งกลับข้อผิดพลาด 429

การจราจรแบบ Burst สามารถทำให้ขีดจำกัดอัตราของคุณหมดลงอย่างรวดเร็ว ให้ใช้การกลับใหม่แบบเอกซ์โพเนนเชียลในตรรกะการเรียกซ้ำของคุณ สิ่งนี้ป้องกันไม่ให้แอปพลิเคชันของคุณส่งข้อมูลไปยัง API มากเกินไปในช่วงเวลาที่มีการใช้งานสูง ตรวจสอบอัตราคำขอของคุณเพื่อให้อยู่ในขีดจำกัด หากคุณต้องการขีดจำกัดที่สูงขึ้น ให้พิจารณาใช้คีย์หลายรายการ แต่แต่ละบัญชีจะได้รับเพียงคีย์เดียวที่ใช้งานได้ในเวลาเดียวกัน

คีย์ใหม่จะแทนที่คีย์เก่า ซึ่งหมายความว่าคุณไม่สามารถปรับขนาดได้ง่ายๆ โดยการเพิ่มคีย์มากขึ้นโดยไม่จัดการกระบวนการแทนที่ วางแผนรูปแบบการจราจรของคุณตามนั้น ใช้การโหลดบาลานซ์หากคุณมีไคลเอนต์หลายตัว ตรวจสอบให้แน่ใจว่าแอปพลิเคชันของคุณจัดการข้อผิดพลาด 429 ได้อย่างราบรื่น

การแก้ไขข้อผิดพลาดการเรียกใช้ฟังก์ชัน

ข้อผิดพลาดการเรียกฟังก์ชันเกิดขึ้นเมื่อโมเดลไม่สามารถสร้างคำจำกัดเครื่องมือที่ถูกต้อง มักเกิดกับสคีมาที่ซับซ้อนหรือคำแนะนำที่คลุมเครือ โมเดลแบบ uncensored อาจเพิกเฉยต่อสคีมาและสร้างข้อความแบบอิสระแทน

ใช้พารามิเตอร์ tools เพื่อกำหนดฟังก์ชันของคุณ ให้คำอธิบายที่ชัดเจนสำหรับเครื่องมือแต่ละตัว โมเดลจำเป็นต้องเข้าใจเมื่อควรเรียกฟังก์ชันแต่ละฟังก์ชัน หากโมเดลล้มเหลว ให้ตรวจสอบการตอบกลับสำหรับข้อความแสดงข้อผิดพลาด API จะระบุหาก JSON ไม่ถูกต้อง

ทดสอบการเรียกใช้ฟังก์ชันของคุณด้วยอินพุตง่ายๆ ก่อนแล้วค่อยเพิ่มความซับซ้อน หากโมเดลมีปัญหา ให้ลดความซับซ้อนของสเกมา ใช้พารามิเตอร์ให้น้อยลง คำสั่งที่ชัดเจนกว่านำไปสู่การเรียกใช้ฟังก์ชันที่ดีขึ้น ตรวจสอบการเรียกใช้เครื่องมือก่อนดำเนินการเสมอ สิ่งนี้ป้องกันข้อผิดพลาดรันไทม์ในแอปพลิเคชันของคุณ

ข้อบกพร่องทั่วไปของโมเดล 'Abliterated'

โมเดล 'Abliterated' มักแสดงลักษณะเฉพาะที่โดดเด่น อาจมีการทำซ้ำวลีหรือสูญเสียความสอดคล้องในบริบทที่ยาวนาน สิ่งนี้เกิดจากกระบวนการฝึกที่ลบตัวกรองความปลอดภัย โมเดลจะให้ความสำคัญกับการตอบคำถามมากกว่าโครงสร้าง

ระวังผลลัพธ์ที่ซ้ำกัน หากโมเดลทำซ้ำประโยคเดียวกัน ให้ปรับพารามิเตอร์ frequency_penalty สิ่งนี้ทำให้โมเดลไม่ทำซ้ำโทเค็น ค่า frequency_penalty ที่สูงขึ้นจะลดการทำซ้ำ อย่างไรก็ตาม ค่าที่สูงเกินไปอาจทำให้ข้อความฟังดูเป็นหุ่นยนต์

ข้อบกพร่องเหล่านี้เป็นเรื่องปกติสำหรับโมเดลแบบ uncensored พวกมันไม่ใช่ข้อบกพร่อง พวกมันเป็นผลมาจากการฝึกโมเดล เข้าใจพฤติกรรมเหล่านี้เพื่อออกแบบประสบการณ์ผู้ใช้ที่ดีขึ้น ให้กลไกการตอบกลับที่ชัดเจน อนุญาตให้ผู้ใช้สร้างการตอบสนองใหม่หากเอาท์พุตไม่ดีสิ่งนี้ปรับปรุงประสบการณ์โดยรวม