Fabrice AI: বর্তমান প্রযুক্তিগত বাস্তবায়ন

শেষ পোস্টে, Fabrice AI: The Technical Journey আমি ব্যাখ্যা করেছি যে যাত্রার মধ্য দিয়ে আমরা Fabrice AI নির্মাণের মাধ্যমে একটি পূর্ণ বৃত্ত তৈরি করেছি। আমি চ্যাট জিপিটি 3 এবং 3.5 ব্যবহার করে শুরু করেছি। ফলাফলে হতাশ হয়ে, আমি ল্যাংচেইন ফ্রেমওয়ার্ক ব্যবহার করার চেষ্টা করেছি এর উপরে আমার নিজস্ব AI মডেল তৈরি করার জন্য, Chat GPT-এ ফিরে আসার আগে একবার তারা ভেক্টর ডেটাবেস ব্যবহার করা শুরু করে এবং 4o এর সাথে ব্যাপকভাবে ফলাফলগুলি উন্নত করে।

এখানে Fabrice AI প্রশিক্ষণের বর্তমান প্রক্রিয়া রয়েছে:

  • প্রশিক্ষণের ডেটা (ব্লগ পোস্ট, ইউটিউব ইউআরএল, পডকাস্ট ইউআরএল, পিডিএফ ইউআরএল এবং ইমেজ ইউআরএল) আমাদের ওয়ার্ডপ্রেস ডাটাবেসে সংরক্ষিত আছে।
  • আমরা ডেটা বের করি এবং এটি গঠন করি।
  • সহকারী API ব্যবহার করে প্রশিক্ষণের জন্য আমরা ওপেন AI-তে স্ট্রাকচার্ড ডেটা প্রদান করি।
  • ওপেন এআই তারপর একটি ভেক্টর স্টোর ডাটাবেস তৈরি করে এবং এটি সংরক্ষণ করে।

এখানে স্ট্রাকচার্ড ডেটার একটি অংশের উদাহরণ দেওয়া হল। কন্টেন্টের প্রতিটি অংশের নিজস্ব JSON ফাইল আছে। আমরা নিশ্চিত করি যে 32,000 টোকেন সীমা অতিক্রম না করে।

{

“id”: “1”,

“তারিখ”: “”,

“লিঙ্ক”:”https://fabricegrinda.com/”,

“শিরোনাম”: {

“rendered”: “Fabrice AI কি?”

  },

“বিভাগ”: “ফ্যাব্রিস সম্পর্কে”,

“featured_media”: “https://fabricegrinda.com/wp-content/uploads/2023/12/About-me.png”,

“other_media”: “”,

“knowledge_type”: “ব্লগ”,

“contentUpdated”: “Fabrice AI হল তার ব্লগ পোস্ট এবং ChatGPT ব্যবহার করে প্রতিলিপি করা পডকাস্ট এবং সাক্ষাত্কারের উপর ভিত্তি করে Fabrice এর চিন্তাধারার একটি ডিজিটাল উপস্থাপনা। প্রদত্ত যে অনেক ট্রান্সক্রিপশন অসম্পূর্ণভাবে প্রতিলিপি করা হয়েছে এবং ব্লগটি ফেব্রিসের ব্যক্তির একটি সীমিত উপস্থাপনা। , আমরা ভুলত্রুটি এবং অনুপস্থিত তথ্যের জন্য ক্ষমাপ্রার্থী অনেক বিষয়ে ফ্যাব্রিসের চিন্তাভাবনা পেতে একটি ভাল সূচনা পয়েন্ট।”

}

বর্তমান প্রযুক্তিগত বাস্তবায়ন হল:

  • ভোক্তার মুখোমুখি ওয়েবসাইটটি AWS Amplify- এ হোস্ট করা হয়েছে।
  • পাবলিক সাইট এবং ওপেন এআই-এর মধ্যে ইন্টিগ্রেশন একটি এপিআই লেয়ারের মাধ্যমে করা হয়, যা পাইথন এপিআই সার্ভার হিসেবে AWS-এ হোস্ট করা হয়।
  • জনসাধারণের জিজ্ঞাসা করা সমস্ত প্রশ্ন, চ্যাট জিপিটি দ্বারা প্রদত্ত উত্তর এবং উত্সগুলির URL সংরক্ষণ করতে আমরা লগ হিসাবে MongoDB ব্যবহার করি।
  • আমরা প্রশিক্ষণের জন্য ওপেন এআই-এ পাস করার জন্য ব্লগ, ইউটিউব, ইত্যাদি থেকে ডেটা গঠন করতে বিভিন্ন স্ক্রিপ্ট ব্যবহার করি।
  • ভয়েস জিজ্ঞাসাকে পাঠ্যে রূপান্তর করতে আমরা প্রতিক্রিয়া-বক্তৃতা স্বীকৃতি ব্যবহার করি।
  • আমরা ওয়েবসাইট ট্র্যাফিক ট্র্যাক করতে Google Analytics ব্যবহার করি।

এটা মনে রাখা গুরুত্বপূর্ণ যে আমরা দুটি সহকারী ব্যবহার করি:

  • প্রশ্নের উত্তর দেওয়ার জন্য একটি।
  • একটি মেটাডেটা ইউআরএল পাওয়ার জন্য, যে ব্লগের ইউআরএলে মূল বিষয়বস্তু আছে উত্তরের নিচের দিকে সোর্স দেখানোর জন্য।

এরপর কি?

  1. স্পিচ-টু-টেক্সট উন্নতি

স্পীচ টু টেক্সটের জন্য ওপেন এআই-এর হুইস্পার মডেল প্রতিক্রিয়ার চেয়ে বেশি সঠিক। এটি বাক্সের বাইরে একাধিক ভাষা সমর্থন করে এবং এটি মিশ্র ভাষার বক্তৃতা, উচ্চারণ এবং উপভাষাগুলি পরিচালনা করতে ভাল। ফলস্বরূপ, আমি সম্ভবত আগামী মাসে এটিতে চলে যাব। এটি বলেছিল যে এটি সেট আপ করা আরও জটিল তাই এটি কিছুটা সময় হতে পারে। আপনাকে মডেল পরিচালনা করতে হবে, নির্ভরতাগুলি পরিচালনা করতে হবে (যেমন, পাইথন, লাইব্রেরি), এবং দক্ষ কর্মক্ষমতার জন্য আপনার পর্যাপ্ত হার্ডওয়্যার রয়েছে তা নিশ্চিত করতে হবে। এছাড়াও, হুইস্পার ব্রাউজারে সরাসরি ব্যবহারের জন্য ডিজাইন করা হয়নি। একটি ওয়েব অ্যাপ তৈরি করার সময়, আপনাকে ট্রান্সক্রিপশন পরিচালনা করার জন্য একটি ব্যাকএন্ড পরিষেবা তৈরি করতে হবে যা জটিলতা যোগ করে।

  • ফেব্রিস এআই অবতার

আমি একটি Fabrice AI অবতার তৈরি করতে চাই যা দেখতে আমার মতো এবং শব্দ করে যার সাথে আপনি কথোপকথন করতে পারেন। আমি ডি-আইডি মূল্যায়ন করেছি কিন্তু আমার উদ্দেশ্যে এটি খুব ব্যয়বহুল বলে মনে হয়েছে। ইলেভেন ল্যাবস শুধুমাত্র ভয়েস। সিন্থেসিয়া দুর্দান্ত কিন্তু বর্তমানে রিয়েল টাইমে ভিডিও তৈরি করে না। শেষ পর্যন্ত আমি আরও উপযুক্ত মূল্য এবং কার্যকারিতা দেওয়া HeyGen ব্যবহার করার সিদ্ধান্ত নিয়েছি।

আমি সন্দেহ করি যে এক পর্যায়ে ওপেন এআই তার নিজস্ব সমাধান প্রকাশ করবে তাই এই কাজটি নিষ্ফল হবে। আমি এতে স্বাচ্ছন্দ্য বোধ করছি এবং ওপেন এআই সলিউশনে স্যুইচ করব যখন এটি আসে। এই পর্যায়ে এই পুরো অনুশীলনের মূল বিষয় হল AI দিয়ে কী সম্ভব এবং স্থানটি আরও ভালভাবে বুঝতে আমাকে সাহায্য করার জন্য কতটা পরিশ্রম করা প্রয়োজন তা শেখা।

  • কাস্টম ড্যাশবোর্ড

এই মুহূর্তে, দিনের প্রশ্ন ও উত্তরগুলির একটি নির্যাস পেতে আমাকে একটি MongoDB কোয়েরি চালাতে হবে। আমি একটি সাধারণ ড্যাশবোর্ড তৈরি করছি যেখানে আমি প্রতি ভাষার প্রশ্নের সংখ্যা, স্পিচ-টু-টেক্সট অনুরোধের সংখ্যা ইত্যাদির উপর এক্সট্রাকশন এবং সাধারণ পরিসংখ্যান পেতে পারি।

  • অতিরিক্ত তথ্য উত্স

আমরা এইমাত্র Fabrice AI-তে FJ ল্যাবস পোর্টফোলিও আপলোড করেছি। আপনি এখন জিজ্ঞাসা করতে পারেন একটি কোম্পানি পোর্টফোলিওর অংশ কিনা। Fabrice AI কোম্পানির একটি সংক্ষিপ্ত বিবরণ এবং তার ওয়েবসাইটের একটি লিঙ্ক সহ উত্তর দেয়।

Fabrice AI-এর কাছে যতগুলি ব্যক্তিগত প্রশ্ন ছিল তার উত্তর না থাকায়, আমি আমার 50 তম জন্মদিনের ভিডিওতে প্রতিটি স্পিকারের প্রয়োজনীয় বিষয়বস্তু দেওয়ার জন্য ম্যানুয়ালি ট্যাগ করার জন্য সময় নিয়েছিলাম।

উপসংহার

AI সম্পর্কিত সমস্ত বিষয়ে আমি গত বারো মাসে যে সমস্ত কাজ করেছি, সেখানে একটি সুস্পষ্ট সর্বজনীন উপসংহার বলে মনে হচ্ছে: আপনি যত বেশি অপেক্ষা করবেন, তত সস্তা, সহজ এবং আরও ভাল হবে এবং Open AI অফার করার সম্ভাবনা তত বেশি এটা! এই সময়ের মধ্যে, আপনার কোন প্রশ্ন থাকলে আমাকে জানান।

ফ্যাব্রিস এআই: টেকনিক্যাল জার্নি

যেমনটি আমি আগের পোস্টে উল্লেখ করেছি, Fabrice AI এর বিকাশ প্রত্যাশিত থেকে অনেক বেশি জটিল প্রমাণিত হয়েছে, আমাকে বিভিন্ন পদ্ধতির অন্বেষণ করতে বাধ্য করেছে।

প্রাথমিক পদ্ধতি: লামা সূচক – ভেক্টর অনুসন্ধান

Fabrice AI এর পুনরুদ্ধার ক্ষমতা বাড়ানোর জন্য আমার প্রথম অভিযানটি ভেক্টর অনুসন্ধানের জন্য লামা সূচকের ব্যবহার জড়িত। ধারণাটি সহজ ছিল: আমার ব্লগ থেকে বিষয়বস্তু নিন, এটি ল্যাংচেইন নথিতে রূপান্তর করুন এবং তারপরে এগুলিকে লামা নথিতে রূপান্তর করুন৷ এই Llama নথিগুলি তখন একটি ভেক্টর সূচকে সংরক্ষণ করা হবে, যা আমাকে প্রাসঙ্গিক তথ্যের জন্য এই সূচকটি জিজ্ঞাসা করতে সক্ষম করে।

যাইহোক, আমি সিস্টেমটি পরীক্ষা করতে শুরু করার সাথে সাথে, এটি স্পষ্ট হয়ে উঠল যে এই পদ্ধতিটি আমি আশা করেছিলাম এমন ফলাফল দিচ্ছে না। বিশেষ করে, যখন আমি প্রসঙ্গ-ভারী প্রশ্নগুলির সাথে সিস্টেমটি জিজ্ঞাসা করি যেমন “মার্কেটপ্লেস প্রতিষ্ঠাতারা সবচেয়ে বড় ভুলগুলি কী করে?” এআই অর্থপূর্ণ উত্তর দিতে ব্যর্থ হয়েছে। আমি জানতাম যে সংক্ষিপ্ত বিষয়বস্তু ডেটাতে এম্বেড করা হয়েছে তা পুনরুদ্ধার করার পরিবর্তে, এটি অপ্রাসঙ্গিক বা অসম্পূর্ণ প্রতিক্রিয়া ফিরিয়ে দিয়েছে।

এই প্রাথমিক ব্যর্থতা আমাকে আমার পদ্ধতির পুনর্বিবেচনা করতে পরিচালিত করেছিল। আমি বুঝতে পেরেছিলাম যে কেবল ভেক্টর সূচকে সামগ্রী সংরক্ষণ করা যথেষ্ট নয়; জিজ্ঞাসা করা প্রশ্নগুলির প্রেক্ষাপট এবং সূক্ষ্মতা বোঝার জন্য পুনরুদ্ধার প্রক্রিয়া প্রয়োজন। এই উপলব্ধিটি অনেক পাঠের মধ্যে প্রথম যা Fabrice AI এর বিবর্তনকে রূপ দেবে।

সঞ্চয় জ্ঞান: MongoDB ডকুমেন্ট স্টোরেজ এবং পুনরুদ্ধার

লামা সূচক পদ্ধতির সীমাবদ্ধতা মাথায় রেখে, আমি পরবর্তীতে মঙ্গোডিবি-তে লামা নথি সংরক্ষণ করার বিষয়ে অনুসন্ধান করেছি। MongoDB-এর নমনীয় স্কিমা এবং ডকুমেন্ট-ভিত্তিক কাঠামো আমি বছরের পর বছর ধরে জমে থাকা বিভিন্ন ধরণের সামগ্রী পরিচালনা করার জন্য একটি প্রতিশ্রুতিশীল সমাধান বলে মনে হচ্ছে।

পরিকল্পনাটি ছিল আরও গতিশীল এবং প্রতিক্রিয়াশীল অনুসন্ধান অভিজ্ঞতা তৈরি করা। যাইহোক, এই পদ্ধতিটি দ্রুত সমস্যার মধ্যে পড়েছিল। অনুসন্ধান কার্যকারিতা, যা আমি আরো শক্তিশালী হতে প্রত্যাশিত ছিল, প্রত্যাশিত হিসাবে কাজ করতে ব্যর্থ হয়েছে. যে প্রশ্নগুলির পরিবর্তে প্রাসঙ্গিক নথিগুলি ফেরত দেওয়া উচিত ছিল সেগুলি কোনও ফলাফল বা অপ্রাসঙ্গিক সামগ্রী দেয়নি৷

এই বিপত্তিটি হতাশাজনক ছিল, কিন্তু এটি একটি সমালোচনামূলক পাঠকেও আন্ডারস্কোর করেছে: স্টোরেজ পদ্ধতিটি পুনরুদ্ধার কৌশলের মতোই গুরুত্বপূর্ণ। আমি অন্যান্য বিকল্পগুলি বিবেচনা করতে শুরু করেছি, যেমন ভেক্টর অনুসন্ধানের জন্য MongoDB Atlas ব্যবহার করা, যা সম্ভাব্যভাবে আমার প্রয়োজনীয় নির্ভুলতা এবং মাপযোগ্যতা প্রদান করতে পারে। যাইহোক, এই বিকল্পে প্রতিশ্রুতিবদ্ধ হওয়ার আগে, আমি আরও কার্যকর সমাধান হতে পারে কিনা তা নির্ধারণ করতে অন্যান্য পদ্ধতিগুলি অন্বেষণ করতে চেয়েছিলাম।

মেটাডেটা রিট্রিভার এবং ভেক্টর স্টোর: নির্দিষ্টতা খোঁজা

আমি অন্বেষণ করা পরবর্তী উপায়গুলির মধ্যে একটি হল একটি ভেক্টর স্টোরের সাথে মিলিত একটি মেটাডেটা পুনরুদ্ধারের ব্যবহার। এই পদ্ধতির পিছনে ধারণাটি ছিল Fabrice AI-এর মধ্যে তথ্যের বিশাল অ্যারেকে শ্রেণীবদ্ধ করা এবং তারপর এই বিভাগগুলির উপর ভিত্তি করে উত্তরগুলি পুনরুদ্ধার করা। মেটাডেটা দিয়ে ডেটা গঠন করার মাধ্যমে, আমি সুনির্দিষ্ট, লক্ষ্যযুক্ত উত্তর প্রদান করার জন্য AI এর ক্ষমতা উন্নত করার আশা করেছিলাম।

তবুও, এই পদ্ধতিরও তার সীমাবদ্ধতা ছিল। যদিও এটি পৃষ্ঠে প্রতিশ্রুতিশীল বলে মনে হয়েছিল, AI সমস্ত ধরণের প্রশ্নের সঠিক উত্তর দেওয়ার জন্য লড়াই করেছিল। উদাহরণস্বরূপ, যখন আমি জিজ্ঞাসা করি, “লেখক কি আশাবাদী?” সিস্টেমটি প্রাসঙ্গিক বিষয়বস্তুর প্রসঙ্গে প্রশ্নটি ব্যাখ্যা করতে ব্যর্থ হয়েছে। মেটাডেটার উপর ভিত্তি করে একটি অন্তর্দৃষ্টিপূর্ণ বিশ্লেষণ প্রদানের পরিবর্তে, এটি হয় অস্পষ্ট উত্তর ফিরিয়ে দেয় বা কোনটিই নয়।

এই পদ্ধতিটি আমাকে AI-তে প্রসঙ্গের গুরুত্ব সম্পর্কে একটি মূল্যবান পাঠ শিখিয়েছে। শুধু তথ্য শ্রেণীবদ্ধ করাই যথেষ্ট নয়; এআইকে অবশ্যই বুঝতে হবে যে কীভাবে এই বিভাগগুলি ইন্টারঅ্যাক্ট করে এবং বিষয়বস্তুর সমন্বিত বোঝার জন্য ওভারল্যাপ করে। বোঝার এই গভীরতা ব্যতীত, এমনকি সবচেয়ে পরিশীলিত পুনরুদ্ধারের পদ্ধতিগুলিও কম হতে পারে।

স্ট্রাকচারিং নলেজ: The SummaryTreeIndex

আমি যখন Fabrice AI পরিমার্জন করতে থাকি, আমি একটি SummaryTreeIndex তৈরি করে পরীক্ষা করেছিলাম। এই পদ্ধতির লক্ষ্য ছিল সমস্ত নথিকে একটি ট্রি ফরম্যাটে সংক্ষিপ্ত করা, এআই-কে এই সারাংশগুলির মাধ্যমে নেভিগেট করতে এবং বিষয়বস্তুর কাঠামোর উপর ভিত্তি করে প্রাসঙ্গিক তথ্য পুনরুদ্ধার করার অনুমতি দেয়।

ধারণাটি ছিল নথিগুলির সংক্ষিপ্তকরণের মাধ্যমে, এআই দ্রুত মূল পয়েন্টগুলি সনাক্ত করতে পারে এবং সংক্ষিপ্ত, সঠিক তথ্য সহ প্রশ্নের উত্তর দিতে পারে। যাইহোক, এই পদ্ধতিটিও উল্লেখযোগ্য চ্যালেঞ্জের সম্মুখীন হয়েছিল। AI জটিল প্রশ্নের অর্থপূর্ণ উত্তর দিতে সংগ্রাম করেছে, যেমন “জীবনের গুরুত্বপূর্ণ সিদ্ধান্তগুলি কীভাবে নেওয়া যায়?” সারাংশের মধ্যে সঞ্চিত সমৃদ্ধ, সূক্ষ্ম বিষয়বস্তু থেকে আঁকার পরিবর্তে, AI এর প্রতিক্রিয়াগুলি প্রায়শই অগভীর বা অসম্পূর্ণ ছিল।

এই অভিজ্ঞতাটি AI-তে প্রস্থ এবং গভীরতার ভারসাম্য বজায় রাখার অসুবিধার উপর জোর দিয়েছে। যদিও সারাংশগুলি একটি উচ্চ-স্তরের ওভারভিউ প্রদান করতে পারে, তারা প্রায়শই আরও জটিল প্রশ্নের উত্তর দেওয়ার জন্য প্রয়োজনীয় বিশদ প্রেক্ষাপটের অভাব করে। আমি বুঝতে পেরেছিলাম যে যেকোন কার্যকর সমাধানের জন্য বিশদ বিষয়বস্তু এবং উচ্চ-স্তরের সারসংক্ষেপ উভয়ই একীভূত করতে হবে, যা এআইকে প্রয়োজন অনুসারে উভয়ের উপর আঁকতে দেয়।

এই কারণেই Fabrice AI-এর সংস্করণে যা বর্তমানে লাইভ রয়েছে, আমি আরও বিশদে যাওয়ার আগে AI প্রথমে উত্তরের একটি সারসংক্ষেপ দিয়েছি।

প্রসারিত দিগন্ত: জ্ঞান গ্রাফ সূচক

পূর্ববর্তী পদ্ধতিগুলির সীমাবদ্ধতাগুলি স্বীকার করে, আমি আরও পরিশীলিত পদ্ধতির দিকে ফিরে এসেছি: জ্ঞান গ্রাফ সূচক৷ এই পদ্ধতির মধ্যে অসংগঠিত পাঠ্য থেকে একটি জ্ঞান গ্রাফ তৈরি করা জড়িত, যা এআইকে সত্তা-ভিত্তিক অনুসন্ধানে নিযুক্ত করতে সক্ষম করে। লক্ষ্য ছিল বিষয়বস্তুর আরও গতিশীল এবং আন্তঃসংযুক্ত বোঝাপড়া তৈরি করা, যাতে Fabrice AI জটিল, প্রসঙ্গ-ভারী প্রশ্নের উত্তর আরও কার্যকরভাবে উত্তর দিতে পারে।

তার প্রতিশ্রুতি সত্ত্বেও, জ্ঞান গ্রাফ সূচক উল্লেখযোগ্য বাধার সম্মুখীন হয়েছে। AI সঠিক ফলাফল তৈরি করতে সংগ্রাম করেছে, বিশেষ করে এমন প্রশ্নের জন্য যার প্রেক্ষাপটের গভীর বোঝার প্রয়োজন। উদাহরণস্বরূপ, যখন জিজ্ঞাসা করা হয়, “ন্যায্য বীজ এবং সিরিজ A মূল্যায়ন কি?” AI আবার একটি প্রাসঙ্গিক উত্তর দিতে ব্যর্থ হয়েছে, একটি সুসংগত জ্ঞান গ্রাফে অসংগঠিত পাঠ্যকে একীভূত করার অসুবিধা হাইলাইট করে।

এই পদ্ধতিটি, শেষ পর্যন্ত ব্যর্থ হলেও, AI-তে জ্ঞান গ্রাফ ব্যবহার করার চ্যালেঞ্জগুলির মধ্যে গুরুত্বপূর্ণ অন্তর্দৃষ্টি প্রদান করেছে। তথ্যের জটিলতা এবং সুনির্দিষ্ট প্রসঙ্গের প্রয়োজনীয়তার অর্থ হল যে এমনকি একটি সুগঠিত জ্ঞান গ্রাফও পছন্দসই ফলাফল প্রদানের জন্য সংগ্রাম করতে পারে। নলেজ গ্রাফ সূচকের সাথে আরও একটি ত্রুটি ছিল এর ধীর গতি। সম্পর্কিত নথি পাওয়ার প্রতিক্রিয়া সময় একটি ভেক্টর স্টোর সূচকের তুলনায় খুব বেশি ছিল।

ডেটা পুনঃমূল্যায়ন: মিথুন

বেশ কিছু বাধার পর, আমি Google-এর AI, Gemini-এর ব্যবহার করে একটি ভিন্ন পন্থা নেওয়ার সিদ্ধান্ত নিয়েছি। ধারণাটি ছিল JSON-CSV ফাইলগুলি থেকে ডেটাসেট তৈরি করা এবং তারপরে এই ডেটা ব্যবহার করে একটি কাস্টম মডেল এলএলএম প্রশিক্ষণ দেওয়া। আমি আশা করেছিলাম যে স্ট্রাকচার্ড ডেটা এবং একটি শক্তিশালী প্রশিক্ষণ মডেল ব্যবহার করে, আমি কিছু চ্যালেঞ্জ কাটিয়ে উঠতে পারব যা আগের প্রচেষ্টাগুলিকে জর্জরিত করেছিল।

যাইহোক, এই পদ্ধতিটিও অসুবিধার সম্মুখীন হয়েছিল। ভুল তথ্য বিন্যাসের কারণে প্রশিক্ষণ প্রক্রিয়াটি বন্ধ করা হয়েছিল, যা মডেলটিকে কার্যকরভাবে প্রশিক্ষিত হতে বাধা দেয়। এই ধাক্কা এআই প্রশিক্ষণে ডেটা অখণ্ডতার গুরুত্বের উপর জোর দিয়েছিল। সঠিকভাবে ফরম্যাট করা এবং স্ট্রাকচার্ড ডেটা ছাড়া, এমনকি সবচেয়ে উন্নত মডেলগুলি প্রত্যাশিতভাবে কাজ করতে ব্যর্থ হতে পারে।

এই অভিজ্ঞতা আমাকে JSON ডেটা সঞ্চয় করার জন্য BigQuery ব্যবহার করার সম্ভাবনা বিবেচনা করতে চালিত করে, Fabrice AI কে কার্যকরভাবে প্রশিক্ষণ দেওয়ার জন্য প্রয়োজনীয় বৃহৎ ডেটাসেটগুলি পরিচালনা করার জন্য আরও মাপযোগ্য এবং নির্ভরযোগ্য প্ল্যাটফর্ম প্রদান করে।

শক্তির সংমিশ্রণ: পাইনকোনের সাথে ল্যাংচেইন নথি

এখন পর্যন্ত চ্যালেঞ্জের সম্মুখীন হওয়া সত্ত্বেও, আমি এমন একটি সমাধান খুঁজে বের করতে দৃঢ়প্রতিজ্ঞ ছিলাম যা Fabrice AI কে কার্যকরভাবে জ্ঞান সঞ্চয় করতে এবং পুনরুদ্ধার করতে দেয়। এই সংকল্প আমাকে ল্যাংচেইন নথি এবং পাইনকোন নিয়ে পরীক্ষা করতে পরিচালিত করেছিল। ল্যাংচেইন ডকুমেন্টস এবং ওপেনএআই এম্বেডিং ব্যবহার করে একটি পাইনকোন ভেক্টর স্টোর তৈরি করা, তারপর প্রশ্নের উপর ভিত্তি করে শীর্ষ অনুরূপ নথিগুলি পুনরুদ্ধার করার পদ্ধতিটি জড়িত।

এই পদ্ধতিটি প্রতিশ্রুতি দেখিয়েছে, বিশেষ করে যখন প্রশ্নটি নথির শিরোনাম অন্তর্ভুক্ত করে। উদাহরণস্বরূপ, যখন জিজ্ঞাসা করা হয়, “সুখের চাবিকাঠি কী?” AI সঠিকভাবে প্রাসঙ্গিক বিষয়বস্তু পুনরুদ্ধার এবং সংক্ষিপ্ত করতে সক্ষম হয়েছিল। যাইহোক, এখনও সীমাবদ্ধতা ছিল, বিশেষ করে যখন কোয়েরিতে নির্দিষ্ট কীওয়ার্ড বা শিরোনামের অভাব ছিল।

এই পদ্ধতিটি এআই কর্মক্ষমতা বাড়ানোর জন্য বিভিন্ন প্রযুক্তির সমন্বয়ের সম্ভাবনা প্রদর্শন করেছে। Pinecone এর ভেক্টর স্টোরের সাথে ল্যাংচেইন ডকুমেন্টগুলিকে একীভূত করার মাধ্যমে, আমি কিছু সীমাবদ্ধতা থাকা সত্ত্বেও AI এর প্রতিক্রিয়াগুলির প্রাসঙ্গিকতা এবং যথার্থতা উন্নত করতে সক্ষম হয়েছি।

ধারাবাহিকতা অর্জন: GPT নির্মাতা ওপেনএআই

বিভিন্ন পদ্ধতি এবং প্রযুক্তি অন্বেষণ করার পর, আমি Fabrice AI-এর মধ্যে সঞ্চিত জ্ঞানকে একত্রিত ও পরিমার্জিত করার জন্য Open AI-এর GPT Builder- এ ফিরে আসি। একটি GPT জ্ঞান বেসে সমস্ত সামগ্রী আপলোড করার মাধ্যমে, আমি আমার জ্ঞান পুনরুদ্ধার এবং ইন্টারঅ্যাক্ট করার জন্য আরও সামঞ্জস্যপূর্ণ এবং নির্ভরযোগ্য প্ল্যাটফর্ম তৈরি করার লক্ষ্য রেখেছি।

এই পদ্ধতিটি সবচেয়ে সফল হিসাবে প্রমাণিত হয়েছে, AI বিভিন্ন প্রশ্নের মধ্যে আরও ভাল ফলাফল দিতে সক্ষম। এই সাফল্যের চাবিকাঠি ছিল সমস্ত জ্ঞানকে একক, সমন্বিত সিস্টেমে একীভূত করা, যা AI-কে প্রশ্নের উত্তর দেওয়ার সময় বিষয়বস্তুর সম্পূর্ণ প্রস্থে আঁকতে দেয়।

আমার আগের পোস্টে উল্লিখিত হিসাবে, আমি এটি আমার ওয়েবসাইটে চালানোর জন্য পেতে পারিনি, এবং এটি শুধুমাত্র চ্যাট GPT-এর অর্থপ্রদানকারী গ্রাহকদের জন্য উপলব্ধ ছিল যা আমি অনুভব করেছি যে এটি খুব সীমাবদ্ধ ছিল। এছাড়াও, যদিও এটি আরও ভাল ছিল, আমি এখনও উত্তরগুলির গুণমান পছন্দ করিনি এবং জনসাধারণের কাছে এটি প্রকাশ করতে স্বাচ্ছন্দ্য বোধ করিনি।

চূড়ান্ত পরিমার্জন: মডেল 4o ব্যবহার করে GPT সহকারী

Fabrice AI বিকাশের ধাঁধার চূড়ান্ত অংশটি মডেল 4o ব্যবহার করে GPT সহকারীর প্রবর্তনের সাথে এসেছে। এই পদ্ধতিটি আমি পুরো প্রকল্প জুড়ে শিখেছি সবকিছুর চূড়ান্ত প্রতিনিধিত্ব করে। একটি ভেক্টর ডাটাবেস ব্যবহার করে এবং প্রম্পটগুলিকে পরিমার্জন করে, আমি AI এর প্রতিক্রিয়াগুলিতে সর্বোচ্চ সম্ভাব্য স্তরের নির্ভুলতা এবং প্রাসঙ্গিক বোঝাপড়া অর্জনের লক্ষ্য রেখেছিলাম।

এই পদ্ধতিটি একটি ভেক্টর ডাটাবেসে জমে থাকা সমস্ত জ্ঞান আপলোড করার সাথে জড়িত, যা তখন AI এর মিথস্ক্রিয়াগুলির ভিত্তি হিসাবে ব্যবহৃত হয়েছিল। ভেক্টর ডাটাবেস AI কে আরও পরিশীলিত অনুসন্ধান করার অনুমতি দেয়, শুধুমাত্র কীওয়ার্ড মিলের উপর নির্ভর না করে প্রশ্নের শব্দার্থিক অর্থের উপর ভিত্তি করে তথ্য পুনরুদ্ধার করে। এটি পূর্ববর্তী পদ্ধতির তুলনায় একটি উল্লেখযোগ্য অগ্রগতি চিহ্নিত করেছে, যা এআইকে আরও ভালভাবে বুঝতে এবং জটিল, সূক্ষ্ম প্রশ্নগুলির উত্তর দিতে সক্ষম করে।

এই পদ্ধতির মূল উদ্ভাবনগুলির মধ্যে একটি হল প্রম্পটগুলির যত্নশীল পরিমার্জন। সতর্কতার সাথে বিভিন্ন প্রম্পট তৈরি এবং পরীক্ষা করে, আমি আরও সঠিক এবং প্রাসঙ্গিক উত্তর দেওয়ার জন্য AI-কে গাইড করতে সক্ষম হয়েছি। এটি শুধুমাত্র প্রম্পটগুলির শব্দগুলিকে টুইক করাই নয় বরং সম্ভাব্য সর্বোত্তম প্রতিক্রিয়াগুলি বের করার জন্য প্রশ্নগুলির গঠনের বিভিন্ন উপায়ে পরীক্ষা করাও জড়িত৷

ফলাফল চিত্তাকর্ষক ছিল. AI এখন উচ্চ নির্ভুলতার সাথে বিস্তৃত প্রশ্নগুলি পরিচালনা করতে সক্ষম হয়েছিল, এমনকি যখন প্রশ্নগুলি খোলামেলা ছিল বা প্রসঙ্গ সম্পর্কে গভীর বোঝার প্রয়োজন ছিল। উদাহরণস্বরূপ, যখন জিজ্ঞাসা করা হয়, “আপনার জীবনের সবচেয়ে গুরুত্বপূর্ণ সিদ্ধান্তগুলি কীভাবে নেবেন?” AI একটি বিস্তৃত এবং অন্তর্দৃষ্টিপূর্ণ উত্তর প্রদান করেছে, একটি সুসংহত প্রতিক্রিয়া প্রদানের জন্য বিভিন্ন উত্স এবং দৃষ্টিভঙ্গির উপর আঁকা।

এই সাফল্য ছিল শত শত ঘন্টা পরিশ্রম এবং অগণিত পরীক্ষা-নিরীক্ষার চূড়ান্ত পরিণতি। এটি প্রমাণ করেছে যে, প্রযুক্তি এবং পরিমার্জনার সঠিক সংমিশ্রণে, একটি AI তৈরি করা সম্ভব ছিল যা কেবল কার্যকরভাবে তথ্য সঞ্চয় এবং পুনরুদ্ধার করতে পারে না বরং এর সাথে একটি অর্থপূর্ণ উপায়ে জড়িত হতে পারে। মডেল 4o ব্যবহার করে GPT সহকারীর বিকাশ সেই বিন্দুকে চিহ্নিত করেছে যেখানে Fabrice AI সত্যিকার অর্থে তার নিজের মধ্যে এসেছে, যা আমি শুরু থেকেই কল্পনা করেছিলাম এমন পরিশীলিততা এবং নির্ভুলতার স্তর অর্জন করেছে। GPT অ্যাসিস্ট্যান্টস এপিআই তখন আমার ব্লগে একত্রিত করা হয়েছিল যাতে শেষ ব্যবহারকারীদের Fabrice AI এর সাথে আপনি যেভাবে ব্লগে দেখতে পাচ্ছেন সেভাবে ইন্টারঅ্যাক্ট করতে পারবেন।

যাত্রার প্রতিফলন

Fabrice AI বিকাশের প্রক্রিয়া AI এর সাথে কাজ করার জটিলতাগুলিকে হাইলাইট করেছে, বিশেষত যখন এটি তথ্য বোঝার এবং প্রাসঙ্গিককরণের ক্ষেত্রে আসে। এটি আমাকে শিখিয়েছে যে AI বিকাশে কোনও শর্টকাট নেই—প্রতিটি পদক্ষেপ, প্রতিটি পুনরাবৃত্তি এবং প্রতিটি পরীক্ষাই সত্যিকারের কার্যকর কিছু তৈরির দিকে যাত্রার একটি প্রয়োজনীয় অংশ।

সামনের দিকে তাকিয়ে, আমি Fabrice AI-এর পরিমার্জন এবং সম্প্রসারণ চালিয়ে যেতে উত্তেজিত। গত পোস্টে উল্লিখিত হিসাবে, আমি জ্ঞানের ভিত্তি সম্পূর্ণ করার জন্য জিজ্ঞাসা করা প্রশ্নগুলি পর্যালোচনা করব যেখানে ফাঁক আছে। আমি শেষ পর্যন্ত একটি ইন্টারেক্টিভ সংস্করণ প্রকাশ করার আশা করছি যেটি আমার মতো দেখতে এবং শোনাচ্ছে যার সাথে আপনি কথা বলতে পারেন৷

>