Fabrice AI: বর্তমান প্রযুক্তিগত বাস্তবায়ন
শেষ পোস্টে, Fabrice AI: The Technical Journey আমি ব্যাখ্যা করেছি যে যাত্রার মধ্য দিয়ে আমরা Fabrice AI নির্মাণের মাধ্যমে একটি পূর্ণ বৃত্ত তৈরি করেছি। আমি চ্যাট জিপিটি 3 এবং 3.5 ব্যবহার করে শুরু করেছি। ফলাফলে হতাশ হয়ে, আমি ল্যাংচেইন ফ্রেমওয়ার্ক ব্যবহার করার চেষ্টা করেছি এর উপরে আমার নিজস্ব AI মডেল তৈরি করার জন্য, Chat GPT-এ ফিরে আসার আগে একবার তারা ভেক্টর ডেটাবেস ব্যবহার করা শুরু করে এবং 4o এর সাথে ব্যাপকভাবে ফলাফলগুলি উন্নত করে।
এখানে Fabrice AI প্রশিক্ষণের বর্তমান প্রক্রিয়া রয়েছে:
- প্রশিক্ষণের ডেটা (ব্লগ পোস্ট, ইউটিউব ইউআরএল, পডকাস্ট ইউআরএল, পিডিএফ ইউআরএল এবং ইমেজ ইউআরএল) আমাদের ওয়ার্ডপ্রেস ডাটাবেসে সংরক্ষিত আছে।
- আমরা ডেটা বের করি এবং এটি গঠন করি।
- সহকারী API ব্যবহার করে প্রশিক্ষণের জন্য আমরা ওপেন AI-তে স্ট্রাকচার্ড ডেটা প্রদান করি।
- ওপেন এআই তারপর একটি ভেক্টর স্টোর ডাটাবেস তৈরি করে এবং এটি সংরক্ষণ করে।
এখানে স্ট্রাকচার্ড ডেটার একটি অংশের উদাহরণ দেওয়া হল। কন্টেন্টের প্রতিটি অংশের নিজস্ব JSON ফাইল আছে। আমরা নিশ্চিত করি যে 32,000 টোকেন সীমা অতিক্রম না করে।
{
“id”: “1”,
“তারিখ”: “”,
“লিঙ্ক”:”https://fabricegrinda.com/”,
“শিরোনাম”: {
“rendered”: “Fabrice AI কি?”
},
“বিভাগ”: “ফ্যাব্রিস সম্পর্কে”,
“featured_media”: “https://fabricegrinda.com/wp-content/uploads/2023/12/About-me.png”,
“other_media”: “”,
“knowledge_type”: “ব্লগ”,
“contentUpdated”: “Fabrice AI হল তার ব্লগ পোস্ট এবং ChatGPT ব্যবহার করে প্রতিলিপি করা পডকাস্ট এবং সাক্ষাত্কারের উপর ভিত্তি করে Fabrice এর চিন্তাধারার একটি ডিজিটাল উপস্থাপনা। প্রদত্ত যে অনেক ট্রান্সক্রিপশন অসম্পূর্ণভাবে প্রতিলিপি করা হয়েছে এবং ব্লগটি ফেব্রিসের ব্যক্তির একটি সীমিত উপস্থাপনা। , আমরা ভুলত্রুটি এবং অনুপস্থিত তথ্যের জন্য ক্ষমাপ্রার্থী অনেক বিষয়ে ফ্যাব্রিসের চিন্তাভাবনা পেতে একটি ভাল সূচনা পয়েন্ট।”
}
বর্তমান প্রযুক্তিগত বাস্তবায়ন হল:
- ভোক্তার মুখোমুখি ওয়েবসাইটটি AWS Amplify- এ হোস্ট করা হয়েছে।
- পাবলিক সাইট এবং ওপেন এআই-এর মধ্যে ইন্টিগ্রেশন একটি এপিআই লেয়ারের মাধ্যমে করা হয়, যা পাইথন এপিআই সার্ভার হিসেবে AWS-এ হোস্ট করা হয়।
- জনসাধারণের জিজ্ঞাসা করা সমস্ত প্রশ্ন, চ্যাট জিপিটি দ্বারা প্রদত্ত উত্তর এবং উত্সগুলির URL সংরক্ষণ করতে আমরা লগ হিসাবে MongoDB ব্যবহার করি।
- আমরা প্রশিক্ষণের জন্য ওপেন এআই-এ পাস করার জন্য ব্লগ, ইউটিউব, ইত্যাদি থেকে ডেটা গঠন করতে বিভিন্ন স্ক্রিপ্ট ব্যবহার করি।
- ভয়েস জিজ্ঞাসাকে পাঠ্যে রূপান্তর করতে আমরা প্রতিক্রিয়া-বক্তৃতা স্বীকৃতি ব্যবহার করি।
- আমরা ওয়েবসাইট ট্র্যাফিক ট্র্যাক করতে Google Analytics ব্যবহার করি।
এটা মনে রাখা গুরুত্বপূর্ণ যে আমরা দুটি সহকারী ব্যবহার করি:
- প্রশ্নের উত্তর দেওয়ার জন্য একটি।
- একটি মেটাডেটা ইউআরএল পাওয়ার জন্য, যে ব্লগের ইউআরএলে মূল বিষয়বস্তু আছে উত্তরের নিচের দিকে সোর্স দেখানোর জন্য।
এরপর কি?
- স্পিচ-টু-টেক্সট উন্নতি
স্পীচ টু টেক্সটের জন্য ওপেন এআই-এর হুইস্পার মডেল প্রতিক্রিয়ার চেয়ে বেশি সঠিক। এটি বাক্সের বাইরে একাধিক ভাষা সমর্থন করে এবং এটি মিশ্র ভাষার বক্তৃতা, উচ্চারণ এবং উপভাষাগুলি পরিচালনা করতে ভাল। ফলস্বরূপ, আমি সম্ভবত আগামী মাসে এটিতে চলে যাব। এটি বলেছিল যে এটি সেট আপ করা আরও জটিল তাই এটি কিছুটা সময় হতে পারে। আপনাকে মডেল পরিচালনা করতে হবে, নির্ভরতাগুলি পরিচালনা করতে হবে (যেমন, পাইথন, লাইব্রেরি), এবং দক্ষ কর্মক্ষমতার জন্য আপনার পর্যাপ্ত হার্ডওয়্যার রয়েছে তা নিশ্চিত করতে হবে। এছাড়াও, হুইস্পার ব্রাউজারে সরাসরি ব্যবহারের জন্য ডিজাইন করা হয়নি। একটি ওয়েব অ্যাপ তৈরি করার সময়, আপনাকে ট্রান্সক্রিপশন পরিচালনা করার জন্য একটি ব্যাকএন্ড পরিষেবা তৈরি করতে হবে যা জটিলতা যোগ করে।
- ফেব্রিস এআই অবতার
আমি একটি Fabrice AI অবতার তৈরি করতে চাই যা দেখতে আমার মতো এবং শব্দ করে যার সাথে আপনি কথোপকথন করতে পারেন। আমি ডি-আইডি মূল্যায়ন করেছি কিন্তু আমার উদ্দেশ্যে এটি খুব ব্যয়বহুল বলে মনে হয়েছে। ইলেভেন ল্যাবস শুধুমাত্র ভয়েস। সিন্থেসিয়া দুর্দান্ত কিন্তু বর্তমানে রিয়েল টাইমে ভিডিও তৈরি করে না। শেষ পর্যন্ত আমি আরও উপযুক্ত মূল্য এবং কার্যকারিতা দেওয়া HeyGen ব্যবহার করার সিদ্ধান্ত নিয়েছি।
আমি সন্দেহ করি যে এক পর্যায়ে ওপেন এআই তার নিজস্ব সমাধান প্রকাশ করবে তাই এই কাজটি নিষ্ফল হবে। আমি এতে স্বাচ্ছন্দ্য বোধ করছি এবং ওপেন এআই সলিউশনে স্যুইচ করব যখন এটি আসে। এই পর্যায়ে এই পুরো অনুশীলনের মূল বিষয় হল AI দিয়ে কী সম্ভব এবং স্থানটি আরও ভালভাবে বুঝতে আমাকে সাহায্য করার জন্য কতটা পরিশ্রম করা প্রয়োজন তা শেখা।
- কাস্টম ড্যাশবোর্ড
এই মুহূর্তে, দিনের প্রশ্ন ও উত্তরগুলির একটি নির্যাস পেতে আমাকে একটি MongoDB কোয়েরি চালাতে হবে। আমি একটি সাধারণ ড্যাশবোর্ড তৈরি করছি যেখানে আমি প্রতি ভাষার প্রশ্নের সংখ্যা, স্পিচ-টু-টেক্সট অনুরোধের সংখ্যা ইত্যাদির উপর এক্সট্রাকশন এবং সাধারণ পরিসংখ্যান পেতে পারি।
- অতিরিক্ত তথ্য উত্স
আমরা এইমাত্র Fabrice AI-তে FJ ল্যাবস পোর্টফোলিও আপলোড করেছি। আপনি এখন জিজ্ঞাসা করতে পারেন একটি কোম্পানি পোর্টফোলিওর অংশ কিনা। Fabrice AI কোম্পানির একটি সংক্ষিপ্ত বিবরণ এবং তার ওয়েবসাইটের একটি লিঙ্ক সহ উত্তর দেয়।
Fabrice AI-এর কাছে যতগুলি ব্যক্তিগত প্রশ্ন ছিল তার উত্তর না থাকায়, আমি আমার 50 তম জন্মদিনের ভিডিওতে প্রতিটি স্পিকারের প্রয়োজনীয় বিষয়বস্তু দেওয়ার জন্য ম্যানুয়ালি ট্যাগ করার জন্য সময় নিয়েছিলাম।
উপসংহার
AI সম্পর্কিত সমস্ত বিষয়ে আমি গত বারো মাসে যে সমস্ত কাজ করেছি, সেখানে একটি সুস্পষ্ট সর্বজনীন উপসংহার বলে মনে হচ্ছে: আপনি যত বেশি অপেক্ষা করবেন, তত সস্তা, সহজ এবং আরও ভাল হবে এবং Open AI অফার করার সম্ভাবনা তত বেশি এটা! এই সময়ের মধ্যে, আপনার কোন প্রশ্ন থাকলে আমাকে জানান।