Problem
Dla własnego agenta AI na AWS Bedrock potrzebowaliśmy bazy wiedzy RAG z dużego zbioru ofert pracy. Dane z JustJoin.it, Pracuj.pl i NoFluffJobs miały różne struktury i duplikaty, więc przed indeksowaniem trzeba było je ujednolicić, dodać metadane YAML do filtrowania i przygotować jako markdown synchronizowany do Amazon S3, ze stanem przetwarzania w Amazon DynamoDB.
Rozwiązanie
Na potrzeby własnego agenta AI zbudowaliśmy pipeline danych do architektury RAG na Amazon Bedrock. Scraper zbiera oferty pracy z JustJoin.it, Pracuj.pl i NoFluffJobs, usuwa duplikaty i zapisuje dane jako markdown z metadanymi YAML, żeby agent mógł je filtrować podczas wyszukiwania. Stan i rekordy trzymamy w Amazon DynamoDB, a gotowe pliki synchronizujemy do Amazon S3.