Monitoring konkurencji i rynku z AI: cotygodniowy przegląd, który ludzie naprawdę czytają

Większość firm już obserwuje konkurencję, tylko nie w sposób systematyczny. Ktoś sprawdza cennik konkurenta przed spotkaniem handlowym, ktoś inny przesyła dalej informację prasową, a menedżer produktu zauważa nową funkcję kilka miesięcy po premierze. Informacje są publiczne, ale rozproszone, a nikt nie ma czasu, by co tydzień przeczytać je wszystkie.

Czytanie może przejąć AI. Nie zdecyduje jednak, co jest ważne dla Twojej firmy, i nie warto powierzać jej wniosków, których nie potrafi poprzeć źródłem. Ten artykuł wyjaśnia, jak zbudować cotygodniowy przegląd rynku i konkurencji, który jest rzetelny, mieści się w przepisach i jest na tyle krótki, że ludzie naprawdę go czytają.

Zacznij od decyzji, które przegląd ma wspierać

Projekt monitoringu, który zaczyna się od źródeł, kończy jako kanał wiadomości. Zacznij raczej od trzech do pięciu pytań, które Twój zespół zadaje wciąż od nowa. Czy konkurent zmienił ceny lub pakiety? Czy rekrutuje na nowy rynek albo do nowych kompetencji? Czy wygrał zamówienia publiczne w naszym segmencie? Jakie skargi na niego powtarzają się w opiniach klientów?

Każde pytanie potrzebuje właściciela, który na podstawie odpowiedzi podejmie działanie: sprzedaż w sprawie cen, zarząd w sprawie nowych rynków, zespół produktowy w sprawie funkcji. Jeśli pytanie nie ma właściciela, usuń je. Przegląd, który nie służy nikomu konkretnemu, to pierwszy e-mail, którego ludzie przestają otwierać.

Wybierz źródła, z których wolno Ci korzystać

Publiczne nie znaczy wolne od zasad. Zanim skierujesz crawler na jakąś stronę, przejdź przez te punkty z osobą, która w Twojej firmie zajmuje się kwestiami prawnymi.

• Robots.txt i regulamin. Robots Exclusion Protocol, ustandaryzowany jako RFC 9309, pozwala właścicielom stron wskazać, których części crawlery powinny unikać. Sam dokument RFC stwierdza, że te reguły nie są formą autoryzacji dostępu, więc przestrzegaj ich i przeczytaj także regulamin strony.
• Zastrzeżenia dotyczące eksploracji tekstów i danych. Unijna dyrektywa o prawie autorskim 2019/790 dopuszcza eksplorację tekstów i danych w treściach, do których dostęp uzyskano zgodnie z prawem, ale zgodnie z art. 4 podmioty praw mogą zastrzec takie korzystanie, w przypadku treści w internecie na przykład za pomocą środków nadających się do odczytu maszynowego. Szanuj takie zastrzeżenia.
• Bazy danych. Unijna dyrektywa o ochronie baz danych chroni nakłady poniesione na stworzenie bazy. Powtarzające się i systematyczne pobieranie danych z bazy produktów lub cen konkurenta może naruszać to prawo, nawet jeśli każda pojedyncza strona jest publiczna. Śledź zmiany i próbki, a nie pełne kopie.
• Dane osobowe. Imiona i nazwiska, profile oraz wpisy pracowników konkurenta są danymi osobowymi w rozumieniu RODO, nawet jeśli są publiczne. Monitoruj firmy, nie ludzi, chyba że masz podstawę prawną i przemyślany obowiązek informacyjny.
• Informacje od samych konkurentów. Wytyczne Komisji Europejskiej w sprawie porozumień horyzontalnych opisują, kiedy wymiana informacji między konkurentami staje się problemem z punktu widzenia prawa konkurencji. Zbieranie tego, co każdy może zobaczyć, to coś innego niż wymiana cen lub planów z konkurentem, bezpośrednio albo przez wspólną stronę trzecią. Niech przegląd działa tylko w jedną stronę.

W tych granicach materiału jest mnóstwo: strony z cennikami i produktami, informacje o wersjach, komunikaty prasowe, ogłoszenia o pracę, ogłoszenia o zamówieniach publicznych, na przykład w unijnym portalu TED, wpisy w rejestrach przedsiębiorców, sprawozdania roczne i publiczne opinie. Unijna dyrektywa o ochronie tajemnic przedsiębiorstwa uznaje też obserwację lub testowanie produktu udostępnionego publicznie za zgodny z prawem sposób pozyskania informacji.

Jak działa cotygodniowy proces

Rozwiązania, które budujemy w naszych projektach, zawsze przechodzą przez te same kroki, niezależnie od narzędzi, na których działają.

1. Zbieranie. Pobieraj według harmonogramu stałą listę stron i kanałów. Stałą listę łatwiej sprawdzić pod kątem zgód niż nieograniczone przeszukiwanie, a przegląd staje się powtarzalny.
2. Wykrywanie zmian. Zapisuj każdą wersję i porównuj ją z poprzednią. Większość stron w danym tygodniu się nie zmienia i dalej trafiają tylko różnice. To obniża koszty i sprawia, że system nie podaje starych wiadomości jako nowych.
3. Ekstrakcja. Model językowy zamienia każdą zmianę w ustrukturyzowany rekord: konkurent, rodzaj zmiany, stara wartość, nowa wartość, data i link.
4. Klasyfikacja. Przypisz każdy rekord do jednego z Twoich pytań i odrzuć to, co nie pasuje do żadnego. Proste reguły, na przykład każda zmiana na stronie z cennikiem, często działają lepiej niż pytanie modelu, jak ważne coś jest.
5. Szkic. Model pisze jedno lub dwa zdania na każdy punkt, pogrupowane według pytań, z linkiem do źródła przy każdym stwierdzeniu.
6. Przegląd i wysyłka. Człowiek czyta szkic, usuwa szum, dodaje kontekst, którego system nie może znać, i wysyła go. Zajmuje to minuty, a nie godziny, bo czytanie jest już zrobione.

Pilnuj, by model był uczciwy

Dwa rodzaje błędów zasługują na uwagę już na etapie projektu. Pierwszy to zmyślanie: model poproszony o podsumowanie rynku wypełnia luki twierdzeniami, które brzmią wiarygodnie. Rozwiązanie jest strukturalne. Każde zdanie w przeglądzie musi pochodzić z wyodrębnionego rekordu z linkiem, a osoba sprawdzająca musi móc zweryfikować każdy punkt jednym kliknięciem. Jeśli w tym tygodniu nic istotnego się nie zmieniło, przegląd to mówi.

Drugi to manipulacja. Twój system czyta teksty napisane przez innych, także przez konkurentów. OWASP stawia prompt injection na pierwszym miejscu swojej listy zagrożeń dla aplikacji opartych na modelach językowych i opisuje pośrednie wstrzyknięcie przez treści zewnętrzne, takie jak strony internetowe. Traktuj pobrane strony jako dane: model, który je czyta, nie dostaje narzędzi, dostępu do systemów wewnętrznych ani możliwości wysłania czegokolwiek. Ukryta linijka na stronie internetowej nigdy nie powinna móc zmienić tego, co robi Twój system.

Jak zacząć

Przeprowadź pilotaż trwający od czterech do sześciu tygodni, o małym zakresie: kilku konkurentów, trzy pytania i stała lista źródeł. Wysyłaj przegląd co tydzień właścicielom pytań i za każdym razem zadaj im jedno pytanie: czy na podstawie czegoś z niego podjęliście działanie? Jeśli odpowiedź wciąż brzmi nie, zmień pytania, zanim dodasz źródła. Gdy przegląd zasłuży na swoje miejsce, rozszerzaj go o jeden typ źródła naraz i zachowaj przegląd przez człowieka.

Aby oszacować, ile cotygodniowy przegląd mógłby zaoszczędzić Twojemu zespołowi, opisz obecny proces w kalkulatorze ROI. Jeśli dopiero decydujesz, od czego AI powinna zacząć w Twojej firmie, przeczytaj pięć pytań, które pomogą wybrać właściwą pierwszą automatyzację albo przejrzyj typowe workflowy według obszarów biznesu.