Dane o przestępczości nie stają się wiarygodne po zapisaniu w arkuszu. Każda liczba jest wynikiem definicji, zdarzenia, decyzji instytucji, reguły zliczania, transformacji i wersji. Operacyjna jakość oznacza możliwość przejścia w obie strony: od punktu na wykresie do komórki wynikowej, kodu, rekordu i źródła oraz od źródła do wszystkich publikacji, które z niego powstały.

Ten artykuł opisuje budowę takiego produktu. Nie jest podręcznikiem interpretacji każdej statystyki ani analizą konkretnego szeregu historycznego. Ogólne różnice między zgłoszeniem, czynem, osobą, skazaniem i osadzeniem wyjaśniają podstawy pomiaru przestępczości, a krytyczną edycję polskich arkuszy z lat 1926–1959 i map z 1948 r. przedstawia statystyka przestępczości historycznej. Tutaj produktem jest kontrolowany proces danych.

Najpierw kontrakt publikacji

Zespół przed pobraniem danych zapisuje pytanie, populację, jednostkę, terytorium, okres, wersję prawa, etap systemu i przewidywany sposób publikacji. „Liczba przestępstw” nie spełnia tego standardu. Poprawna specyfikacja może brzmieć: liczba czynów stwierdzonych przez Policję w zakończonych postępowaniach w danym roku, według kategorii obowiązującej w systemie źródłowym, na obszarze granic z tego roku.

Kontrakt powinien wskazywać:

  1. twierdzenie, które tabela ma wspierać;
  2. jednostkę obserwacji i jednostkę zliczania;
  3. regułę unikalności oraz sposób traktowania serii;
  4. początek i koniec okresu;
  5. licznik, mianownik i populację narażoną;
  6. dopuszczalne źródła oraz ich pierwszeństwo;
  7. stany brakujące i reguły korekt;
  8. poziom agregacji oraz ochronę małych komórek;
  9. testy blokujące wydanie;
  10. właściciela zatwierdzającego wersję.

Bez kontraktu łatwo zmienić pytanie po obejrzeniu wyniku. Analityk pobiera postępowania, nazywa je czynami, a następnie tłumaczy skok zachowaniem społeczeństwa. Jawna specyfikacja pozwala wykryć taki błąd przed publikacją.

Warstwy produktu danych

Źródło i manifest pozyskania

Pierwsza warstwa zachowuje plik dokładnie w postaci otrzymanej. Manifest zawiera producenta, adres lub sygnaturę, nazwę tabeli, zakres, datę pobrania, format, rozmiar, sumę kontrolną, warunki licencyjne i osobę pobierającą. Dla API zapisuje się zapytanie, parametry, strefę czasu, paginację i odpowiedź serwera. Sam URL nie gwarantuje, że za rok zwróci tę samą wersję.

Plik surowy jest tylko do odczytu. Konwersja kodowania, separatora, dat albo przecinka dziesiętnego tworzy nową warstwę. Jeśli źródło jest skanem, przechowuje się obraz, wynik OCR i ręczną transkrypcję jako trzy różne obiekty. OCR nie zastępuje oryginału.

Staging: zachować znaczenie źródłowe

Warstwa staging odwzorowuje pola producenta bez ich „ulepszania”. Zachowuje nazwę oryginalną, kod, tekst komórki, symbol braku i kolejność. Typ liczbowy dodaje się obok, nie nadpisuje wartości —, b.d. albo <5. Dzięki temu można odróżnić błąd parsera od niepewności źródła.

Każdy rekord otrzymuje identyfikator pochodzenia: plik, arkusz lub endpoint, wiersz, kolumnę albo klucz źródłowy. Po zmianie układu strony identyfikator semantyczny powinien nadal łączyć tę samą obserwację, a identyfikator fizyczny pokazać, skąd pobrano bieżącą wersję.

Warstwa kanoniczna

Model kanoniczny ujednolica nazwy, daty i typy, lecz nie udaje większej zgodności niż źródło. Minimalny rekord zagregowany może zawierać:

  • measure_id — dokładna miara, nie ogólna etykieta;
  • unit — czyn, postępowanie, osoba, ofiara, orzeczenie lub stan;
  • stage — zgłoszenie, Policja, prokuratura, sąd, wykonanie albo zdrowie;
  • reference_period i as_of_date;
  • territory_id oraz wersję granic;
  • classification_original i classification_version;
  • classification_harmonized oraz pewność mapowania;
  • value, value_original i missing_code;
  • source_record_id i transformation_version.

Model zdarzeniowy potrzebuje osobnych tabel dla sprawy, zdarzenia, czynu, osoby, roli, decyzji, kwalifikacji i kary. Upychanie ich w jeden wiersz prowadzi do iloczynu: trzy osoby, cztery czyny i dwie decyzje mogą utworzyć 24 wiersze, a późniejsze COUNT(*) zwielokrotni wynik.

Warstwa analityczna i publikacyjna

Warstwa analityczna zawiera jawne mapowania, mianowniki, kohorty i miary pochodne. Publikacyjna stosuje zaokrąglenie, ukrywanie i format czytelny dla odbiorcy. Dane publiczne nie powinny być jedyną kopią analityczną, bo kontrola prywatności świadomie usuwa część szczegółu.

Każdy wynik przechowuje identyfikator receptury. Dwie tabele o tym samym tytule mogą pochodzić z innych wersji klasyfikacji albo populacji. Nazwa pliku final_v2_poprawiony.xlsx nie jest systemem wersji.

Jednostki i relacje bez podwójnego liczenia

Sprawa, czyn, zdarzenie i osoba

Jedna sprawa może obejmować kilka zdarzeń i osób. Jedno zdarzenie może spełniać znamiona kilku czynów, a kwalifikacja zmieniać się w toku. Osoba może pełnić kilka ról albo pojawić się w wielu sprawach. Model powinien przechowywać relacje, a nie wybierać jedną „najważniejszą” wartość przed poznaniem pytania.

Reguła głównego czynu jest przydatna do niektórych tabel, ale ukrywa pozostałe zarzuty. Publikacja powinna wskazać, czy liczy wszystkie czyny, najpoważniejszy czyn w sprawie, osobę raz w kategorii czy osobę raz w roku. Deduplikacja jest decyzją merytoryczną, nie poleceniem DISTINCT dodanym po wykryciu za wysokiej sumy.

Stan i przepływ

Stan w dniu opisuje zasób, a przyjęcia, zwolnienia i decyzje w okresie — przepływ. Ta sama osoba może wystąpić w kilku przepływach i jednym stanie. Średnia dzienna, maksimum i stan końcowy odpowiadają na inne pytania o obciążenie.

System powinien kodować typ miary. Dzielenie przepływu przyjęć przez pojemność miejsc może być użyteczne dla rotacji, ale nie jest zaludnieniem. Łączenie stanu osadzonych ze skazaniami z tego samego roku nie tworzy kohorty.

Kohorta i zegar

Kohorta wymaga wspólnego zdarzenia wejścia: zgłoszenia, wszczęcia, skazania, rozpoczęcia programu lub zwolnienia. Każda jednostka musi otrzymać ten sam horyzont obserwacji albo zostać poprawnie ocenzurowana. Nowszych spraw nie wolno oceniać jako „mniej zakończonych”, gdy miały mniej czasu.

W bazie przechowuje się czas zdarzenia, rejestracji, decyzji i aktualizacji. Rok raportowy bez wskazania właściwego zegara jest niewystarczający. Opóźnienie raportowania może stworzyć pozorny spadek na końcu szeregu.

Klasyfikacja i przerwy szeregu

Wersja prawa nie jest przypisem dekoracyjnym

Zmiana znamion, progu wartości, właściwości organu albo formularza może przenieść obserwacje między kategoriami. Tabela zgodności powinna zawierać datę obowiązywania, kod źródłowy, definicję, mapowanie docelowe, rodzaj relacji i pewność. Relacja może być jeden do jednego, wiele do jednego, jeden do wielu albo niemożliwa bez danych jednostkowych.

Gdy dawny kod dzieli się na dwie nowe kategorie, nie wolno rozdzielić liczby według arbitralnego procentu i przedstawić jako obserwacji. Można opublikować estymację z metodą i przedziałem albo zachować przerwę. Uczciwy brak jest lepszy od płynnej, wymyślonej linii.

Most równoległy

Najlepszą zmianę systemu poprzedza okres, w którym stara i nowa reguła działają równolegle. Pozwala oszacować różnicę pomiaru, wykryć zmianę momentu rejestracji i zbudować most. Jednorazowe przeliczenie małych prób nie wystarcza, jeśli efekt zależy od regionu albo kategorii.

Jeżeli overlap nie istnieje, przerwa pozostaje elementem wyniku. Model statystyczny może badać scenariusze, ale nie zamienia ich w oficjalne dane.

ICCS i klasyfikacja harmonizowana

ICCS grupuje zdarzenia według charakteru czynu, a nie numeru krajowego przepisu. Mapowanie wymaga cech zachowania, zamiaru, skutku, ofiary i kontekstu. Szeroki artykuł kodeksu może obejmować kilka kategorii ICCS; przypisanie całego kodu do jednej klasy daje pozorną porównywalność.

Warto przechowywać kategorię oryginalną i harmonizowaną równolegle. Użytkownik może wtedy odtworzyć tabelę krajową, porównanie międzynarodowe i listę rekordów pozostawionych bez mapowania.

Brak danych ma typ

Zero, brak i „nie dotyczy”

Zero stwierdza, że w pełnym zakresie nie zarejestrowano jednostki. Brak oznacza, że wartości nie ma lub jej nie znamy. Not applicable mówi, że miara nie ma sensu dla danego rekordu, a not collected — że system jej nie zbierał. Wartość oczekująca na aktualizację jest innym stanem niż trwały brak historyczny.

Model powinien przechowywać kod i oryginalny symbol. Parser nie może zamieniać pustej komórki ani kreski w zero. Średnia pomijająca braki odpowiada na pytanie o obserwowane jednostki; wstawienie zera zmienia licznik i mianownik.

Ukrywanie statystyczne

Symbol <5 albo pusta komórka z powodu poufności nie są zwykłym brakiem. Wartość istnieje, ale nie może zostać ujawniona. Przy sumowaniu powstaje przedział, nie dokładna liczba. Ukrycie pierwotne może wymagać ukrycia wtórnego, aby wartości nie dało się odjąć od sumy.

Zaokrąglanie kontrolowane powinno być wykonywane raz według znanej reguły. Sumowanie wcześniej zaokrąglonych komórek może nie zgadzać się z zaokrągloną sumą; publikacja musi to wyjaśnić.

Flagi jakości nie nadpisują rekordu

Powtarzające się wartości, skok, niespójna suma i nietypowa końcówka są sygnałami kontroli. Rekord pozostaje w danych z flagą, dopóki źródło nie potwierdzi korekty. Automatyczne „naprawianie” wartości na podstawie sąsiednich lat tworzy nowy fakt bez dokumentu.

Korekta zawiera starą wartość, nową wartość, powód, źródło, autora i czas. Wynik opublikowany wcześniej zachowuje odwołanie do starej wersji.

Kontrole jakości

Testy strukturalne

Pipeline powinien przerwać wydanie, gdy naruszono wymagane kolumny, typy, zakres dat, unikalność klucza, dopuszczalne jednostki lub relacje. Test liczby wierszy porównuje bieżący import z poprzednim i wymaga wyjaśnienia dużej zmiany. Zmiana nazwy kolumny nie może po cichu wypełnić całej zmiennej brakami.

Integralność referencyjna sprawdza, czy każda rola wskazuje istniejącą osobę i sprawę, a każda kwalifikacja ma wersję słownika. Osierocony rekord nie jest drobnym ostrzeżeniem, jeżeli wpływa na licznik.

Testy merytoryczne

Podkategoria zwykle nie powinna przekraczać kategorii nadrzędnej, ale najpierw trzeba potwierdzić wspólną jednostkę i zakres. Stan końcowy powinien odpowiadać stanowi początkowemu plus przepływy i korekty według zdefiniowanego równania. Suma regionów może różnić się od kraju, jeśli istnieją jednostki centralne lub brak przypisania; różnica musi mieć etykietę.

Reguły kontrolują także wartości niemożliwe: ujemne liczby osób, datę decyzji przed zdarzeniem bez wyjaśnienia, wiek poza zakresem, współczynnik z innym terytorium mianownika. Test nie dowodzi prawdziwości, ale odrzuca część wyników niemożliwych według modelu.

Anomalie czasowe

Zmiana procentowa, odchylenie od trendu, powtórzone sekwencje i rozkład końcówek pomagają wybrać rekordy do sprawdzenia. Nie są samodzielnym dowodem błędu ani manipulacji. Prawo Benforda działa tylko dla określonych procesów generowania liczb i łatwo je nadużyć przy małych, ograniczonych kategoriach.

Skok wspólny wielu kategoriom może wskazywać zmianę formularza albo zaległości. Skok jednej kategorii może wynikać z prawa, akcji wykrywczej, realnego zjawiska lub pomyłki. Dziennik zdarzeń systemowych powinien być analizowany razem z szeregiem.

Podwójna transkrypcja i kontrola ręczna

Dla skanów dwie osoby niezależnie wpisują dane, a program porównuje komórki. Rozbieżność rozstrzyga się na obrazie, zachowując informację o decyzji. Jeżeli pełne podwójne kodowanie jest niewykonalne, losuje się próbę obejmującą strony, kategorie, wartości odstające, puste pola i krawędzie skanu.

Ręczna kontrola tabeli wynikowej powinna rozpoczynać się od losowego rekordu i przejść aż do źródła, a następnie od losowego rekordu źródłowego do publikacji. Pierwszy test wykrywa błędną proweniencję, drugi — utratę danych.

Łączenie rejestrów

Klucz techniczny nie jest dowodem tożsamości

PESEL albo stabilny identyfikator sprawy może dawać silne łączenie, lecz wymaga podstawy prawnej i kontroli. Imię, data urodzenia i miejscowość tworzą dopasowanie probabilistyczne. Wspólny adres, telefon lub rachunek może łączyć kilka osób. Każda reguła ma próg, wynik niepewności i procedurę ręcznej oceny.

Fałszywe połączenie przypisuje cudzą historię, a brak połączenia rozcina jedną trajektorię. Jakość linkage należy mierzyć na oznaczonej próbie, osobno dla grup, w których dane są częściej niepełne lub zmienne. Wyniku algorytmu nie wolno przedstawiać jako pewnej tożsamości.

Pochodzenie niezależnych sygnałów

Ten sam incydent może wystąpić w zawiadomieniu, Policji, prokuraturze, szpitalu i systemie świadczeń. Pięć rekordów nie jest pięcioma potwierdzeniami, jeśli wszystkie kopiują jedno źródło. Graf proweniencji wskazuje rekord pierwotny, transformacje i zależność.

Łączenie nie powinno usuwać różnicy między brakiem zdarzenia a brakiem dopasowania. Raport pokazuje odsetek połączeń, przypadki wieloznaczne, rekordy bez pary i wpływ progu na wynik.

Lejek wymaga kohorty

Zagregowanych zgłoszeń, oskarżeń i skazań z jednego roku nie wolno dzielić, jakby dotyczyły tych samych spraw. Prawdziwy lejek wykorzystuje identyfikatory albo kohortę wejścia i śledzi zmianę kwalifikacji, łączenie oraz wyłączanie spraw. Wynik po 12, 24 i 36 miesiącach rozdziela sprawność procesu od różnej długości obserwacji.

Jeśli rekordowego połączenia nie ma, można publikować osobne wskaźniki obciążenia etapów. Trzeba zrezygnować z etykiety „odsetek spraw zakończonych skazaniem”, której dane nie wspierają.

Mianownik, terytorium i ekspozycja

Współczynnik na 100 tysięcy wymaga zgodności czasu i granic licznika z ludnością. Centrum miasta może obsługiwać dojeżdżających, region turystyczny sezonową populację, a droga ruch tranzytowy. Mieszkańcy są standardowym, lecz nie zawsze przyczynowo właściwym mianownikiem.

Produkt danych powinien zachowywać źródło i wersję populacji. Dla zmieniających się granic stosuje się terytorium właściwe dla czasu albo jawną estymację przeliczenia. Nie wolno przypisać dawnego powiatu do współczesnego wyłącznie po nazwie.

Standaryzacja wieku i płci wymaga liczników w odpowiednich warstwach. Nie da się jej odtworzyć z sumy ogółem. Wynik standaryzowany jest narzędziem porównania, a nie przewidywaną liczbą zdarzeń dla planowania zasobów.

Niepewność i prywatność

Przedział losowy nie obejmuje błędu klasyfikacji, niezgłaszania i zmiany systemu. Rejestr może nie mieć błędu doboru próby, ale nadal ma błąd pokrycia oraz pomiaru. Raport powinien rozdzielać niepewność statystyczną od systematycznej i wskazywać, której nie da się liczbowo oszacować.

Małe komórki mogą ujawnić osobę przez kombinację miejsca, daty, wieku i typu czynu. Ocena disclosure risk obejmuje także inne publiczne źródła. Ochrona może wymagać agregacji czasu lub terytorium, ukrywania, zaokrąglenia albo kontrolowanego dostępu. Publiczna ciekawość nie uzasadnia ujawnienia historii pokrzywdzonego.

Kontrola prywatności jest częścią pipeline’u i podlega testom. Po każdej nowej tabeli sprawdza się możliwość odtworzenia komórki ukrytej z sum i przekrojów.

Reprodukowalna wizualizacja

Wykres jest wynikiem kodu

Kod pobiera wersję danych, wykonuje transformacje, generuje tabelę i obraz. Tytuł wskazuje jednostkę oraz etap, oś jednostkę, a przypisy źródło, datę, przerwy i znane ograniczenia. Tabela pod wykresem umożliwia kontrolę wartości.

Przerwy szeregu pozostają przerwami. Łączenie brakujących lat linią sugeruje obserwowany trend. Oś ucięta może służyć pokazaniu małej zmiany, jeżeli jest jawna; przy słupkach często fałszuje proporcję długości. Procent powinien występować obok licznika, zwłaszcza przy rzadkich zdarzeniach.

Mapa wymaga wersji granic

Mapa zapisuje źródło geometrii, układ współrzędnych, datę granic, licznik, mianownik i klasyfikację przedziałów. Punkt historyczny może mieć obszar niepewności zamiast pozornej współrzędnej. Przesunięcie do centroidu musi być oznaczone jako transformacja.

Choropleth opisuje obszar, nie moralną cechę mieszkańców. Paleta powinna być dostępna dla zaburzeń widzenia barw i nie tworzyć bez potrzeby alarmistycznej „czerwonej strefy”. Przy małych liczbach mapa może pokazywać przedział lub stabilność, nie tylko estymatę punktową.

Tabela jest częścią publikacji

Odbiorca potrzebuje wartości, a nie wyłącznie grafiki. Tabela zawiera kod braku, licznik, mianownik, współczynnik, niepewność i flagę przerwy. Pobieralny plik musi mieć ten sam identyfikator wersji co wykres. Ręczne poprawienie podpisu w programie graficznym zrywa reprodukowalność.

Wersje, korekty i wycofanie

Wydanie otrzymuje trwały identyfikator, datę źródeł, datę generowania, wersję kodu, środowiska, słowników i geometrii. Manifest wskazuje sumy kontrolne wejść i wyjść. Archiwum zachowuje poprzednie wydania, chyba że ochrona osoby wymaga kontrolowanego wycofania danych.

Korekta klasyfikuje błąd: źródła, transkrypcji, mapowania, kodu, wizualizacji albo opisu. Dziennik wskazuje wpływ na wcześniejsze wnioski. Sama podmiana pliku bez komunikatu pozostawia cytaty i decyzje oparte na niewidocznej wersji.

Jeżeli błąd może szkodzić osobie lub decyzji publicznej, procedura obejmuje szybkie oznaczenie wydania, powiadomienie znanych odbiorców i nową wersję. Transparentność nie oznacza utrzymywania dostępności wadliwego zestawu bez ostrzeżenia.

Minimalny pakiet wydania

Kompletny produkt zawiera:

  1. kontrakt pytania i jednostki;
  2. manifest źródeł oraz sumy kontrolne;
  3. niezmienione pliki raw;
  4. staging z wartościami oryginalnymi;
  5. słownik danych i klasyfikacji;
  6. kody braków i zasady poufności;
  7. model relacji oraz regułę deduplikacji;
  8. tabelę zmian prawa, formularza i granic;
  9. kod importu, transformacji i publikacji;
  10. automatyczne testy oraz raport ręcznej kontroli;
  11. dane analityczne w kontrolowanym dostępie;
  12. dane publiczne, tabele i wizualizacje;
  13. plik środowiska uruchomieniowego;
  14. dziennik decyzji i korekt;
  15. właściciela, licencję i termin przeglądu.

Pakiet jest wystarczający dopiero wtedy, gdy inna uprawniona osoba potrafi odtworzyć wynik bez prywatnej wiedzy autora. Reprodukowalność nie gwarantuje prawdziwości źródła, ale ujawnia, gdzie kończy się obserwacja, zaczyna mapowanie i powstaje wniosek. W danych kryminalnych ta granica jest warunkiem uczciwej nauki oraz odpowiedzialnej polityki.

Źródła i standardy

Stan odsyłaczy i metadanych sprawdzono 24 sierpnia 2026 r.