Dati ir kļuvuši arvien svarīgāki mašīnmācīšanās modeļu veidošanā, lietojumprogrammu testēšanā un biznesa ieskatu gūšanā.
Tomēr, lai nodrošinātu atbilstību daudzajiem datu noteikumiem, tie bieži tiek glabāti un stingri aizsargāti. Piekļuve šādiem datiem var ilgt mēnešus, lai iegūtu nepieciešamos pierakstus. Alternatīvi, uzņēmumi var izmantot sintētiskos datus.
Kas ir sintētiskie dati?
Fotoattēlu kredīts: Twinify
Sintētiskie dati ir mākslīgi ģenerēti dati, kas statistiski atgādina veco datu kopu. To var izmantot ar reāliem datiem, lai atbalstītu un uzlabotu AI modeļus, vai arī to var izmantot kā aizstājēju.
Tā kā tas nepieder nevienam datu subjektam un nesatur personu identificējošu informāciju vai sensitīvus datus, piemēram, sociālās apdrošināšanas numurus, to var izmantot kā privātumu aizsargājošu alternatīvu reāliem ražošanas datiem.
Atšķirības starp reāliem un sintētiskajiem datiem
- Būtiskākā atšķirība ir divu veidu datu ģenerēšanas veidā. Reālie dati nāk no reāliem subjektiem, kuru dati tika savākti aptauju laikā vai laikā, kad viņi izmantoja jūsu lietojumprogrammu. No otras puses, sintētiskie dati ir mākslīgi ģenerēti, taču tie joprojām atgādina sākotnējo datu kopu.
- Otrā atšķirība ir datu aizsardzības noteikumos, kas ietekmē reālus un sintētiskos datus. Izmantojot reālus datus, subjektiem vajadzētu būt iespējai zināt, kādi dati par viņiem tiek vākti un kāpēc tie tiek vākti, un to izmantošanai ir ierobežojumi. Tomēr šie noteikumi vairs neattiecas uz sintētiskiem datiem, jo datus nevar attiecināt uz subjektu un tie nesatur personas informāciju.
- Trešā atšķirība ir pieejamo datu daudzumos. Izmantojot reālus datus, jums var būt tikai tik daudz, cik lietotāji jums sniedz. No otras puses, jūs varat ģenerēt tik daudz sintētisko datu, cik vēlaties.
Kāpēc jums vajadzētu apsvērt sintētisko datu izmantošanu
- To ir salīdzinoši lētāk ražot, jo varat ģenerēt daudz lielākas datu kopas, kas atgādina mazāko datu kopu, kas jums jau ir. Tas nozīmē, ka jūsu mašīnmācīšanās modeļos būs vairāk datu, ar kuriem apmācīt.
- Ģenerētie dati tiek automātiski marķēti un notīrīti jūsu vietā. Tas nozīmē, ka jums nav jātērē laiks, veicot laikietilpīgo darbu, sagatavojot datus mašīnmācībai vai analītikai.
- Nav nekādu privātuma problēmu, jo dati nav personu identificējoši un nepieder datu subjektam. Tas nozīmē, ka varat to izmantot un brīvi koplietot.
- Jūs varat pārvarēt AI neobjektivitāti, nodrošinot, ka mazākumtautību klases ir labi pārstāvētas. Tas palīdz jums izveidot godīgu un atbildīgu AI.
Kā ģenerēt sintētiskos datus
Lai gan ģenerēšanas process atšķiras atkarībā no izmantotā rīka, process parasti sākas ar ģeneratora pievienošanu esošai datu kopai. Pēc tam jūs savā datu kopā identificējat personu identificējošos laukus un marķējat tos izslēgšanai vai neskaidrībai.
Pēc tam ģenerators sāk identificēt atlikušo kolonnu datu tipus un statistikas modeļus šajās kolonnās. Kopš tā laika jūs varat ģenerēt tik daudz sintētisko datu, cik nepieciešams.
Parasti varat salīdzināt ģenerētos datus ar sākotnējo datu kopu, lai redzētu, cik labi sintētiskie dati līdzinās reālajiem datiem.
Tagad mēs izpētīsim sintētisko datu ģenerēšanas rīkus, lai apmācītu mašīnmācīšanās modeļus.
Pārsvarā AI
Lielākoties AI ir ar AI darbināms sintētisko datu ģenerators, kas mācās no sākotnējās datu kopas statistikas modeļiem. Pēc tam AI ģenerē izdomātus varoņus, kas atbilst apgūtajiem modeļiem.
Izmantojot Mostly AI, varat ģenerēt veselas datu bāzes ar atsauces integritāti. Varat sintezēt visu veidu datus, lai palīdzētu jums izveidot labākus AI modeļus.
Sintezēts.io
Synthesized.io izmanto vadošie uzņēmumi savām AI iniciatīvām. Lai izmantotu synthesize.io, ir jānorāda datu prasības YAML konfigurācijas failā.
Pēc tam izveidojat darbu un palaižat to kā daļu no datu konveijera. Tam ir arī ļoti dāsns bezmaksas līmenis, kas ļauj eksperimentēt un noskaidrot, vai tas atbilst jūsu datu vajadzībām.
YData
Izmantojot YData, varat ģenerēt tabulas, laikrindu, darījumu, vairāku tabulu un relāciju datus. Tas ļauj izvairīties no problēmām, kas saistītas ar datu vākšanu, koplietošanu un kvalitāti.
Tam ir AI un SDK, ko izmantot, lai mijiedarbotos ar viņu platformu. Turklāt tiem ir dāsns bezmaksas līmenis, ko varat izmantot, lai demonstrētu produktu.
Grietiņa AI
Gretel AI piedāvā API, lai ģenerētu neierobežotu daudzumu sintētisko datu. Gretel ir atvērtā pirmkoda datu ģenerators, kuru varat instalēt un izmantot.
Varat arī izmantot viņu REST API vai CLI, kas maksās. Tomēr to cenas ir saprātīgas un atbilst uzņēmuma lielumam.
Kopulas
Copulas ir atvērtā pirmkoda Python bibliotēka daudzfaktoru sadalījumu modelēšanai, izmantojot kopu funkcijas un sintētisko datu ģenerēšanai, kas atbilst tām pašām statistikas īpašībām.
Projekts sākās 2018. gadā MIT kā daļa no Synthetic Data Vault projekta.
CTGAN
CTGAN sastāv no ģeneratoriem, kas spēj mācīties no vienas tabulas reāliem datiem un ģenerēt sintētiskos datus no identificētajiem modeļiem.
Tā ir ieviesta kā atvērtā koda Python bibliotēka. CTGAN kopā ar Copulas ir daļa no Synthetic Data Vault projekta.
DoppelGANger
DoppelGANger ir atvērtā koda ģeneratīvo pretrunīgo tīklu ieviešana sintētisko datu ģenerēšanai.
DoppelGANger ir noderīgs laikrindu datu ģenerēšanai, un to izmanto tādi uzņēmumi kā Gretel AI. Python bibliotēka ir pieejama bez maksas un ir atvērtā koda.
Sintēt
Synth ir atvērtā koda datu ģenerators, kas palīdz izveidot reālistiskus datus atbilstoši jūsu specifikācijām, paslēpt personu identificējošu informāciju un izstrādāt jūsu lietojumprogrammu testa datus.
Varat izmantot Synth, lai ģenerētu reāllaika sērijas un relāciju datus savām mašīnmācības vajadzībām. Synth ir arī datubāzes agnostiķis, lai jūs varētu to izmantot ar savām SQL un NoSQL datu bāzēm.
SDV.dev
SDV nozīmē Synthetic Data Vault. SDV.dev ir programmatūras projekts, kas sākās MIT 2016. gadā un ir radījis dažādus rīkus sintētisko datu ģenerēšanai.
Šie rīki ietver Copulas, CTGAN, DeepEcho un RDT. Šie rīki ir ieviesti kā atvērtā pirmkoda Python bibliotēkas, kuras varat viegli izmantot.
Tofū
Tofu ir atvērtā koda Python bibliotēka sintētisko datu ģenerēšanai, pamatojoties uz Apvienotās Karalistes biobankas datiem. Atšķirībā no iepriekš minētajiem rīkiem, kas palīdzēs ģenerēt jebkāda veida datus, pamatojoties uz esošo datu kopu, Tofu ģenerē datus, kas atgādina tikai biobankas datus.
Apvienotās Karalistes biobanka ir pētījums par 500 000 pusmūža pieaugušo no Apvienotās Karalistes fenotipiskajām un genotipiskajām īpašībām.
Twinify
Twinify ir programmatūras pakotne, ko izmanto kā bibliotēku vai komandrindas rīku, lai apvienotu sensitīvus datus, radot sintētiskus datus ar identiskiem statistikas sadalījumiem.
Lai izmantotu Twinify, jūs sniedzat reālos datus kā CSV failu, un tas mācās no datiem, lai izveidotu modeli, ko var izmantot sintētisko datu ģenerēšanai. Tas ir pilnīgi bez maksas lietojams.
Datanamic
Datanamic palīdz jums izveidot testa datus ar datiem vadītām un mašīnmācīšanās lietojumprogrammām. Tas ģenerē datus, pamatojoties uz kolonnu raksturlielumiem, piemēram, e-pastu, vārdu un tālruņa numuru.
Datanamic datu ģeneratori ir pielāgojami un atbalsta lielāko daļu datu bāzu, piemēram, Oracle, MySQL, MySQL Server, MS Access un Postgres. Tas atbalsta un nodrošina ģenerēto datu atsauces integritāti.
Benerators
Benerator ir programmatūra datu apmulsināšanai, ģenerēšanai un migrēšanai testēšanas un apmācības nolūkos. Izmantojot Benerator, jūs aprakstāt datus, izmantojot XML (Extensible Markup Language), un ģenerējat, izmantojot komandrindas rīku.
Tas ir izveidots tā, lai to varētu izmantot ne-izstrādātāji, un ar to jūs varat ģenerēt miljardiem datu rindu. Benerator ir bezmaksas un atvērtā koda.
Nobeiguma vārdi
Pēc Gartner aplēsēm, līdz 2030. gadam mašīnmācībā tiks izmantots vairāk sintētisko datu nekā reālo datu.
Nav grūti saprast, kāpēc, ņemot vērā reālu datu izmantošanas izmaksas un bažas par privātumu. Tādēļ ir nepieciešams, lai uzņēmumi uzzinātu par sintētiskiem datiem un dažādiem rīkiem, kas tiem palīdzētu tos ģenerēt.
Pēc tam pārbaudiet sintētiskos uzraudzības rīkus savam tiešsaistes uzņēmumam.