- Ang Jev ay isang modelo ng AI na dalubhasa sa pagbabalik ng nakabalangkas at naka-type na mga desisyon sa halip na bumuo ng mga tekstong pang-usap.
- Ito ay batay sa konsepto ng 'System One', na inuuna ang bilis at kahusayan sa pag-uuri, pagmamarka, at pagruruta ng mga gawain.
- Malaki ang nababawasan nito sa mga gastos at latency kumpara sa mga tradisyunal na LLM sa pamamagitan ng pag-aalis ng pagbuo ng mga exit token.
Kung ginugugol mo ang iyong mga araw sa paghihirap sa mga prompt na humingi ng tulong sa isang LLM na ibalik ang isang hindi sira na JSON file o sinusubukang pigilan ito sa pagkataranta kapag nag-uuri ng isang ticket , kailangan mong tingnan kung ano ang ginagawa ng TypeSafe AI. Inilunsad nila ang Jev, isang modelo na ganap na lumalabag sa lohika ng ChatGPT o Claude, dahil ganap nitong binabalewala ang pagsulat ng mga pangungusap at nakatuon lamang sa paggawa ng mga desisyon na mababasa ng anumang programa nang hindi nagpapakahirap.
Sa madaling salita, pinag-uusapan natin ang isang tool na idinisenyo para sa software, hindi para sa mga tao. Bagama't tinatangka ng kumbensyonal na AI na maging isang multifaceted assistant na nangangatuwiran at nagsusulat, ipinoposisyon naman ni Jev ang sarili bilang isang napakabilis na decision-making layer . Ito ang nawawalang link sa pagitan ng deterministic code (ang karaniwang mga pahayag na 'kung' at 'else') at ang semantic power ng mga language model, na nagpapahintulot sa automation na maging mas maayos at mas mura.
Ang pilosopiya ng Sistema Uno
Para maunawaan si Jev, dapat tingnan ang sikolohiya ni Daniel Kahneman. Tinawag ng TypeSafe AI ang paglikha nito bilang System One model . Sa madaling salita, ang System 1 ay ang mabilis, madaling maunawaan, at halos awtomatikong pag-iisip na ginagamit natin para sa mga pang-araw-araw na gawain, habang ang System 2 ay mabagal, sinadya, at magastos na pangangatwiran. Ang mga kasalukuyang LLM ay purong System 2; sinusubukan nilang mangatwiran sa bawat salita, na ginagawa itong mabagal at magastos kahit para sa mga simpleng gawain.
Ang eksaktong kabaligtaran ang ginagawa ng Jev: dalubhasa ito sa mabilis at paulit-ulit na mga paghatol . Ang pangalan nito ay isang pagsang-ayon kay William Stanley Jevons at sa kanyang kabalintunaan sa ekonomiya, na nagmumungkahi na kapag bumababa ang halaga ng isang desisyon, sumasabog ang bilang ng mga desisyong maaari nating gawin. Ito ay binuo ni Diogo Almeida, na mayroon nang malawak na karanasan sa OpenAI, dahil nagtrabaho na sa InstructGPT, at ang proyekto ay may malakas na $40 milyon na pondo na pinangunahan ng DCVC.
Paano nga ba talaga ito naiiba sa isang LLM?
Ang pagkakaiba ay hindi ang laki ng modelo, kundi kung paano nito inihahatid ang impormasyon . Ang isang LLM ay bumubuo ng text token por token, at dapat kang umasa na tama ang formatting. Sa kabilang banda, ang Jev ay gumagamit ng parallel sampling. Hindi ito nagsusulat; pumipili ito. Ikaw ang tumutukoy sa mga opsyon, at ibinabalik nito ang eksaktong halaga, na nag-aalis ng pangangailangang i-parse ang teksto at, bilang karagdagan, nag-aalis ng mga error sa uri . Kung hihingi ka rito ng Boolean value, makakatanggap ka ng Boolean, hindi isang paliwanag kung bakit ito totoo.
Isa pang mahalagang punto ay ang pagsasanay. Bagama't karamihan sa mga AI ay na-optimize gamit ang RLHF upang mapasaya ang mga tao, ginagamit ni Jev ang RLCD (Reinforcement Learning for Calibrated Decisions) . Ang layunin dito ay hindi para maging "maganda" ang tugon, kundi para sa probabilidad na nauugnay sa desisyon, upang maging tapat. Nangangahulugan ito na kapag sinabi ni Jev na mayroon itong 90% na kumpiyansa, ang bilang na iyon ay isang maaasahang tagapagpahiwatig ng katumpakan — isang bagay na mahalaga para sa pagpapasya kung ang isang aksyon ay dapat awtomatikong isagawa o kung kailangan itong suriin ng isang tao.
Ang tatlong pangunahing kagamitan: Mga Primitibo
Ang lahat ng mahika ni Jev ay maaaring ibuod sa tatlong uri ng mga tanong na maaari mong itanong sa kanya sa isang kahilingan lamang:
- Pagpipilian: Pumipili ang modelo ng isang opsyon mula sa isang listahan ng hanggang 255 na posibilidad. Hindi lamang nito binibigyan ka ng panalo, kundi pati na rin ng isang mapa ng probabilidad ng lahat ng mga opsyon at isang marka ng kumpiyansa. Kasama rito ang isang "iba pang" opsyon upang maiwasan ang modelo sa pagpilit ng maling sagot.
- Iskor: Nagtatalaga ng halaga sa isang tinukoy na iskala (mula 2 hanggang 10 antas). Ang kawili-wili ay nagbabalik ito ng mga decimal na halaga (tulad ng 1.4), na nagbibigay-daan para sa pagkuha... mga nuances sa pagitan ng mga kategorya na papansinin ng isang integer.
- Noul (Pagsusuri): Ito ang pinasimpleng bersyon ng oo o hindi. Nagbabalik ito ng probabilidad sa pagitan ng 0 at 1. Mas malapit sa 1, mas malakas ang tunog ng "oo".
Ang pinakamabisang aspeto ay maaari mong itanong ang lahat ng mga tanong na ito nang sabay-sabay tungkol sa parehong estado (teksto, JSON, o array). Halimbawa, sa isang workflow ng suporta, maaari mong sabay-sabay na itanong ang tungkol sa kategorya ng problema, ang antas ng pagkadismaya ng customer, at kung humihiling ba sila ng refund—lahat sa isang paglalakbay sa network at sa loob lamang ng isang segundo.
Pagganap, mga gastos at ang "mga pinong letra"
Ang mga bilang na iniuulat ng TypeSafe ay, sa totoo lang, nakakabaliw. Pinag-uusapan nila ang mga latency na mula 70 hanggang 500 milliseconds at ang presyo ay $0,042 bawat milyong token para sa pagpasok, kung saan libre ang paglabas. Ayon sa kanilang sariling mga benchmark, ang Jev ay maaaring daan-daang beses na mas mabilis at mas mura kaysa sa mga front-end na modelo tulad ng GPT-4 o Claude.
Gayunpaman, ang mga bilang na ito ay dapat isaalang-alang nang may pag-iingat. Inaamin mismo ng kumpanya na ang mga pagsubok nito ay isinagawa sa loob ng kumpanya at maaaring mag-iba ang mga resulta. Gayunpaman, kinukumpirma ng mga panlabas na pagsubok na, sa mga gawaing pag-uuri na may mataas na throughput, napakalaki ng matitipid. Halimbawa, ang pagproseso ng libu-libong isyu ng GitHub ay maaaring magkahalaga ng sentimo gamit ang Jev kumpara sa sampu-sampung dolyar gamit ang mga generative model, habang pinapanatili ang pareho o mas mataas pa ngang katumpakan sa mga kilalang path.
Mga halimbawa ng paggamit: Saan ito nagniningning at saan ito nabibigo?
Ang Jev ay ang perpektong tool para sa lead routing, content moderation , ticket triage, o paggawa ng mga guardrail para sa iba pang AI. Ang isang partikular na kawili-wiling use case ay ang web navigation (tulad ng sa proyektong jev-ultrafast), kung saan ang Jev ang nagpapasya kung aling page element ang iki-click nang hindi kinakailangang ilarawan ang screen, na ginagawang napakabilis ng automation.
Gayunpaman, huwag subukang gamitin ito para sa lahat ng bagay. Hindi kayang magsulat ng code si Jev , hindi nakakabuo ng code, at hindi kayang mangatwiran sa pamamagitan ng mga kumplikadong hakbang. Bukod pa rito, mayroon itong malinaw na mga kahinaan: hindi ito magaling sa matematika, nalilito sa mga petsa, at maaaring mabigo kung masyadong maingay ang konteksto. Hindi rin ito isang sistema ng seguridad; maaari nitong sabihin na ang isang bagay ay "mukhang mapanganib," ngunit ang pangwakas na awtorisasyon ay dapat nasa code , hindi sa AI.
Teknikal na integrasyon at ekosistema
Para sa mga developer, ang pagsisimula gamit ang Jev ay medyo simple. Mayroong opisyal na SDK para sa JavaScript at Python (bersyon 0.6.0), at maaari rin itong i-integrate sa pamamagitan ng isang simpleng POST request. Bukod pa rito, available na ito sa AI Gateway ng Vercel, na lubos na nagpapadali sa pamamahala ng key at pagsingil kung ginagamit mo na ang environment na iyon.
Ang inirerekomendang arkitektura ay isang decision waterfall : Sinasala at inuuri ng Jev ang napakalaking dami ng data nang matipid, pinangangasiwaan ng code ang mga deterministic rule, at tanging ang mga pinaka-hindi malinaw o kumplikadong kaso lamang ang ipinapadala sa isang mamahaling LLM. Sa ganitong paraan, nao-optimize mo ang badyet at nababawasan ang pangkalahatang latency ng system, gamit ang Jev bilang frontline monitor.
Binabago ng bagong kategoryang ito ng mga modelo ang AI mula sa isang chatbot na sumusubok na gayahin tayo tungo sa isang software tool na tumpak sa operasyon. Sa pamamagitan ng paghihiwalay ng paggawa ng desisyon mula sa mga kakayahan sa henerasyon, binibigyang-daan ng Jev ang pagbuo ng mas matatag na mga ahente, kung saan ang naka-calibrate na tiwala ang nagdidikta sa daloy ng trabaho at ang mga gastos ay hindi na hadlang sa malawakang automation.
