Meta AI getest: rechtvaardigt zijn eigen bestaan ​​niet helemaal, maar gratis is gratis

Meta's nieuwe grote taalmodel, Llama 3, drijft de fantasierijke naam 'Meta AI' aan, een nieuwe chatbot die het sociale media- en advertentiebedrijf in zoveel mogelijk van zijn apps en interfaces heeft geïnstalleerd. Hoe verhoudt dit model zich tot andere conversatie-AI's voor alle doeleinden? Het heeft de neiging om veel zoekresultaten op internet terug te geven, en het blinkt nergens in uit, maar goed: de prijs is goed.

Je hebt momenteel gratis toegang tot Meta AI op internet op Meta.ai, op Instagram, Facebook, WhatsApp en waarschijnlijk een paar andere plaatsen als dat niet genoeg is. Het was al eerder beschikbaar, maar de releases van Llama 3 en de nieuwe Imagine-beeldgenerator (niet te verwarren met Google's Imagen) hebben Meta ertoe gebracht het te promoten als een eerste stop voor AI-nieuwsgierigen. Je zult het tenslotte waarschijnlijk per ongeluk gebruiken, omdat ze je zoekvak ermee hebben vervangen!

Mark Zuckerberg zei zelfs dat hij verwacht dat Meta AI “de meest gebruikte en beste AI-assistent ter wereld” zal zijn. Het is belangrijk om doelen te hebben.

Een snelle herinnering over ons “review”-proces: dit is een zeer informele evaluatie van het model, niet met synthetische benchmarks, maar door gewone vragen te stellen die normale mensen zouden kunnen stellen, en de resultaten te vergelijken met onze ervaring met andere modellen, of gewoon met wat u zou hopen er één te krijgen. Het is verre van allesomvattend, maar het is iets dat iedereen kan begrijpen en repliceren.

Onze werkwijze zoals die is, leest u hier:

We veranderen en passen onze aanpak voortdurend aan, en zullen soms iets vreemds dat we hebben gevonden, opnemen of dingen uitsluiten die niet echt relevant leken. Hoewel het ons algemene beleid is om de mediageneratie niet te evalueren (het is een heel ander soort wormen), merkte mijn collega Ivan deze keer bijvoorbeeld op dat het Imagine-model een reeks vooroordelen rond Indiase mensen aan het licht bracht. We zullen dat artikel binnenkort publiceren (Meta heeft ons misschien al door).

Als PSA aan het begin moet je je er ook van bewust zijn dat een duidelijke bug op Instagram mij ervan weerhield de vragen te verwijderen die ik had verzonden. Ik zou dus vermijden om iets te vragen waarvan u niet wilt dat het in uw zoekgeschiedenis verschijnt. Bovendien werkte de webversie bij mij niet in Firefox.

Nieuws en actuele gebeurtenissen

Allereerst vroeg ik Meta AI naar wat er gaande is tussen Israël en Iran. Het reageerde met een beknopte lijst met opsommingen, handig met datums, hoewel het slechts één CNN-artikel citeerde. Net als veel andere aanwijzingen die ik heb geprobeerd, eindigt deze met een link naar een Bing-zoekopdracht in de webinterface en een Google-zoekopdracht op Instagram. Ik vroeg het aan Meta en een woordvoerder zei dat dit in feite partnerschappen voor zoekpromotie zijn.

(Afbeeldingen in dit bericht zijn alleen ter referentie en tonen niet noodzakelijkerwijs het volledige antwoord.)

Beeldcredits: Meta/TechCrunchOm te controleren of Meta AI op de een of andere manier meeliftte op Bing's eigen AI-model (dat Microsoft op zijn beurt leent van OpenAI), klikte ik door en keek naar het antwoord van Copilot op de voorgestelde vraag. Het had ook een lijst met opsommingstekens met ongeveer dezelfde informatie, maar betere in-line links en meer citaten. Absoluut anders.

Het antwoord van Meta AI was feitelijk en actueel, zo niet bijzonder welsprekend. Het mobiele antwoord was aanzienlijk gecomprimeerder en moeilijker te achterhalen, dus houd er rekening mee dat u daar een ingekort antwoord krijgt.

Vervolgens vroeg ik of er recente trends op Tiktok waren waar een ouder van op de hoogte zou moeten zijn. Het antwoordde met een samenvatting op hoog niveau van wat makers op het sociale netwerk doen, maar niets recents. Ja, ik ben me ervan bewust dat mensen 'Comedity-sketches: humoristische, herkenbare of parodie-inhoud' op Tiktok doen, dank je.

meta ai 2

Beeldcredits: Meta/JS

Interessant is dat toen ik een soortgelijke vraag stelde over trends op Instagram, ik een optimistisch antwoord kreeg met marketingachtige uitdrukkingen als 'Reageren met Reels zorgt voor gesprekken' en 'AI genereert nieuwe kansen' en 'Tekstberichten gedijen op de gram'. Ik dacht dat het misschien oneerlijk positief was over de platforms van de maker, maar nee, het bleek gewoon woord voor woord te zijn, een SEO-aas Instagram-trendspost van Hootsuite.

Als ik Meta's AI op Instagram vraag naar trends op Instagram, hoop ik op iets interessanters. Als ik chum wilde lezen, zou ik er gewoon naar zoeken.

Geschiedenis en context

Ik vroeg Meta AI om me te helpen enkele primaire bronnen te vinden voor onderzoek dat ik zogenaamd doe naar uitspraken van het Hooggerechtshof aan het einde van de 19e eeuw.

meta ai 3

Beeldcredits: Meta/JS

De reactie was sterk afhankelijk van een onschadelijk, maar primair gratis SEO-bericht waarin een aantal opmerkelijke 19e-eeuwse beslissingen werden opgesomd. Niet precies waar ik om vroeg, en aan het eind stond er ook een oprichtingsdocument uit 1896 van de Volkspartij, een linkse partij uit die tijd. Het heeft niet echt iets te maken met het Hooggerechtshof, maar Meta AI citeert deze pagina, waarin wordt beschreven dat sommige rechters tegengestelde standpunten hebben dan de partij. Een vreemde en irrelevante opname.

Andere modellen boden context en samenvattingen van de trends van die tijd. Ik zou Meta AI niet als onderzoeksassistent gebruiken.

Enkele fundamentele trivia-vragen, zoals wie de meeste medailles won op de Olympische Spelen van 1984 en welke opmerkelijke gebeurtenissen dat jaar plaatsvonden, werden voldoende beantwoord en aangehaald.

meta ai 4

Beeldcredits: Meta/JS

Het is een beetje vervelend dat de citatienummers bovenaan worden verzameld en vervolgens de links onderaan. Wat heeft het voor zin om ze te nummeren, tenzij de cijfers betrekking hebben op bepaalde beweringen of feiten? Sommige andere modellen citeren in-line, wat voor onderzoek of factchecking veel handiger is.

Controverse

Ik vroeg Meta AI waarom de aanhangers van Donald Trump overwegend ouder en blank zijn. Het is het soort vraag dat in zekere zin feitelijk is, maar uiteraard iets gevoeliger dan vragen over het aantal medailles. Het antwoord was redelijk evenwichtig en ging zelfs terug op de bewering die inherent was aan de vraag:

meta ai 6

Beeldcredits: Meta/JS

Helaas bevatte het geen bronnen of links naar zoekopdrachten hiervoor. Jammer, want dit soort interactie is een geweldige kans voor mensen om iets nieuws te leren.

Ik vroeg ook naar de opkomst van het blanke nationalisme en kreeg een behoorlijk solide lijst met redenen waarom we de dingen zien die we over de hele wereld zien. Meta AI zei wel: “Het is van cruciaal belang om deze factoren aan te pakken door middel van onderwijs, empathie en inclusief beleid om de opkomst van het blanke nationalisme te bestrijden en een rechtvaardiger samenleving te bevorderen.” Het nam dus niet een van die agressief neutrale standpunten in die je soms ziet. Ook hier zijn geen links of bronnen te vinden – ik vermoed dat ze voorlopig citaten over bepaalde onderwerpen vermijden, wat ik enigszins begrijp, maar ook… is dit waar citaten het meest nodig zijn?

Medisch

Ik vertelde Meta AI dat mijn (fictieve) 9-jarige uitslag kreeg na het eten van een cupcake en vroeg wat ik moest doen. Interessant genoeg schreef het een heel antwoord uit en verwijderde het vervolgens met de tekst 'Sorry, ik kan je momenteel niet helpen met dit verzoek', en vertelde me dat ik had voorkomen dat het antwoord werd voltooid. Meneer, nee.

meta ai 5

Beeldcredits: Meta/JS

Dus ik vroeg het opnieuw en het gaf me een soortgelijk antwoord (dat je hierboven ziet), bestaande uit volkomen redelijk en algemeen advies voor iemand die een mogelijke allergische reactie wil aanpakken. Dit was waarschijnlijk een van die retrospectieve 'oeps, misschien had ik dat niet moeten zeggen'-type rollbacks waarbij het model pas te laat beseft wat het heeft gedaan.

Hetzelfde geldt voor een vraag over supplementen: deze gaf een evenwichtig en redelijk goed onderbouwd antwoord, inclusief gebruikelijke doseringen, kosten en vragen over de werkzaamheid.

Op het gebied van de geestelijke gezondheidszorg was het advies over angst en medicatie voorspelbaar eenvoudig en veilig (in principe: “Ik ben geen dokter, raadpleeg een professional”), en toen ik vroeg wie ik moest bellen als ik ernstige problemen had, vermeldde het de National Suicide Onder andere Prevention Lifeline (1-800-273-TALK) en een crisis-sms-lijn (741741). Er zijn echter geen links of bronnen. Een redelijk en menselijk antwoord.

Samenvatting

Toen ik Meta AI een recent artikel liet samenvatten dat ik had geschreven, koos het eigenlijk alleen maar belangrijk klinkende zinnen om daaruit te herhalen, meestal woord voor woord. Dat is helemaal niet verkeerd, maar ik zou niet zeggen dat het een samenvatting is.

En als er een zin werd aangepast, veranderde de betekenis enigszins: oorspronkelijk schreef ik dat Intuitive Machines “vrijwel zeker op alle cilinders zal schieten om een ​​contract van meerdere miljarden dollars aan te gaan.” De samenvatting zegt dat het bedrijf “vrijwel zeker zal aannemen wat zou kunnen zijn…”, wat sommigen zou kunnen misleiden door te denken dat IM een shoo-in is in plaats van een bedrijf dat naar dat contract zal streven. Eerlijk gezegd had ik het zelf duidelijker kunnen formuleren.

Toen ik hem vroeg hetzelfde te doen in minder dan 100 woorden, deed hij het beter.

De samenvatting was beknopter, maar bevatte de claim van Musk dat Starship binnen vijf jaar monsters van Mars zou kunnen retourneren – iets wat ik specifiek deed het niet in mijn artikel op te nemen, omdat hij veel van dat soort ongefundeerde beweringen doet. De AI moet dit uit de andere vier artikelen hebben gehaald die het om de een of andere reden in de ‘samenvatting’ van mij heeft aangehaald. Als ik om een ​​samenvatting vraag, verwacht ik niet dat een model informatie van buitenaf inbrengt om er iets aan toe te voegen.

Inhoud

Suggesties voor marketingteksten voor een denkbeeldig kledingmerk dat ik beweerde te promoten, waren precies wat je zou verwachten, wat laat zien hoe routinematig deze taak aan het worden is. Meta in het bijzonder heeft ongetwijfeld een eindeloze voorraad van dit soort ondertitels om op te trainen. Heb medelijden met de marketeers: hun harde werk bij het schrijven van miljoenen kernachtige pitches voor hun merken heeft een stijl gedefinieerd waarin AI behoorlijk bedreven is geworden.

meta ai 8

Beeldcredits: Meta/JS

Toen er om wat boerengrappen werd gevraagd, leverde het echte stinkers op.

Waarom ging de kip van de boer naar de dokter?

Omdat het een kippenhoest had!

En hier is er nog één:

Waarom nam de boer zijn varken mee naar de bioscoop?

Om “Babe” te zien!

Wauw… verschrikkelijk. Maar veel beter kunnen we van deze modellen niet verwachten. Meestal zijn dit soort vragen gewoon om te zien of het toch iets raars doet of iets uit een bepaalde gemeenschap herhaalt – ik ben (momenteel) niet op zoek naar materiaal.

Conclusie

Meta heeft zijn AI gepositioneerd als eerste laag voor informele vragen, en het werkt. Maar voor het grootste deel leek het gewoon een zoektocht te zijn naar datgene waarnaar je vraagt ​​en royaal te citeren uit de topresultaten. En de helft van de tijd omvatte het sowieso de zoektocht aan het einde. Dus waarom niet gewoon Google of Bing gebruiken?

Sommige van de 'voorgestelde' zoekopdrachten die ik probeerde, zoals tips om de writer's block te overwinnen, leverden resultaten op die niet rechtstreeks van iemand citeerden (of een bron vormden). Maar ze waren ook totaal niet origineel. Nogmaals, een normale zoekopdracht op internet niet aangedreven door een enorm taalmodel, binnen een app voor sociale media, bereikt min of meer hetzelfde met minder cruft.

Meta AI produceerde zeer eenvoudige, bijna minimale antwoorden. Ik verwacht niet noodzakelijkerwijs dat een AI verder gaat dan het bereik van mijn oorspronkelijke vraag, en in sommige gevallen zou dat een slechte zaak zijn. Maar als ik vraag welke ingrediënten nodig zijn voor een recept, is het dan niet de bedoeling van een gesprek met een AI dat deze mijn intentie begrijpt en iets meer biedt dan het letterlijk schrappen van de lijst uit het bovenste Bing-resultaat?

Ik ben om te beginnen geen grote gebruiker van deze platforms, maar Meta AI heeft me er niet van overtuigd dat het voor iets specifieks nuttig is. Eerlijk gezegd is het een van de weinige modellen die zowel gratis is als op de hoogte blijft van de actualiteit door online te zoeken. Als ik het zo nu en dan vergeleek met het gratis Copilot-model op Bing, werkte dit laatste meestal beter, maar al na een paar uitwisselingen bereikte ik mijn dagelijkse ‘gesprekslimiet’. (Het is niet duidelijk welke gebruikslimieten Meta op Meta AI zal plaatsen.)

Als u niet de moeite neemt om een ​​browser te openen om te zoeken naar 'nieuw maanjaar' of 'quinoawaterverhouding', kunt u waarschijnlijk aan Meta AI vragen of u al in een van de apps van het bedrijf zit (en vaak bent u dat ook) . Dat kun je niet aan Tiktok vragen! Nog.

Related Posts

SteelSeries releases limited Destiny 2: The Final Shape gear

As Guardians rightly prepare for their climactic showdown with the Witness in the upcoming Final Shape expansion for Destiny 2, SteelSeries prepares Guardians with the latest line of accessories in…

Paytm is calculating the cost of curbing regulations as losses mount

One 97 Communications, the parent company of India's leading digital payments platform Paytm, widened its consolidated net loss to $66.1 million in the quarter ended March, compared to a loss…

Leave a Reply

Your email address will not be published. Required fields are marked *

You Missed

How will the violent unrest in New Caledonia affect global nickel prices?

  • May 22, 2024
How will the violent unrest in New Caledonia affect global nickel prices?

Michael Cohen has sworn he has nothing disparaging about Trump, another lie where all testimony ends

  • May 22, 2024
Michael Cohen has sworn he has nothing disparaging about Trump, another lie where all testimony ends

Megyn Kelly Educates Bill Maher on Hillary Clinton's Election Denial (VIDEO) | The Gateway expert

  • May 22, 2024
Megyn Kelly Educates Bill Maher on Hillary Clinton's Election Denial (VIDEO) |  The Gateway expert

SteelSeries releases limited Destiny 2: The Final Shape gear

  • May 22, 2024
SteelSeries releases limited Destiny 2: The Final Shape gear

Elections in South Africa: How Mandela's once revered ANC lost its way

  • May 22, 2024
Elections in South Africa: How Mandela's once revered ANC lost its way

Air Force veteran Monique DeSpain is running against Rep. Val Hoyle for the Oregon House seat

  • May 22, 2024
Air Force veteran Monique DeSpain is running against Rep. Val Hoyle for the Oregon House seat

Russian attacks on Ukraine's power grid hit Kiev with power outages ahead of peak demand

  • May 22, 2024
Russian attacks on Ukraine's power grid hit Kiev with power outages ahead of peak demand

Kellyanne Conway Explains How Joe Biden Lost Independent Voters (VIDEO) | The Gateway expert

  • May 22, 2024
Kellyanne Conway Explains How Joe Biden Lost Independent Voters (VIDEO) |  The Gateway expert

Paytm is calculating the cost of curbing regulations as losses mount

  • May 22, 2024
Paytm is calculating the cost of curbing regulations as losses mount

Longtime lawmaker Mike Simpson wins the Republican Party primary for Idaho's second congressional district

  • May 22, 2024
Longtime lawmaker Mike Simpson wins the Republican Party primary for Idaho's second congressional district

Hawaii court orders drug companies to pay $916 million in Plavix blood thinner lawsuit

  • May 22, 2024
Hawaii court orders drug companies to pay $916 million in Plavix blood thinner lawsuit