COCO- ի Հիշողության պալատ. Տարօրինակ ֆանտազիա

(Սա իմ KIKK Festival 2017-ի խոսակցությունն է, որը գրվել է Tech Track– ից: Դա հակառակ էր @ quasimondo- ի խոսակցությանը, այնպես որ, կարծում եմ, այն կարող է գտնել ավելի մեծ լսարան տեքստի մեջ:)

Այս ելույթը բխում է իմ հետաքրքրությունից `տեքստի և պատկերների գեղարվեստական ​​նպատակներով տրոհման միջոցով: Այս խոսակցությունը լուսանկարների և սերունդ բանաստեղծությունների մասին է: Քանի որ հիմա ես նաև մեքենայական ուսուցման հետ եմ աշխատում, դա նաև հիշողության մասին է, և՛ մարդկային, և՛ մոդելավորված:

Ծրագիր 1. Գույնի բանաստեղծություններ

Առաջին նախագիծը, որը ես կցուցադրեմ, ներշնչվել է Մարտին Կրժվինսկու գունային հիանալի ամփոփիչ API- ի կողմից: Մոտ 6 ամիս առաջ ինձ բավական տպավորված էր «նկարը բառերով» բաժինը, տես աջ կողմը, որ ես նրան հարցրեցի ՝ կարո՞ղ եմ բոտ ստեղծել, որը API- ն օգտագործում էր բանաստեղծական նպատակներով: Նա ասաց, որ ես դա անեմ և իսկապես կրկնապատկվեմ բանաստեղծության տեսանկյունից:

http://mkweb.bcgsc.ca/colorsummarizer/

Մարտինի API- ն ունի գույների 9284 բառ. , և xkcd »: Սա նշանակում է շատ տատանումներ, ինչը գեներացնող տեքստի ալգորիթմի մեջ ցանկանում եք:

Իմ նախագիծը պատահական պրոֆեսիոնալ լուսանկարներ է վերցնում Unsplash API- ից, որը ես անցնում եմ CSS ֆիլտրի պրոցեսով `վերափոխելու մոխրագույն մասշտաբի, խառնուրդի և թափանցիկության: Ես գույները վերածում եմ որպես բառերի, և Google- ի Cloud Vision API- ում նույնպես երկու կամ երկու բառով խառնվում եմ:

My Color Poems արդյունքը (Vision API- ի անունները, հավանաբար, «խոնավ» են և «խելագար»)

Պատկերի գույները տեքստի մեջ փոխանցվում են նույն գույնի տառերով, մինչդեռ պատկերն ինքնին դառնում է սև և սպիտակ և կրկնապատկվում է հետին պլան: Ինձ դուր է գալիս նրանցից մի քանիսը, նրանք զարմացնում և ինձ ծիծաղում են.

Մյուսները պարզապես գեղեցիկ և խորհրդավոր են, ինչպես իրենց պատկերները:

Տեքստը ներկայացված է BigText.js- ի հետ: Ինձ համար այս նախագծի ամենադժվար մասերը CSS նախագծումն էր և Մարտին անունն ուղղագրվեց հենց վարկերի մեջ: Ես դեռ չեմ պատրաստել բոտ կամ տեղադրել այն կենդանի կայքում; Ես անհանգստացա, որ նրա անձնական սերվերը դրանով հարվածելու եմ: Երբ ես փորձեցի տեղական օրենսդրությամբ գործարկել նրա ծածկագիրը, ես ծանոթացա գիտական ​​գրադարանների մի ամբողջ աշխարհի, որը ես չգիտեի, որ գոյություն ունի: Ես երբեք չեմ հասցրել այդ ամենը ձեռք բերել իմ Mac- ով աշխատելու համար:

Արդյունքների մեծ մասը իսկապես հաճելի է: Ոմանք ծիծաղելի և անհարմար են, քանի որ Google- ի Vision API- ը տարօրինակորեն օբյեկտիվ և կլինիկական տոնայնությամբ է ՝ ասելով «փայտի» և «անտառի» փոխարեն «արտադրանք» և «էկոհամակարգ»:

Վաղ արդյունքը, նախքան CSS- ի բոլոր շտկումները, անկյունները և այլն, Google- ը սիրում է «արտադրանք»:

Վերջում արդյունքները մի փոքր ցուրտ գտա. Մասնագիտական ​​լուսանկարների օգտագործումը (հաճախ `շատ լվացվող գույներ, կարծես!) Եւ բանաստեղծության մեջ պատմվածքի և հույզերի պակասը ինձ անհանգստացնում էին:

Տարբեր լուսանկարներ, տարբեր տեքստեր

Ես սկսեցի մտածել այլ պատկերների մասին ՝ տոնական լուսանկարներ, սելֆիներ և ընտանեկան նկարներ, ինչպիսին է այս քույրը և զարմիկը մեկը տարիներ առաջ:

Ընտանեկան լուսանկար: Rockin 'որ անում են:

Ինչպե՞ս ենք կարդում այս նկարը: Մարդկանց մեծ մասը ուշադրությունը կդարձնի որպես 2 մարդ, մեկը ՝ շատ գեղեցիկ, և նրանցից մի քանիսը հուշում են, որ նայեն գավաթի, դռան, hairstyle- ի, ժպիտների առանձնահատկություններին…

Այստեղ տեղադրված է Berոն Բերգերի «Հասկանալով լուսանկարը» շարադրությունը, որում նա նշում է.

Լուսանկարն արդեն հաղորդագրություն է այն իրադարձության մասին, որը նա արձանագրել է: Այս հաղորդագրության հրատապությունը ամբողջովին կախված չէ իրադարձության հրատապությունից, բայց ոչ այն չի կարող լիովին անկախ լինել դրանից: Իր ամենապարզ հաղորդագրությունը, վերծանված, նշանակում է. Ես որոշել եմ, որ սա տեսնելը արժե արձանագրել… Լուսանկարչությունը դիտորդությունն ինքնագիտակցված դարձնելու գործընթաց է:

Լուսանկարը վերցնելը որոշման պահ է մի պահի մասին: Այս պահի և այս բաների այս նկարը արժե հիշել: Ես չեմ հիշում քրոջս ու զարմուհու այդ նկարը նկարելու արարքը, բայց նկարը միանգամից ծանոթ պահ է:

Տեսողական ազգագրությունը պատկերների մասին մտածելու ևս մեկ հետաքրքիր միջոց է: Լուսանկարներ օգտագործել մանրամասները և պատմությունները հանելու համար հարցազրույցի ամուր տեխնիկան է: Բայց ես գտա այս լուսանկարն ու վերնագիրը մի փոքր տարօրինակ և լուսավորող.

Նկարների մասին խոսելուց. Բեն Հարփերի լուսանկարների ընտրության դեպք

Ժողովածուի նկատմամբ հետաքրքրություն է առաջացել ազգագրագետ Սուարարը: Նա տեսնում է, որ այս լուսանկարը տարբերվում է իր «առարկայից», ով այն տեսնում է որպես Դավիթ և Դանիել և կատու: (Իմ հետաքրքրությունը կատվի հանդեպ է, քանի որ ես կատու ունեմ և չեմ ճանաչում այս տղայի երեխաներին: Չնայած գնահատում եմ նրա ահռելի ժպիտը:)

Կարդացել եմ նաև Ֆրանսիս Յեյթսի «Հիշողության արվեստը» տեսողական հիշողության համակարգերի մասին: «Արհեստական ​​հիշող» օգնականը ՝ հունական հռետորաբաններին վերաբերող գաղափար, և հետագայում միջնադարյան առեղծվածներ, ինչպիսիք են ordորդանո Բրունոն, երևակայական տեսողական համակարգեր են, որոնք մենք ցանկանում ենք հիշել: Յեյթսը մեջբերում է անանուն դասական հռետորաբան.

«Հիշողության երկու տեսակ կա. Մեկը բնական, մյուսը` արհեստական: Բնական հիշողությունը այն միտքն է, որը մարմնավորված է մեր մտքերում, որը ծնվել է մտքի հետ միաժամանակ: Արհեստական ​​հիշողությունը վերապատրաստման միջոցով ամրապնդված կամ հաստատված հիշողություն է »:

Մենք կարող ենք դրանք կառուցել «հիշատակի պալատներում», ներքին ճարտարապետություններում `այն օբյեկտների համար, որոնք մենք ուզում ենք հիշել:

Fludd's Memory Palace- ը երաժշտության համար (հղում)
«Արհեստական ​​հիշողությունը հաստատված է վայրերից և պատկերներից… Տեղն այն վայրն է, որը հեշտությամբ ընկալվում է հիշողությունից, ինչպիսիք են տունը, միջսենյակային տարածքը, անկյունը, կամարը կամ նման: Նկարները ձևեր, նշաններ կամ սիմուլակրա են: այն, ինչ ուզում ենք հիշել: Օրինակ, եթե մենք ուզում ենք հիշել արծվի ձիու կամ առյուծի սեռը, մենք պետք է նրանց պատկերները տեղադրենք որոշակի տեղերում »:

Խոսելով միջմարզային տարածությունների մասին, եկեք նայենք մեկ այլ պատկերների ճանաչման API- ի արհեստական ​​պատրաստված հիշողությանը, որն առկա է օգտագործման համար ՝ Amazon Recognition: Ես այն փոխանցեցի վիսկիի կտորների ծերացման այս լուսանկարը @TheGlenlivet- ից:

Ես իրականում սիրում եմ արդյունքները:

Ես գտնում եմ, որ դրանք փոխաբերական են, սադրիչ, հասկանալի ՝ բանաստեղծական: Հատկապես երբ մենք հասնում ենք 50% վստահության մակարդակի. Տաճար, երկրպագություն: Պարթենոնը: Amazon Rekognition- ի հիշատակի պալատի տարօրինակ առանձնահատկությունը: (Բոլոր սյունակային տարածքները Փարթենոններ են ՝ ճանաչման համար):

Ահ, ես դա կարող եմ օգտագործել սերունդական պոեզիայի կամ պատմությունների համար, կարծում եմ:

Նախևառաջ պոեզիայում ես արեցի նախորդ արվեստի մի փոքրիկ ուսումնասիրություն: Լուսանկարների վերաբերյալ այնքան հայտնի բանաստեղծություններ չկան, որքան նկարների մասին կան հայտնի բանաստեղծություններ, բայց դրանք գոյություն ունեն: Ես կասկածում եմ, որ լուսանկարների մեծ մասում կան շատ, պարզապես տարածված, ցրված և հիմնականում անհայտ: (Բերգերը ասում է, որ դրանք կերպարվեստ չեն, քանի որ դրանք չափազանց հուզիչ են:) Բայց ահա մեկ նմուշ հավաքածու:

www.donttakepictures.com/dtp-blog/2016/4/13/poems-about-photography- ից

Իմ պոեզիան ոչ մի տեղ այնքան լավ չէ, քանի որ այն աշխատում է շարժիչից և չի շրջանցում: Կարծում եմ, որ սա միշտ կլինի այնպես, ինչպես կա:

Ծրագիր 2. Պատկերների ճանաչման բանաստեղծություններ

Գոյություն ունեն գործիքների միջոցով պատկերների ճանաչման երկու եղանակ ՝ այս պահին գործիքներ. Լուսանկարների լայն «բովանդակության» ընդհանուր API մակնշում, ինչպիսիք են Google Cloud Vision- ը և Amazon Rekognition- ը, և օբյեկտի նույնականացումը, որը տեղայնացնում է լուսանկարներում առկա իրերը (ստորև նշված մասը COCO- ում): Վերջիվերջո, մակնշման ծառայություններից իմ արդյունքն ամենից հաջողվածն էր, որպես տեքստեր, հավանաբար այն պատճառով, որ դրանք ավելի լավն էին զրոյացնում լուսանկարների բովանդակության մեջ:

Օգտագործելով Amazon Rekognition (կարմիրով) և Google Vision API- ն (սև տեքստ) flickr- ի պատկերից ՝ tracery.js քերականությամբ:

Աշխատում կա Tracery.js- ի քերականություն ՝ օգտագործելով API- ներից վերադարձված գոյականները. սև տեքստը «շրջանակում է» տեքստը Google- ի Vision API- ից, կարմիրը Amazon Rekognition API- ն է: Ես Amazon- ի քերականությունը ավելի բարդ դարձա, նրա արտասանությունները ավելի հուզականորեն հուզիչ էին, հարմար էին նրա գոյականների բառապաշարին: Ես նաև սահմանափակեցի Amazon- ից իմ օգտագործած արդյունքները մինչև <85% վստահություն ՝ բարձրացնելու փոխաբերական և բանաստեղծական «հնարավորությունը»:

Պատկեր ՝ տեղական KIKK փառատոնի քննարկմանը :)

Amazon- ի քերականությունը զարգացավ, երբ ես խաղացի, ավելի շատ պատմությունների և հիշողությունների և իրերի փորձի մասին: Like անձնական լուսանկարներ: Անտառը կարող է լինել նաև մարջանաձև առագաստը կամ այն ​​օվկիանոսը, որը մենք մի անգամ տեսանք. մի տեղ մենք քայլեցինք, որտեղ ինչ-որ մեկին հանդիպեցինք: Google- ի քերականական ձայնը համեմատության մեջ գրեթե անկում է: Այն ավարտվում է `ուղղելով մեզ բոլորիս մեր մեկնաբանության մեջ: Միգուցե այն պետք է հեռացվի բանաստեղծություններից, որոնք այս սերնդի հաջորդ սերնդում են:

«Բայց սա անծանոթ քաղաք է, օտարականի ճանապարհով». Այս սիրուն պատահարը գալիս է քերականությունից, որը խոսում է անծանոթ մարդկանց մասին, իսկ «ognանաչումը» խոսում է ճանապարհի և քաղաքի մասին:

Բանաստեղծական հնարավորության հետաքրքիր սահմանափակումներ կան, երբ ճանաչման փաստերը պարզապես սխալ են. Բանաստեղծական սխալ ճանաչման անճոռնի հովիտը չի տարածվում դրոշի սխալ լինելու վրա: Ստորև ներկայացված է ամերիկյան մեքենայական ուսուցման մոդելը # ձախողում և ոչ թե փոխաբերություն:

ML # թերություն, քան պոեզիա:

COCO

Սկզբնապես ես ուզում էի բանաստեղծությունները ինտերակտիվ դարձնել. Քանի որ կտտացնում ես դրանց մեջ գտնվող առարկաները, դու ստանում ես նոր բանաստեղծական հաջորդականություն, հնարավոր է նույնիսկ պատմություն:

Հատուկ պատկերները ճանաչելու համար մենք կարող ենք օգտագործել MS COCO- ի վրա ուսուցանված մոդելը, Microsoft- ի «Համընդհանուր օբյեկտները համատեքստում» տվյալների շտեմարանը: Սա տեղայնացված 80 օբյեկտ պարունակող պատկերների տվյալների շտեմարան է (2014 թ.), Որը «հեշտությամբ կճանաչվի 4-ամյա երեխայի կողմից»:

MS COCO- ի թղթից

Ո՞րն է «ընդհանուր առարկա» ամերիկացի 4-ամյա երեխայի համար: Ինչի վրա է մոդելը վերապատրաստվում, այն է, ինչի մասին մոդելը կարող է մեզ հետ խոսել: «COCO» - ի կողմից օգտագործված պատրաստված մոդելն այսուհետ կդիտեմ որպես սղագրավ: Ի՞նչ կա COCO- ի հիշողության պալատում:

COCO- ն գիտի 80 օբյեկտի մասին, և դրանք են.

Քաղաքում բաներ (գումարած նավակներ). «Մարդ», «հեծանիվ», «մեքենա», «մոտոցիկլ», «ինքնաթիռ», «ավտոբուս», «գնացք», «բեռնատար», «նավ», «լուսացույց», «Հրդեհային հիդրանտ», «կանգառի նշան», «կայանման հաշվիչ», «նստարան»

Կենդանիներ, ֆերմա և մինի-Safari. «Թռչուն», «կատու», «շուն», «ձի», «ոչխար», «կով», «փիղ», «արջ», «զեբրա», «ընձուղտ»

Մարդիկ ունեն և կրում են «պայուսակ», «հովանոց», «պայուսակ», «փողկապ», «ճամպրուկ»

Սպորտային պարարտություն. «Ֆրիսբե», «դահուկներ», «սնոուբորդ», «սպորտային գնդակ» [լրջորեն], «ուրուր», «բեյսբոլի չղջիկ», «բեյսբոլի ձեռնոց», «դահուկորդ», «դահուկորդ», «թենիսի ռակետ»

Սննդառություն և վատ սննդակարգ. «Շիշ», «գինու բաժակ», «բաժակ», «պատառաքաղ», «դանակ», «գդալ», «ամանի», «բանան», «խնձոր», «նարնջագույն», «բրոկկոլի» »,« Գազար »,« տաք շուն »,« պիցցա »,« բլիթ »,« տորթ »,« սենդվիչ »

Տներում տարօրինակ իրեր ՝ հատկապես համակարգիչներ ՝ «աթոռ», «թախտ», «զամբյուղ», «մահճակալ», «սեղան», «զուգարան», «հեռուստացույց», «նոութբուք», «մուկ», «հեռավոր», «Ստեղնաշար», «բջջային հեռախոս», «միկրոալիքային վառարան», «վառարան», «տոստեր», «լվացարան», «սառնարան», «գիրք», «ժամացույց», «ծաղկաման», «մկրատ», «արջուկ», «Մազերի չորանոց», «ատամի խոզանակ»

Մենք դա նայում ենք մանրամասնորեն, որպեսզի կարողանանք մտածել այն մասին, թե ինչ է այստեղ և ինչ չկա այստեղ: COCO- ն գիտի potted բույսերի, բայց ոչ ծառերի մասին: Նա սիրում է բրոկկոլի, բայց ոչ ծաղկակաղամբ: COCO- ն տեսնում է ժամացույցներ պատին, բայց ոչ պատուհանները: COCO- ն շատ բան գիտի համակարգիչների մասին, չգիտի ճանապարհների կամ լեռների կամ երկնքի մասին:

(Տեխնիկական նշում. Ես օգտագործեցի tensorflow օբյեկտի հայտնաբերման մոդելը, որն առկա է Jupyter նոութբուքի ցուցադրմամբ այս պանակից: Սովորաբար tensorflow- ի ցուցադրումները ինքնաբերաբար հնացած են, բայց այս repo- ն այժմ կարծես թե վերջերս է թարմացվել, ինչը նշանակում է, որ այն կարող է աշխատել վերջին տարբերակի հետ tensorflow now. Այս ցուցադրությունից ես կառուցեցի մի կտոր API, որպեսզի այն գործարկեմ պատկերի urls- ով և արդյունքների ծառայեմ իմ զննարկչին:)

Հաշվի առնելով այս նկարը, ի՞նչ կտեսնի COCO- ն:

նմուշի պատկեր

Եթե ​​գործարկեք Jupyter նոթբուքի ցուցադրումը, դուք ստանում եք այս նույնականացումները.

COCO- ն ձախ կողմում գտնում է potted բույսեր, ներքևի աջ մասում բրոկկոլի, ձեռքի պայուսակի մի անձ, որը չունի և բջջային հեռախոս, որտեղ գտնվում է նրա դեմքը: COCO- ի հիշողության պալատում, հավանաբար, այսպիսի կանայք ունեն պայուսակներ և հեռախոսներ: Այս մարդը նստած է նստարանների վրա:

Ես կարծում եմ, որ COCO- ի պիտակների ցանկը «պոետիկ» չէ: Բայց ինձ պատահեց ստուգել: Ես պարտքով վերցրեցի Ալիսոն Փարիշի Գութենբերգի պոեզիայի կորպուսը (Ծրագրի բոլոր Գուտենբերգի տեքստերը, որոնք պարունակում են «Բանաստեղծություններ» կամ «Պոեզիա» վերնագրով, վերնագրում, այս նախագծի հղում) և որոնում էի հիթեր COCO- ի պիտակների համար: Ես դա արեցի առանց bigrams- ի մշակման համար, ուստի ստիպված էի X- ն հանել այն բանաստեղծական հիթերը, որոնք համընկնում են COCO- ի զույգերի մեկ բառի հետ ՝ «մազերի չորանոց» և «արջուկ»:

Չօգտագործված բառերը ցույց են տալիս, որ մահճակալները բավականին բանաստեղծական են, ինչպես թռչունները, այնպես էլ գինին և ձիերը: Այնուհետև մենք ստանում ենք հիթերի պոչը.

«Կոճը» ավելի բանաստեղծական է, քան «կատուն», բայց գուցե այն պատճառով, որ այն կարող է բայ լինել: «Apple» - ը ծեծում է «նարնջագույնին», թերևս այն պատճառով, որ դա աստվածաշնչային է: «Զուգարանը» տեղի է ունենում ձեր առավոտյան զուգարանն անելու համատեքստում (կարծում եմ, որ մազերը հագնվում և լվանում են), ոչ այնքան օբյեկտ: (Ես առաջինը ստուգեցի այդ մեկը):

Այլ անակնկալներ ՝ դանակների պատրաստումը, դանակներն ավելի շատ բանաստեղծական են, քան գդալներն ու պատառաքաղները, որոնք հավասարապես անհեթեթ են: «Teddy» - ը հայտնվում է արխայական «կայուն» ուղղագրություններում: Սենդվիչները մի տեսակ ծածկագիր են պատահական կերակուրների համար, նույնիսկ եթե դրանք շամպայն ունեն:

«Սենդվիչը» հարվածում է Ալիսոնի Գուտենբերգի պոեզիայի կորպուսին

Սինգլետոնների համար ես գտա «միկրոալիքային նորաձևության մեջ», «նույնիսկ եթե պաղպաղակն ու պիցցան կապում են մեռած հումորով» և «բլիթի չափսի մասշտաբներ»:

Իմ նախագծի համար ես օգտագործեցի տեղական API- ի գործող tensorflow և COCO- ի վերապատրաստված մոդելը (ես օգտագործում էի «ssd-inception-v2- պատրաստված-կոկո-11–06–2017»): Լուսանկարները փչոց լուսանկարներ էին, որոնք առաջնորդվում էին I մուտքագրման որոնման տերմինով: Պատկերը տրված է դրա վրա սեղմելի տուփերով, որոնք համապատասխանում են «ճանաչված» կամ «հիշված» առարկաներին, և երբ կտտացնում եք դրանց վրա, բանաստեղծությունը կառուցված է հետաքննող քերականությունից:

COCO- ն չի տեսնում ճանապարհը և ծառերը: Նա տեսնում է ճյուղերում ժամացույցներ:

Քերականությունը, որը ես գրել էի Tracery.js– ում, հաշվի առավ առարկայի նույնականացման անորոշությունը ՝ օգտագործելով անցյալ տարի Amanda Cox– ի կողմից OpenVis Conf– ում տարածված արդյունքները, թե ինչպես են մարդիկ նկարագրում անորոշությունը բառերով.

Https://github.com/zonination/perceptions- ից

Իմ քերականության մեջ կանոնը կառուցված է օգտագործելով այնպիսի արտահայտություններ, որոնք գրավում են որոշակիության մակարդակներ, բայց պտտվելով `երիտասարդ, միամիտ ձայն և որոշ փոխաբերական լեզու ավելացնելու համար: Օրինակ ՝ 10-20% վստահության համար COCO- ն համարում է, որ դա «առիթ չէ», «հավանական չէ», «նման երազի, որը ես ունեցել եմ մեկ անգամ»: 60-ից 80% -ի համար նա համարում է, որ «որոշ հավանականություն», «ամուր հավատ», «հավանական»:

Flickr's Creative Commons- ում գրական պատկերների օգտագործմամբ ավելի վաղ խելագարված տարբերակում, որտեղ առաջին նախադասությունը Google Vision- ից է.

Ես շուտ ձանձրացրի նրա 80 բառից անճշտության մասին արագ: Պոեզիան, ինչպես լուսանկարները, նույնպես կախված է նրանից, թե ինչ չկա: Ինձ ոգեշնչել է Նահո Մացդոյի «Ամեն ինչ ամեն անգամ» նախագիծը, որը ստեղծվել է իմ սիրած տվյալների տեքստային ստեղծագործական նախագծերից մեկը, որում Մանչեսթեր քաղաքում դիտվող տվյալները բերվում են պոեզիայի.

Այդ բանաստեղծություններում անհայտ կորած իրադարձությունները բանաստեղծականորեն հետաքրքիր են դառնում:

Որպեսզի ավելացնեմ COCO- ի բառերի բառապաշարը, որոնց մասին նա չգիտի, ես ավելացրեցի տեղական տեղական API, որը կառուցված է անգլերեն gigaword word2vec մոդելի վրա, որը կոդավորված էր խոսակցական տեղեկատվության մի մասը: Ես վերցրեցի word2vec- ի հետ կապված գոյականները flickr- ի որոնումից և նրա սեփական պիտակներից և COCO- ին հասկացա, որ նա հաստատ չի տեսնում նրանց:

Անգլերենի «Castle_NOUN» բառին առավելագույն նման բառեր իմ տեղական փաթիլ API- ի վերաբերյալ

Այս օրինակում w2v մոդելը գտնում է բազմոցներ և փափկամիսներ, որոնք վերաբերում են «թախտին»: COCO- ն բավականին վստահ է անձի և բազմոցի մեջ:

Վերջին տողը `կանգնած տղայի աջ կողմում գտնվող ուրվագծից սեղմելուց: Նա անկյուն չունի, դա հաստատ է:

Այս մեկում COCO- ն անհանգստացած է մարդկանց և նրանց ուղեբեռի համար: (Նա գիտի ուսապարկը, ուստի w2v մոդելը հավաքում է բազկաթոռներ, բեռներ և ճամպրուկներ ՝ իր կասկածները ավելացնելու համար):

COCO- ն դեռ տարօրինակ թռչուն է, քանի որ նրա ուշադրության կենտրոնում այդքան առանձնահատուկ է: Նրա հիշատակի պալատը չունի սյուներ, աշտարակներ և ծառեր:

Վերջապես, ես Amazon- ին արդյունքներ տվեցի, ինչպես նաև մի քանի գոյական անուններ, և գույնը ծածկեց բոլորին միասին (COCO- ն դեղին գույնով) տարօրինակ բանաստեղծությունների մեջ, որոնք կարող են փոխարինվել դանակների և անտառի գեղեցիկ փոխաբերություններով տխուր մոլուցքների միջև.

Բանաստեղծություններ նկարների վերաբերյալ

Նկարների մասին կան շատ հայտնի բանաստեղծություններ: Ես մտածեցի, թե ինչպես են իմ խաղալիքներն աշխատելու դրանց վրա: Իմ սիրածը WH Auden- ի «Musée de Beaux Arts» - ն է:

COCO- ն տեսնում է մարդկանց, և ոչ թե փոքրիկ ոտքերը, իհարկե:

Amazon Rekognition- ը մի փոքր ավելի լավ է անում ՝ անտառով, որտեղ երևի ինչ-որ բան տեսնեիր:

Բանաստեղծությունների ևս մեկ հիանալի կոմբան է Պիկասոյի նկարչության համար Ուոլաս Սթիվենսի «Կապույտ կիթառով մարդը».

Հին կիթառահար (Պիկասո) [Նրա կիթառը կապույտ չէ]]
«Մարդը թեքվեց իր կիթառի վրա,
Մի տեսակ դաշնակահար: Օրը կանաչ էր:
Նրանք ասացին. «Դուք կապույտ կիթառ ունեք,
Դու չես խաղում իրերն այնպես, ինչպես կան »:
Մարդը պատասխանեց. «Ինչ-որ բաներ կան
Փոխվում են կապույտ կիթառի վրա »: »

Այս պատկերի համար գունային բանաստեղծությունը վատ չէ.

Բայց COCO- ն ուղղակի կարծում է, որ կիթառը արջուկ է:

Բանաստեղծությունների համար անարատ բաներ պահելը

Մեզ ասում են, որ մեքենայական ուսուցման արդյունքները այնպիսի ոլորտներում, ինչպիսին է պատկերի և խոսքի ճանաչումը, գերազանցում են մարդու կատարողականը:

https://www.eff.org/ai/metrics

Եվ մեզ ասում են, որ մարդիկ սխալ են, գուցե այն պատճառով, որ նրանք լուսանկարում են երեխաներին և կատուներին, այլ ոչ թե պատերին պատված սկուտեղներին.

Հղում

Շատ այլ նկարիչների նման, ինձ հետաքրքրում է, թե ինչպես կարող ենք այդ գործիքները օգտագործել ստեղծագործական գործողություններում, պարտադիր չէ, որ հստակ գործողություններ կատարվեն: Allison Parrish- ի հետ ես կցանկանայի իմանալ, թե ինչ է անելու Գերտրուդ Շտայնը COCO- ի հետ, եթե նա այստեղ լիներ փորձելու:

Ես կցանկանայի տեսնել ավելի շատ լեզվական մոդելներ, որոնք արտացոլում են մարդու հիշողությունը և ցանկությունները և երազանքները: Մոդելում առկա բառապաշարն ազդում է այն պոեզիայի վրա, որը մենք կարող ենք ստեղծել: Գոյություն ունեցող գիտական ​​գոյականները մեզ սահմանափակում են օգտագործման որոշակի դեպքեր: Սխալներն ինձ համար կազմի մեջ ավելի կարևոր են, քան մոդելի աշխարհայացքը: Ինչպես ես նախկինում ասացի, թե ինչի վրա է մոդելը վերապատրաստվում, այն է, ինչի մասին մոդելը կարող է մեզ հետ խոսել: Սա կարևոր է մեծ և փոքր ձևերով:

Բայց մեր ժամանակակից արհեստական ​​հիշողության պալատների հետ խաղալիս ես տեսնում եմ նրանց հիանալի հնարավորությունները Յեյթսի Հիշողության արվեստում.

… Արհեստական ​​հիշողություն, որը դուրս է մնացել վերահսկողությունից վայրի երևակայական անձնատուրության… երազանքի հնագիտությունը խառնվում է երազանքի հիշեցման համակարգերի հետ ՝ տարօրինակ ֆանտազիան ձևավորելու համար:

Շնորհակալություն.