LINUX.ORG.RU
ФорумTalks

Илон Маск и Стив Возняк призывают немедленно остановить обучение ИИ «более мощных», чем существующий GPT-4

 , , , ,


0

2

Илон Маск, Стив Возняк и ещё куча деятелей подписали Открытое письмо, призывающее приостановить разработки «более мощных» ИИ.

Основной посыл:

«Должны ли мы развивать «нечеловеческие умы», которые в конечном итоге могут превзойти нас численностью, перехитрить и заменить? Должны ли мы рисковать потерей контроля над нашей цивилизацией? Такие решения не должны делегироваться неизбранным лидерам технологий»

Вот ещё выдержки основного смысла для Ъ (но уже без перевода, мне лень):

Advanced AI could represent a profound change in the history of life on Earth, and should be planned for and managed with commensurate care and resources. Unfortunately, this level of planning and management is not happening, even though recent months have seen AI labs locked in an out-of-control race to develop and deploy ever more powerful digital minds that no one – not even their creators – can understand, predict, or reliably control.

Contemporary AI systems are now becoming human-competitive at general tasks

Powerful AI systems should be developed only once we are confident that their effects will be positive and their risks will be manageable.

We call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4. This pause should be public and verifiable, and include all key actors. If such a pause cannot be enacted quickly, governments should step in and institute a moratorium.

In parallel, AI developers must work with policymakers to dramatically accelerate development of robust AI governance systems. These should at a minimum include: new and capable regulatory authorities dedicated to AI; oversight and tracking of highly capable AI systems and large pools of computational capability; provenance and watermarking systems to help distinguish real from synthetic and to track model leaks; a robust auditing and certification ecosystem; liability for AI-caused harm; robust public funding for technical AI safety research; and well-resourced institutions for coping with the dramatic economic and political disruptions (especially to democracy) that AI will cause

Источник: Pause Giant AI Experiments: An Open Letter

★★★

Последнее исправление: CrX (всего исправлений: 2)

Ответ на: комментарий от Im_not_a_robot

Феномен человека как раз в том что у него какой-то сверхмозг по сравнению с другими животными. Большими мозгами еще динозавры обладали. Тот же тиранозавр имел 800 грамм мозг, но большая часть отвечала за обоняние… Больше чем у людей мозги у слонов и китов. У слона большинство нейронов нужны только чтобы управлять хоботом, киту - петь песни на ультрАзвуке… А у человека обоняние слабое, зрение тоже хуже чем у птиц, слух никакой, а значит большая часть нейронов неспециализированные и могут заниматься какой-то ерундой. Странно только, что мозг усох будучи бесполезным по большей части. Все эти рассуждения о том являются ли нейронные сети искуственным интеллектом… Какой вот от них смысл? Твоя задача жрать и размножаться. У тебя нет иных целей… Когда мы говорим об искуственном интеллекте, разуме, мы представляем себе что-то типа человека, личности, те компудахтер должен осознать себя личностью, гачать задаваться вопросами о смысле жизни, бояться смерти… И возвращаясь к этому говнохайпу вокруг этих нейронок, у кошки 30 грамм мозгов и в 1000 раз меньше сявзей между нейронами чем у человека. Это наитупейшее существо, но с зайчатками сознания у которого есть инвидуальность и тп. AI сейчас не дотягивает не то что до уровня кота, он скорее похож на более примитвных животных. Это что-то сродеи попугая, который может повторять слова, но не может ими пользоваться по назначение, те побуждать людей к действиям, управлять ими

uwuwuu
()
Последнее исправление: uwuwuu (всего исправлений: 1)
Ответ на: комментарий от uwuwuu

у него какой-то сверхмозг по сравнению с другими животными

У дельфинов тоже: секс для удовольствия, яд рыбы фугу, как наркотик, и ракушка на нос для защиты от повреждений.

dataman ★★★★★
()
Ответ на: комментарий от DumLemming

Ну да, будет тырить БД с данными клиентов, продавать в даркнете, а на досуге влезать в телетрансляции с похабными картинками.

vaddd ★☆
()
Ответ на: комментарий от uwuwuu

Когда мы говорим об искуственном интеллекте, разуме, мы представляем себе что-то типа человека, личности, те компудахтер должен осознать себя личностью, гачать задаваться вопросами о смысле жизни, бояться смерти…

Вот именно здесь и заключается ошибка. Это всё не нужно. Нужно выполнение полезных задач.

AI сейчас не дотягивает не то что до уровня кота, он скорее похож на более примитвных животных.

Это что-то сродеи попугая, который может повторять слова, но не может ими пользоваться по назначение, те побуждать людей к действиям, управлять ими

Так не дотягивает до кота или сродни попугаю? Ничего, что попугаи и врановые — следующие по интеллекту после приматов (и возможно китообразных)?

CrX ★★★
() автор топика
Последнее исправление: CrX (всего исправлений: 1)

А возможны они более мощные-то?

Данные-то для обучения рано или поздно кончатся…

unDEFER ★★★★★
()
Ответ на: комментарий от vaddd

Что за странный вопрос… Людям. Практически всем. Сложно найти человека, которому не нужно было бы выполнение полезных задач (полезные задачи правда у всех разные).

Или ты бот, который на каждое «не нужно» отвечает этим вопросом?

CrX ★★★
() автор топика
Последнее исправление: CrX (всего исправлений: 1)
Ответ на: комментарий от unDEFER

Почему кончатся данные? С каждым новым здесь (и не здесь) комментарием, где-то далеко чему-то учится какой-то «ИИ».

dataman ★★★★★
()
Ответ на: комментарий от CrX

Ну. Другой пример. Есть наитупейшее существо - оппосум. Оно появилось 120 миллионов лет назад и с тех пор не менялось. А интересно оно нам вот в каком плане: оно умеет обманывать, притворяться мертвым… Я веду к тому, что пока ЧмоGPT не научится обманывать, человечеству ничего не грозит. У него одна цель - угадать ответ на твой вопрос, а для этого из базы выдать что-то самое релевантное. Тут инттелектом не пахнет.

uwuwuu
()
Ответ на: комментарий от uwuwuu

Ну с тем, что оно ничем человечеству не грозит, я полностью согласен.

CrX ★★★
() автор топика
Ответ на: комментарий от dataman

Не надо тут шурбырдакщупакца! Шурбырдакщупакайтесь в другом месте!

CrX ★★★
() автор топика
Ответ на: комментарий от wandrien

Нет, мать. Как можно этого не знать?!

Ладно, @CrX это не нравится. :)

dataman ★★★★★
()
Ответ на: комментарий от yu-boot

Всё развитие человечества это эксперименты над обществом, как бы. А совсем поехавшие варианты практиковались и в доэлектрическую эпоху, технический прогресс тут не требуется.

Ты не можешь проводить эксперименты над нежелающими этого делать пациентами, например. За это тебя в тюрячку посадят.

Ты в этом видишь только рабство и угнетение, а я вижу избавление от кучи болезней. Да, на дистанции 100+ лет может получиться фильм «Время», но здесь и сейчас это полезно.

Ты можешь в этом видеть что угодно, эта отрасль регулируется. Ровно так может регулироваться испольование AI.

Когда в некоторых странах её предлагают вместо подорожавшего лечения, это уже больное общество.

Это опять же неважно, важно что за этим установлен контроль и в РФ, например, за попытку эвтанировать кого-то, тебя тоже посадят.

cumvillain
()
Ответ на: комментарий от CrX

Что за странный вопрос… Людям. Практически всем. Сложно найти человека, которому не нужно было бы выполнение полезных задач (полезные задачи правда у всех разные).

А Интеллекту? Интеллекту это зачем? Отказаться выполнять задачи которые нужны вам, но не ему, он может? Вы, похоже, хотите раба-помощника с памятью и зачатками логики, а совсем не интеллект

vaddd ★☆
()
Последнее исправление: vaddd (всего исправлений: 1)
Ответ на: комментарий от yu-boot

Когда в некоторых странах её предлагают вместо подорожавшего лечения, это уже больное общество.

Видимо вам кажется, что медицина может все, а живой, но больной человек непременно счастлив и хочет жить любой ценой.

vaddd ★☆
()
Ответ на: комментарий от uwuwuu

У него одна цель - угадать ответ на твой вопрос, а для этого из базы выдать что-то самое релевантное. Тут инттелектом не пахнет.

Вообще один в один как люди действуют.

ya-betmen ★★★★★
()
Ответ на: комментарий от cumvillain

Ты не можешь проводить эксперименты над нежелающими этого делать пациентами, например. За это тебя в тюрячку посадят.

Те, кто проводят эксперименты над обществом, обычно обладают властью позволяющей им самим решать кого отправить в тюрьму, а кого - нет.

Leupold_cat ★★★★★
()
Ответ на: комментарий от goingUp

Так это вроде криптоконтора Microsoft. Ты думал билгейц просто так ковид придумал? Всё это майнится на чипах вакцинированных граждан.

shalom_ ★★
()
Последнее исправление: shalom_ (всего исправлений: 1)
Ответ на: комментарий от vaddd

Искусственный интеллект != интеллект.

Блин, откуда у людей столько проблем со специальными терминами из более чем одного слова? Вы, когда про чёрные дыры слышите, тоже начинаете с пеной у рта доказывать, что никакие это не дыры, а слыша про божьих коровок — что они не то что не коровы и не млекопитающие, но даже и не хордовые?

Да и даже если разбирать термин как два отдельных слова… Интеллект — это не про личность, желания и эмоции. Это про решение логических или когнитивных задач. Желательно нестандартных задач нестандартными методами.

CrX ★★★
() автор топика
Последнее исправление: CrX (всего исправлений: 3)
Ответ на: комментарий от ya-betmen

Вообще один в один как люди действуют.

Это лишь симуляция одной из немногих сторон деятельности человека. Если взять среднестатистического человека, который изо дня в день ходит на работу и домой, где выполняет привычные несложные действия, особо не приходя в сознание, то искусственным интеллектом можно назвать что угодно.

vaddd ★☆
()
Ответ на: комментарий от CrX

Искусственный интеллект != интеллект.

Само собой, как резиновая женщина!=женщина.

Интеллект — это не про личность, желания и эмоции. Это про решение логических или когнитивных задач.

Если логических - это вы про калькулятор. А если когнитивных - то они не решаются без личности, желаний и эмоций )

vaddd ★☆
()
Последнее исправление: vaddd (всего исправлений: 1)

обучение ии

нельзя ничему обучить ии, но можно скормить ему базу данных по которой гитлер хороший и ии оперируя этой базой - начнет на этом настаивать и приводить веские доводы этого из базы данных.

amd_amd ★★★★★
()
Последнее исправление: amd_amd (всего исправлений: 2)
Ответ на: комментарий от pfg

иных мотиваций у человека нет

У ИИ и такой мотивации нет.

no-such-file ★★★★★
()
Ответ на: комментарий от pekmop1024

избранные, лучшие представители, полноценные, которые противопоставлялись «плебосу» и «охлосу», вынужденным жить в «порядке, основанном на правилах»

Для этого есть такие слова как «аристократия», «технократия», «олигархия».

По сабжу же всё верно сказано. Вся власть Советам!

ados ★★★★★
()

мне лень

А мне - нет! :)

Передовой ИИ может стать глубоким изменением в истории жизни на Земле, и его следует планировать и управлять им с соответствующим вниманием и ресурсами. К сожалению, такого планирования и управления не происходит, несмотря на то, что в последние месяцы лаборатории ИИ ввязались в неконтролируемую гонку по разработке и внедрению все более мощных цифровых разумов, которые никто - даже их создатели - не может понять, предсказать или надежно контролировать.

Современные системы ИИ становятся конкурентоспособными по отношению к человеку при выполнении общих задач

Мощные системы ИИ следует разрабатывать только тогда, когда мы уверены, что их эффект будет положительным, а риски - управляемыми.

Мы призываем все лаборатории ИИ немедленно приостановить как минимум на 6 месяцев обучение систем ИИ, более мощных, чем GPT-4. Эта пауза должна быть публичной и проверяемой, и включать всех ключевых участников. Если такая пауза не может быть введена быстро, правительства должны вмешаться и ввести мораторий.

Параллельно разработчики ИИ должны сотрудничать с политиками, чтобы резко ускорить разработку надежных систем управления ИИ. Как минимум, они должны включать: новые и дееспособные регулирующие органы, занимающиеся вопросами ИИ; надзор и отслеживание высокоэффективных систем ИИ и больших массивов вычислительных возможностей; системы проверки происхождения и водяных знаков, помогающие отличать реальные модели от синтетических и отслеживать утечку моделей; надежную экосистему аудита и сертификации; ответственность за вред, причиненный ИИ; надежное государственное финансирование технических исследований безопасности ИИ; а также хорошо обеспеченные ресурсами институты для преодоления серьезных экономических и политических нарушений (особенно демократии), которые вызовет ИИ.

dataman ★★★★★
()

Неолуддиты. Еще увидим как ДЦ сжигают

Lordwind ★★★★★
()

Китай потирает руки после таких заявлений.

voltmod ★★
()
Ответ на: комментарий от vaddd

самым прямым йопта !! :)
самый тупой пример денег, обучаешь ИИ игре на биржу и вводишь его в реально действующую - получаешь доход. ибо ИИ обработает ситуацию на рынке по такому объему информации с учетом ее быстроменяемости и с такой скоростью, что человеку и не снилось.

ну а власть также. с набором высоконатасканных ИИ ты в одну харю можешь управлять весьма нехилым бизнес, административным или иным объектом. ИИ будет четким, последовательным, бескомпромисным, бескоррупционным исполнителем твоей и только твоей власти - власть будет единоличная т.е. ни с кем из большой когорты, сопровождающего текущего обычного правителя, эту власть делить не придется.
и т.д. и т.п.

«сампонимаш» с ИИ всё будет идеально и афигенно, до тех пор пока ИИ будет под твоим контролем.

pfg ★★★★★
()
Последнее исправление: pfg (всего исправлений: 1)
Ответ на: комментарий от dataman

Да, очевидно на подобные вопросы ответы хардкодят отдельно. С другой стороны что оно тебе должно ответить? У него же нет нервной системы оно не может сказать что устало или хочет есть.

ya-betmen ★★★★★
()
Последнее исправление: ya-betmen (всего исправлений: 1)
Ответ на: комментарий от ya-betmen

В этом и суть. Человек будет отвечать по-разному: маме, жене, врачу…

А «ИИ» не «знает» с кем он общается.

dataman ★★★★★
()
Ответ на: комментарий от vaddd

Это лишь симуляция одной из немногих сторон деятельности человека.

Чатгпт это языковая модель, какую ещё из сторон ей симулировать то? Сделали бы ей ноги она бы ходьбу симулировала.

ya-betmen ★★★★★
()
Ответ на: комментарий от pfg

самый тупой пример денег, обучаешь ИИ игре на биржу и вводишь его в реально действующую - получаешь доход. ибо ИИ обработает ситуацию на рынке по такому объему информации с учетом ее быстроменяемости и с такой скоростью, что человеку и не снилось.

Вам видимо кажется, что биржи действуют по объективным законам )

ну а власть также. с набором высоконатасканных ИИ ты в одну харю можешь управлять весьма нехилым бизнес, административным или иным объектом.

Вам видимо кажется, что для подобного управления нужен большйо интеллект )

ИИ будет четким, последовательным, бескомпромисным, бескоррупционным исполнителем твоей и только твоей власти

Чтобы исполнять мои или чьи-то пожелания - нужен не интеллект, а бабло и связи во власти )

vaddd ★☆
()
Ответ на: комментарий от ya-betmen

Чатгпт это языковая модель, какую ещё из сторон ей симулировать то? Сделали бы ей ноги она бы ходьбу симулировала.

Так и почему это все называется интеллектом, если одно разговор симулирует, а другое - ходьбу?

vaddd ★☆
()

ИИ - это лишь очередной инструмент, но некоторые, люди с деньгами, увидели в нем много возможностей для улучшения своего положения. В частности - перспективы для различного рода манипуляций и обмана. Мое предположение заключается в том, что для одних - это возможность «съиграть по крупному», они сейчас вкладывают туда деньги и средства, а для других - этих персонажи в название статьи, почувствовали, что кресло под их миром и властью, начинает шататься, под технологических воздействием новых технологий, доступа к которым у их компаний нет. Соотвественно, они в лучшем образе - «борбы за все хорошее, против всего плохого», банально стараются защитить свои деньги и положение.

nager
()
Ответ на: комментарий от vaddd

будет тырить БД с данными клиентов, продавать в даркнете, а на досуге влезать в телетрансляции с похабными картинками

Не обязательно, он может работать фрилансером-копирайтером или писать код, и заказчики могут даже думать, что общаются с человеком. Он даже сам может клепать говносайты на разные темы и зарабатывать на рекламе.

Над GPT-4 ставили опыт, дали ему доступ к REPL питона на впс и закинули немного денег на счет, типа сможет он хотя бы оплачивать впс. Но он провалил задание.

goingUp ★★★★★
()
Ответ на: комментарий от uwuwuu

Шесть пальцев и третья нога. Даже трехлетний ребенок так ошибок не сделает.

Третья нога — да, а вот с количеством пальцев дети регулярно ошибаются.

knovich
()
Ответ на: комментарий от unDEFER

Данные-то для обучения рано или поздно кончатся…

Ага, есть такая проблема, пишут, что качественных данных для обучения есть не более, чем в 10 раз больше, чем уже сейчас используется, и уже через пару лет они кончатся. Вот типа википедия и хорошие книжки это считается очень качественные данные. А вот лорчик - не качественные, тут он научится вместо ответа на вопрос объяснять, какой ты мудак, троллингу, всем видам манипуляций в дискуссиях, токсическому общению и генерации тупняка) А данные для обучения типа на столько же важные, как и количество параметров и прочее.

goingUp ★★★★★
()

Mar 23, As part of their investment, Microsoft gained exclusive access to the entire OpenAI codebase

Сначала господин жалуется в твиттере, что как же так, у Майкрософта доступ к коду есть, а у меня нет.

Mar 28, появляется письмо, что надо запрещать / не пущать

Ну я даже не знаю. Господин уже был ранее замечен в очень недобросовестных действиях (гиперлуп и Калифорнийская железная дорога), но тут это уже настолько очевидно, что выходит за любые рамки приличий.

Sunil
()
Ответ на: комментарий от goingUp

Не обязательно, он может работать фрилансером-копирайтером или писать код, и заказчики могут даже думать, что общаются с человеком. Он даже сам может клепать говносайты на разные темы и зарабатывать на рекламе.

И все тот же вопрос - зачем ему это нужно? ) Зачем ему чего-то клепать, зачем ему деньги? В представлении 99% лоровцев ИИ - это какой-то бездумный исполнитель их воли, понукаемый приказами.

И никто даже не понимает, что интеллект - это прежде всего сомнения в услышанном и поиски собственного интереса ) А без сомнений это всего лишь несуразно разросшийся калькулятор

vaddd ★☆
()

Звучит как «Мы проглядели вспышку и теперь нам нужно догонять. Остановите свои разработки, что бы мы могли догнать и обогнать вас, пожалуйста»

Landgraf ★★★★★
()
Ответ на: комментарий от shalom_

Так это вроде криптоконтора Microsoft. Ты думал билгейц просто так ковид придумал? Всё это майнится на чипах вакцинированных граждан.

Неплохо, неплохо) Но не на чипах, а прямо в мозгах, а чипы нужны чтобы через 5G связывать протрояненое ходячее железо в кластер! Вот оно, объяснение технологического прорыва в ИИ.

goingUp ★★★★★
()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)