↑↑↓↓←→←→ⒷⒶ Войти !bnw Сегодня Клубы
УНЯНЯ. У нас есть немножечко инфы об этом пользователе. Мы знаем, что он понаписал, порекомендовал и даже и то и другое сразу. А ещё у нас есть RSS.
Теги: Клубы:

Новая архитектура глубокой нейросети (Neural GPU) позволяет ей обучаться алгоритмам быстрее и обобщать лучше чем предложенной ранее Neural Turing Machine . В частности продемонстрирована тренировка модели на операциях двоичного сложения и умножения 20-битных чисел и обобщение этих операций на 200 и 2000 битные числа со 100% точностью: http://arxiv.org/abs/1511.08228 Очень интересно какие задачи получится решить с такой архитектурой, учитывая то что даже без такой сильной способности к обобщению глубокие нейросети уже дают выдающиеся результаты (например https://github.com/karpathy/neuraltalk2 https://github.com/abhshkdz/neural-vqa )
#1GM8LL (1+2) / @engineer / 3272 дня назад
ai
Может кому-то будет интересно, я наткнулся на FAQ по исследованиям в области сильного ИИ. В нём коротко и честно объяснены основные навыки которые нужны для работы в этой области, основные подходы, их достоинства и недостатки (особенно недостатки, так как за последние 50 лет было перепробовано очень много неработающих подходов, автор честно признаётся что задача крайне трудная). Я не во всём согласен с автором, мне кажется он переоценивает роль рекурсивного самоулучшения в ИИ (ведь эта способность никогда не была продемонстрирована ни естественным ни искусственным интеллектом), но в качестве FAQ этот текст работает хорошо, с изложением истории спорить трудно. Вот сам FAQ http://bbs.stardestroyer.net/viewtopic.php?f=49&t=136633 А вот вырезанный оттуда список разных подходов к ИИ которые пробовали за последние полвека (судя по своим знаниям могу сказать что он почти полный, только reinforcement learning и AIXI не хватает) http://pastebin.com/DSENuPUM Ещё у автора текста есть свой ии-стартап http://web.archive.org/web/20101004033736/http://www.bitphase.com/technology.html правда он похоже не взлетел.
#FP3WQO (3+5) / @engineer / 3440 дней назад
А Ричард Саттон оказывается либертарианец, а я и не замечал: http://webdocs.cs.ualberta.ca/~sutton/
#EYPL64 (1+3) / @engineer / 3636 дней назад
Юрген Шмидтхубер всего за час делает беглый обзор коннекционистских подходов к ИИ: многослойных перцептронов и свёрточных нейросетей, рекуррентных нейросетей, в том числе LSTM. (За полным обзором с библиографией - в ссылку из видео). http://www.youtube.com/watch?v=h4FqFss9hEY
#VFATG3 (0+3) / @engineer / 3657 дней назад
http://arxiv.org/pdf/1410.5401v1.pdf We extend the capabilities of neural networks by coupling them to external memory re- sources, which they can interact with by attentional processes. The combined system is analogous to a Turing Machine or Von Neumann architecture but is differentiable end-to- end, allowing it to be efficiently trained with gradient descent. Preliminary results demon- strate that Neural Turing Machines can infer simple algorithms such as copying, sorting, and associative recall from input and output examples. Замечательно, полностью дифференцируемый вычислитель, программу для которого можно изменять градиентным спуском по ошибке! Вычислитель малые изменения в представлении программы которого приводят к малым изменениям в алгоритме работы! Это - будущее. А наши гигабайты юниксовой деградации готовой сломаться в любой момент от одиночной перестановки бита, которую упорно пишут и чинят миллионы программистов и которая всё равно ломается - это артефакт XX века.
#RE0U61 (7+1) / @engineer / 3667 дней назад
Листаю тут книжку http://wiki.humanobs.org/_media/public:events:agi-summerschool-2012:psi-oup-version-draft-jan-08.pdf >Let me invite you to a journey into what might be seen as a piece of really old fashioned Artificial Intelligence research >Yet, there is reason to believe that despite inevitable difficulties and methodological problems, the design of unified architectures modeling the breadth of mental capabilities in a single system is a crucial stage in understanding the human mind, one that has to be faced by researchers working where the different sciences concerned with human abilities and information processing interface. >The peculiarity lent by the constructionist stance to AI sadly did not attract many philosophers into the labs of the computer science department (although it attracted some, see for instance Boden 1977, 2004; Pollock 1995; Haugeland 1985, 1992; Sloman 1978), and it seems AI yet has some distance to cover before it may announce a complete success in its quest. Yet, every failure also helps to shed some light, because an approach not working is a hypothesis falsified А и правда, почему философы, психологи и прочие так мало пытались строить численные версии своих словесных моделей и онтологий и проводить повторяемые вычислительные эксперименты однозначно демонстрирующие их производительность в решении когнитивных задач? Ладно даже, забудем пока про когнитивные эксперименты уровня людей, но почему например симуляций моделей поведения насекомых почти не было?
#WOFCJ7 (8+2) / @engineer / 3702 дня назад
В современном ИИ (которое по большей части представлено машинным обучением) есть три основных задачи: 1) Классификация, она же обучение с учителем: есть тренировочное множество объектов, каждый объект помечен меткой. Задача алгоритма состоит в том чтобы обучиться присваивать верные метки объектам даже тем которые он не видел. Есть вариант этой задачи - регрессия - когда каждому объекту присваивается вещественное число а не метка из небольшого конечного множества. Лучшие алгоритмы для решения этой задачи - свёрточные нейронные сети, SVM, random forest, AdaBoost. 2) Обучение без учителя, она же кластеризация, она же извлечение особенностей (feature extraction): Задача алгоритма состоит в том чтобы распределить объекты по группам по похожести оптимальным в некотором смысле образом. В идеале если такому алгоритму дать набор где перемешаны фотографии людей и котов то он сам раскидает их в две кучи так что в одной будут почти только люди а в другой почти только коты. (Разреженный автоэнкодер Google научился это делать с неплохой точностью). Лучшие алгоритмы для этой задачи - kmeans, PCA, разреженные автоэнкодеры. 3) Обучение с подкреплением, оно же reinforcement learning. В этой задаче алгоритм на каждом шаге принимает входные данные из некоторой среды а также число означающее "награду" (то что можно интерпретировать как удовольствие или боль) и выбирает одно из множества доступных действий. Цель агента - добиться максимальной суммы награды по шагам. Т.е. такому алгоритму приходится исследовать какие действия и их последовательности в данной ему среде приводят к награде (удовольствию) в зависимости от воспринимаемых данных и учиться достигать этих состояний снова и снова. Замечу что задача 3) наиболее общая, так как задачи 1) и 2) сводятся к ней. Именно способность алгоритма к решению широкого множества частных случаев задач типа 3) стало принято считать наиболее общим определением интеллекта. Лучшие алгоритмы для решения этой задачи - TD(lambda), Q-обучение с аппроксиматором на основе свёрточной нейросети.
#WXFOXN (5+2) / @engineer / 3702 дня назад
ai rl

Прорывной результат же, а почти не обсуждается.
http://arxiv.org/pdf/1312.5602v1.pdf
Демонстрируется алгоритм для решения задачи обучения с подкреплением (на основе Q-обучения, нейросети для оценки функции награды и стохастического градиентного спуска для поиска её параметров) который способен учиться играть в 7 игр на Atari, в некоторые из них - лучше человека.
Интерфейс игрового бенчмарка таков: на каждом шаге алгоритм может выбрать действие из конечного набора (аналогично нажатию кнопки на геймпаде) и получает на вход массив RGB пикселей размером 210x160 и число - счёт в игре.
Алгоритм учится взаимодействовать с игрой как чтобы максимизировать счёт, т.е. учится успешным стратегиям игры (и заодно предсказанию будущей награды в каждый момент времени). Алгоритм неизменен, но после тренировки учится играть в любую из 7 игр.
Впечатляет что алгоритм принимает на вход векторы очень высокой (~800 - входные картинки сабсэмплятся и кропаются до 84х84) размерности и учится извлекать из них представление игры (среды в которой работает алгоритм) низкой размерности (содержащее только велечины которые влияют на награду), т.е. "понимает" игру.
Также впечатляет график 3 на странице 7: алгоритм "понимает" что новый враг это возможность получить больший счёт, выпускает снаряд и чем ближе снаряд к врагу тем выше ожидаемая награда.

Алгоритм разработан в DeepMind Technologies, конторе которую Google купило недавно за 400M$ http://www.digitaltrends.com/computing/google-deepmind-artificial-intelligence/

#WHTOY1 (5+4) / @engineer / 3935 дней назад

Формальная теория красоты (Шмидтхубер, http://www.idsia.ch/~juergen/creativity.html )
Пусть O(t) означает субъективного наблюдателя О в момент времени t.
Пусть H(t) означает историю предыдущих действий, чувств и наград наблюдателя до момента времени t.
О обладает каким-то адаптивным методом сжатия H(t) или её частей.
Мы обозначим субъективную мгновенную простоту или сжимаемость или регулярность или красоту B(D,O(t)) для любых данных D (но не их интересность или эстетическую ценность - смотрите ниже) как отрицательное число битов необходимое для кодирования D (видимо имеется разность длин D и его сжатого представления, прим. перев.), при данном ограниченном априорном знании наблюдателя и при его ограниченном методе сжатия.
Мы определим зависимую от времени субъективную интересность или новизну или удивлённость или эстетическую награду или эстетическую ценность или внутреннюю радость или радость как функцию I(D,O(t)) от данных D и наблюдателя O в дискретный момент времени t>0 как I(D,O(t)) = B(D,O(t)) - B(D,O(t-1)).
Эта величина описывает изменение красоты во времени, т.е. является первой производной субъективной простоты или красоты.
Когда обучающийся агент улучшает свой алгоритм сжатия, данные которые ранее были для него случайными становятся субъективно более упорядоченными и красивыми, требуя всё меньше и меньше битов для того чтобы их закодировать.
Пока этот процесс не закончился данные остаются интересными, но со временем они станут скучными несмотря на то что они останутся красивыми.
В момент времени t пусть r_i(t) = I(H(t),O(t)) обозначает мгновенную функцию веселья, радости или внутренней награды за улучшение сжатия путём открытия новых закономерностей где-то в H(t), истории действий и ощущений до момента времени t.
Пусть r_e(t) означает внешнюю награду в текущий момент времени, а функция r(t) = g(r_i(t),r_e(t)) - полную награду в данный момент времени, где g это функция которая взвешивает (определяет вклад) внутренней и внешней награды, например простая сумма: g(a,b) = a+b.
Целью агента во время t_0 является максимизация E[∑(t=t0,T,r(t))] где E это оператор математического ожидания, а Т - время смерти. (т.е. максимизация ожидаемой суммарной награды на промежутке времени от t0 до T).

#1UAFTA (3+1) / @engineer / 4125 дней назад

Ссылки имеющие отношение к универсальным языкам для представления знаний.
У ABBYY есть своя разработка Compreno:
http://www.abbyy.ru/science/technologies/business/compreno/#n;
которая напоминает http://www.undl.org/unlsys/unl/unl2005/ и http://en.wikipedia.org/wiki/Natural_semantic_metalanguage
Пара научных статей имеющиъ отношение к Compreno:
http://www.dialog-21.ru/digests/dialog2012/materials/pdf/Anisimovich.pdf
http://www.euralex.org/elx_proceedings/Euralex2012/pp456-461%20Selegey.pdf

#IHB95J (0+2) / @engineer / 4267 дней назад

IBM Watson - одна из наиболее интересных современных прото-ИИ систем. Мне, и многим другим интересно знать как она работает. Некоторое количество информации об этом разбросано по интернету:
Статья содержащая обзор высокоуровневыой архитектуры системы.
http://www.aaai.org/Magazine/Watson/watson.php
Инфраструктурные детали, а также предлагаемые открытые аналоги для создания простого и ограниченного налога IBM Watson.
https://www.ibm.com/developerworks/mydeveloperworks/blogs/InsideSystemStorage/entry/ibm_watson_how_to_build_your_own_watson_jr_in_your_basement7?lang=en
Что интересно, так это упоминание фреймворка UIMA который предназначен для извлечения фактов из неструктурированных источников. Одна из самых сложных задач на мой взгляд.
http://domino.research.ibm.com/comm/research.nsf/pages/r.nlp.innovation.html
http://farm6.static.flickr.com/5297/5455752519_37a780c5c7.jpg
Гайд по UIMA: http://www.fing.edu.uy/~gmonce/ws-uima-a4.pdf
http://www.nactem.ac.uk/tsujii/T-FaNT/T-FaNT.files/Slides/Brown.pdf
Сборник научных статей о UIMA и обработке естественного языка.
http://www.research.ibm.com/journal/sj43-3.html
В частности вот отдельные статьи:
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.90.5824&rep=rep1&type=pdf
libgen.org/scimag5/10.1147/sj.433.0490.pdf http://libgen.org/scimag5/10.1147/sj.433.0490.pdf
libgen.org/scimag5/10.1147/sj.433.0516.pdf http://libgen.org/scimag5/10.1147/sj.433.0516.pdf 
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.137.8093&rep=rep1&type=pdf
Из этих статей можно получить некоторое представление об архитектуре и алгоритмах Watson, хотя многие детали остаются в секрете (их право, ведь они - создатели).

#OUVRAU (0+1) / @engineer / 4267 дней назад
ipv6 ready BnW для ведрофона BnW на Реформале Викивач Котятки

Цоперайт © 2010-2016 @stiletto.