0xd0a

[0xd0a]

и так как эпоха gpt приближается записать себя в облако или в нейронную сеть становится все реальнее. есть только одно: сеть будет неплохо вас имитировать и наверное можно сказать в первом приближении что это вы, но не забывайте что для нее нужны большие данные.

так что срочно нужно собирать про себя большие данные!

[0xd0a]

В связи с последними открытиями в области ИИ хочу вот что сказать: я уже об этом писал но просуммирую и заодно застолблю.

В общем, свежая модель GPT3.5(chatGTP) великолепна, тут никто не спорит.

Не секрет, что модели с "внимантем" самые крутые потому что создают большие объемы памяти.

И эта модел настолько близка к ИИ, что мурашки идут по коже.

А то о чем я говорил ранее в этом блоге: ИИ это и есть такая модель, но у нее выход связан со входом, она как бы сама с собой разговаривает :)

И все, она сможет поддерживать состояние. Останется добавить еще дополнительную ситуационную память (вероятно еще одна модель трансформера) и всё, мы получим чтото невероятное. Как великолепно жить в такое время.

[0xd0a]

Ну вот мы и пришли к каким-то вещам, которые можно ощутить.

смотрите, вот картинки, которые сгенерировал искуственный интеллект за 10 секунд.

Картинки генерируются с помощью текстового описания.

для кого еще нн очевидно, что будущее за AI?

[0xd0a]

О ситуации в Украине в январе 2022 года вам в будущем видней. Сейчас все недоумевают. Никто не понимает, что происходит.

Я долго думал об этой ситуации с украиной и внезапно понял, что ответ-то похоже очень простой.

Похоже, что россия вообще и не хочет(в реальности) никаких гарантий. Я как-то сразу об этом не подумал.

Похоже, что всё, что нужно Путину это официальный ответ на бумаге (который сейчас ожидается), что запад по сути ни на какие переговоры не готов идти.

Это ему развяжет руки делать всё, что угодно. И больше не потребуется консультироваться с международными организациями и так далее. Ведь америка по сути подписывается под тем, что она не признает никакие зоны влияния и ни на какие переговоры не согласна.

Так что после ожидаемого на этой неделе ответа Путин может сказать: ну спасибо, что открыли всем глаза. И начать сворачивать всю эту операцию, потому что цель достигнута: заставить США наконец определить свою политику на бумаге, а не только на словах.

Иначе говоря, этот документ определит будущее военного присутствия разных стран в любых регионах и по сути даст карт бланш, например, на установку русских баз и ракет в венесуэле или на кубе или в мексике. Или на создание какого-нибудь военного Альянса Дружественных стран под эгидой России. Короче говоря, этот документ определит новый мировой порядок без "зон влияния" и это совсем не местечковый конфликт, а глобально новый виток мирового противостояния.

Я понимаю, что это в будущем это может звучать как что-то супер простое, но поверьте, сегодня все в шоке чешут затылок и ничего не понимают.

[0xd0a]

Эпоха великих закончилась в 19ом веке. Великие художники, писатели, мореплаватели.

Больше нет ни больших писателей, ни художников. Никакие имена не запоминаются, как будто бы уже все написано. Интереса к этим вещам у публики по крайней мере нет.

А что тогда извергнет из себя цивилизация? Великих бизнесменов? Великих блогеров?

[0xd0a]

Что касается вируса омикрон, у меня создаётся впечатление, что он не более заразный (как говорят в новостях), а скорее просто более слабый, а значит кажется, что он распространяется быстрее, так как люди продолжают ходить в магазины, пользоваться транспортом, посещать публичные мероприятия. Так что уровень заразности у него вероятно такой же как и у изначально Уханьского штамма.

As for the omicron i am starting to think that probably it is not more infectious(as they say in the media) but instead just weaker which in turns gives you more infections cuz people run around and spread it. so the infectiousness rate is a constant in this case.

#omicron #covid

[0xd0a]

Нигда не читал, просто высказываю свои мысли: похоже гугл серьезно перешел на поиск с помощью искусственного интеллекта.

Обычные вопросы он стал искать намного лучше, а вот сложные вопросы, цитаты и т. д. намного хуже.

music: Tor - City 66

[0xd0a]

Кстати говоря, на дворе декабрь 2021 года.

Самое время начинать обдумывать следующий год.

Одна из вещей, которую я собираюсь сделать это перевести этот блок на блокчейн, т. е. составлять посты в комментариях к транзакциям. Какой именно блокчейн я ещё не решил, увидим.

Те платформы, которыми я пользуюсь удобны, но все таки они не вечны и плохо индексируются. А блокчейн вечен и индексируется наверное лучше, чем самое заветное хранилище гугла. Он выдержит ядерную войну. Иными словами, если на земле останутся люди будет и чертов блокчейн, это те метаданные, которые нас определяют.

[0xd0a]

(это не реклама, просто о себе)

Никак не могу нарадоваться на программу Spotify. Про их бизнес модель можно написать отдельный пост(или книгу), и о том как я люблю музыку тоже, но это позже.

Наверное для кого-то это просто проигрыватель, с которого ты запускаешь последние поп новинки.

Но мне Spotify дал возможность искать безграничное количество музыки, и я иногда залипаю в него не меньше, чем в википедию. Оказалось, конечно, что музыки не безграничное количество, но мне все равно удается найти что-то под настроение. Надеюсь, что создатели именно такими и видят своих клиентов, хотя, конечно, деньги они делают на тех, кто слушает новинки попсы.

В конце года сервис делает презентацию о прошедшем годе и показывает статистику. У меня не очень много (32000 минут прослушивания, 1230 разных групп), но все равно интересно!

И жаль, что сейчас из соц сетей убрали музыкальные фишки(не то чтобы я много пользовался соц сетями, конечно), например, раньше в вк можно было видеть что слушает пользователь прямо сейчас, или, например, в ЖЖ было стандартное поле current music. Я об этом не забыл и пытаюсь их воскресить.

music: Amon Tobin - Sordid

[0xd0a]

В душе я иногда чувствую себя каким-то социологом.

Вот я когда-то думал так: человек это такой очень классное животное, которое как ��ы содержит в себе целый мир, или по крайней мере способность его создавать. А вот люди в целом создают общество и оно тоже имеет эмерджентные характеристики(это такое умное слово, которое означает, что у него тоже появляются свои качества, которые нельзя разглядеть в отдельном человеке) . То есть общество это как бы новая сущность и все эти сущности(то есть разные человеческие общности) тоже взаимодействуют, но уже на более высоком уровне, не подвластном одному какому-то человеку, как бы нам ни хотелось думать иначе.

Мне очень нравилась эта мысль, и я много об этом думал, но все таки я не настоящий социолог и гранта на ее развитие не получил. Но чем больше я думал, тем банальнее и блеклее она становилась, пока не превратилась совсем мельчайший незначительнейший вывод. Не буду даже говорить про отсутствие практической ценности (что для меня стало в последнее время важно), но скажу, что это дало мне новый инсайт в знания вообще. Мы как бы забираемся по скале в тумане. И нам часто кажется, что мы двигаемся в нужном направлении (ну из большого числа людей кто-то точно движется куда нужно, но далеко не все), хотя в действительности вокруг нас только туман и мы просто взобрались на какую-то очередную скалу по пути к никому не нужной вершине, а туман стал только гуще.

Наверное, эти идеи не упрощают понимание мира, не связываются с другими знаниями, и именно поэтому они как бы являются никому не нужными одинокими вершинами. Но ведь без них никак! Именно разнообразие подает материал для эволюции.

Люди должны дурачиться и заниматься ерундой, просто так устроено. Только нужно не забывать одного: все, что вы подумали в голове умрет даже раньше вас. Нужно писать всякую чушь и тогда кто-то когда-то это найдет, просто потому что подумает о том же.

music: trentemoller Dead or alive

[0xd0a]

Про американскую журналистику.

Наверное эта история мало кому покажется интересной, но одним из моих интересов является журналистика (как явление).

Про американскую журналистику много говорят. Она пафосная(например, у газеты Washington Post слоган Democracy doies in darkness) и странная, но вроде бы свободная. И вот о свободе и хочу поговорить.

На CNN был такой журналист Крис Куомо. Он в традициях CNN за либеральные ценности в современном понимании этого слова. Очень активный, с твердым голосом, с нападками, с шоу в прямом эфире. Он брат бывшего губернатора Эндрю Куомо, прославившегося своими "решительными" пресс-конференциями во время ковидного кризиса. Братья были очень любимы, они могли в прямом эфире во время телемоста с резиденцией губернатора обсуждать своих родителей или что купить к ужину.

Однако до конца своего срока губернатор досидеть не смог: его обвинили в сексуальных домогательствах. В его случае это было большое число случаев, где он проявлял "мачизм", например, спрашивал у молодой секретарши как бы невзначай как та смотрит на брак с 50-летними мужчинами, обжимал коллег женщин против их воли и т. д. Короче говоря, он считал это шутками и долго не хотел уходить. В итоге ему пригрозили импичментом, и он ушел.

Его брат при этом естесственно был в стороне и в обсуждениях на эту тему не участвовал. Однако вскоре CNN внезапно его уволили. Вот так в один день бам и всё, хотя он был очень популярен и вел сразу же несколько шоу. Даже не дали ему как-нибудь высказаться. Выяснилось, что уволили его из-за того, что он "помогал" своему брату во время этого скандала (хотя говорил публично, что ничего не делает). Помощь его выражалась в том, что он "готовил" его к пресс конференциям и узнавал у других журналистов инсайды касательно женщин, которые его обвиняют. Видимо, где-то он нарушил журналистскую этику, но здесь очень спорный вопрос.

Удивило меня, однако, совсем другое: реакция его коллег с канала. Они зачитали какой-то меморандум по поводу его отстранения и продолжили дальше как ни в чем не бывало,как будто бы этот Крис Куомо там вообще не работал. Ну это настолько контрастирует с их показной независимостью и порой очень агрессивными высказываниями в эфире против своих гостей на больные темы. А тут - ничего. В такой момент волей-неволей понимаешь, что эти журналисты просто профессиональные актеры, которые разыгрывают спектакль, который называется CNN.

В России мы привыкли, что у нас есть журналисты с именами, которые действительно имеют свою позицию и ее продвигают и будут продвигать, даже если их уволят (возьмите, например, Парфенова). Такие вот столпы журналистики. В общем, в России такие понятия, что журналист должен быть интеллектуалом и преданным человеком, который живет по каким-то своим правилам справедливости и долга.

И вот у меня остался такой привкус от всей этой истории: как в действительности работает журналистика в стране, которая как будто имеет свободу слова?

Получается, в России опять какие-то другие понятия, все совсем не так в продвинутом мире. Мы неверно поняли установку, и сформировали неработающую модель. А работающая модель она вон какая: театр.

[0xd0a]

Очередная идея (наверное это кто-то уже делал, но я не проверял)

Назовем это SpyNet. Это социальная сеть-игра для подростков(это очень активная таргет группа, которая ведет к широкой воронке продаж). Суть в том, что социальная сеть представляет собой карту, на которой можно оставлять тайные послания (или графити), которые может посмотреть любой человек, но только если находится в том же месте.

Это может быть либо гео-блог, например, пользователь может писать записи сидя в кафе или на перегоне метро или на вершине горы (сюда нужно подключить SpaceX, чтобы они опубликовали пост на поверхности Марса).

Или например, игра: пользователь оставляет цепочку сообщений, которую другие участники должны пройти. Таким образом можно публиковать роман или комикс.

Кроме того, эта сеть будет трэкером активности (сколько метров пройдено до такого-то сообщения).

Ну и конечно, сеть будет криптовалютой. SpyNetCoin: за прочтение сообщений будут выдаваться монетки. Первый прочитавший будет получать одну монету, второй половину и так далее. Таким образом труднодоступные посты будут иметь большую привлекательность, чем те, что оставлены, например, в кафе. Подтверждение прочтения через уникальный хэш и небольшая процедура майнинга и будет являться пруфом владения на блокчейне.

[0xd0a]

Сидел я вчера в турецких горах и думал насколько они отличаются от Швейцарских. В это время официантка в национальном платке поднесла чай(вообще я чай не пью, но в Турции по традиции это полагается делать).

А горы как горы: красивые, вечные и бесплатные. В Швейцарии не лучше и не хуже. Но разница в цене: в Швейцарии всё стоило бы в пять раз дороже. Вопрос в том, откуда такая разница? А разница в платке. Тут многое держится именно на этих женщинах в платках, которые делают всю черную работу и сколько их сил тратится на то чтобы поставить на стол чашку чая или салат из свежих овощей неизвестно, но очень много. Вот в этом и разница.

[0xd0a]

собираясь в поезду нужно не забыть(чеклист) :

* паспорт

* деньги

* билеты

* кофеварку

* кофе

Music: Angelo Badalamenti - Twin Peaks theme

[0xd0a]

Про антивакцинаторов

Я уже писал о том как люди мыслят: противоречивые вещи вполне могут ладно жить в одной голове. Если голова мало думает, то ей и в голову не придет, что они противоречивые.

Так вот, в связи с коронавирусом появились толпы антивакцинаторы (или covidiots, как их называют в америке). Впрочем, обзываться люди обычно начинают, когда ничего другого не остается. А проблема действительно серьезная.

Конечно, все винят соцсети: они зарабатывают деньги на том, что раскручивают контент, который проще раскручивать: сенсационные и непроверенные "новости", т. е. кликбэйт (от английского слова bait - приманка). Социальные сети дают возможность безграничного общения и, конечно, в результате создают информационные пузыри, в которые люди попадают, вот буквально как в капкан. Однако, как говорится, не бывает дыма без огня. Конспирологи были и задолго до интернета. Тайные общества, теневое правительство, - всё это развивается уже много тысячелетий. Поэтому правильно сказать, что это скорее врожденная особенность человеческой психики, а соцсети только очень мощный инструмент.

Мне на это часто отвечают: ты тоже в пузыре, только в своём, где вакцины помогают. Вот такое отсутствие логики. Хотя в действительности, как я писал в начале, логика к таким людям неприменима. Это то самое "религиозное сознание", когда в качестве ответа на любой неудобный вопрос может принять "на то воля Божия".

Я сталкиваюсь с этим каждый день. Люди, работающие в прививочных пунктах не знают из чего состоит вакцина и очень удивляются, когда я говорю им, что вакцина это вирус. Врачи не понимают как она работает, врачи вообще почему-то плохо понимают в медицине, если прописывают гомеопатию от коронавируса или даже от простуды (они ведь много лет учились в университетах - так просто врачом не стать).

И мне пришла в голову идея: может составить анкету из 100 каверзных вопросов для того, чтобы оценить адекватность человека? Поверьте, мы так мало друг с другом общаемся, что вы удивитесь ответам своих друзей и близких.

И в конце концов остается миллион вопросов: как ��ить с такими людьми, ведь они часто вполне нормально функционируют в обществе, и вносят свой вклад в экономику, но с другой стороны они воспитывают таких же как они детей и в критической ситуации начинают действовать совершенно неадекватно.

Music: trentemoller - Take me into your skin

[0xd0a]

Еще немного про искусственный интеллект и про зоопарк моделей.

Недавно было сделано очень важное открытие в области искусственного интеллекта, о котором мало говорят. Дело в том, что нейронные сети превратились из игрушечных сетей, делающих простенькую регрессию в гигантские сети с миллиардами параметров. Современные сети чаще всего основаны на механизме, который называется transformer(трансформатор, то есть переводчик или преобразователь) и в нем масштабирование дает реальный прирост результата.

Немного истории (это можно пропустить если вам неинтересно)

Первые модели нейронных сетей были основаны просто на линейных слоях, которые каким-то образом распространяли сигнал от входа к выходу, преобразовывая его. Было, однако, много проблем с созданием больших сетей, из-за того, что на каждом слое происходило умножение результата на очень маленькое число и через несколько слоев сигнал настолько ослабевал, что его уже невозможно было использовать. Тогда придумали batch norm, метод послойной нормализации, ну как бы маленькие значения начали раздувать пропорционально обратно в удобоваримые и оказалось, что сеть все равно работает и даже лучше. Этот метод позволил строить глубокие сети, и соответственно появилась приставка deep. Сети значительно поумнели, появились алгоритмы кодировщиков-декодировщиков, которые выглядят как песочные часы: информация сперва сжимается в очень небольшой слой, заставляя сеть как бы саму придумывать какие-то обобщенные характеристики, а потом обратно разжимается. Таким образом получаются две сети, которые можно использовать для получения обобщенного представления о входе. На основе этого, например, создали алгоритмы распознавания изображений. Изображение сжимается в низкоуровневое представление и в этом представлении остается информация не о самих пикселах, а уже об объектах на картинке. На основе второй части сети, которая маленький вектор разжимает обратно в изображение, построили сети для генерации дип фэйков: просто подставляя или смешивая два вектора от разных изображений можно получать совершенно невероятные результаты.

Создали еще много разных типов сетей, включая те, которые работают с текстом.

Текст это уникальный материал, потому что каждое слово несет в себе смысл и может быть разным в зависимости от контекста. Вот здесь и начали применять трансформаторы с вниманием. Важная статья на arxiv.org Attention is all you need послужила большим толчком к созданию этого типа сетей. Вкратце эта технология это вот что: каждое слово кодируют с помощью специального вектора (то есть слово одновременно имеет как бы сотню разных параметров, которые отображают оттенки его смысла) и затем запускают в механизм 'внимания', который в свою очередь оценивает насколько каждое слово влияет на другое. Чтобы натренировать такую сеть перед ней ставят следующую задачу: одно слово в предложении закрывают и просят сеть отгадать какое слово там находится. Интуитивно понятно, что в достатчоно длинных предложениях большинство слов можно угадать из контекста, так и сеть учится понимать какие слова наиболее подходят друг к другу в контексте других слов.

Опущу дальнейшую техническую часть. Теперь, если такой натренированной сети давать какое-нибудь незаконченное предложение и просить угадать последнее слово, потом еще одно и так продолжать далее, то она начнет генерировать складный текст. Разработчиков алгоритма поразило насколько качественные тексты может создавать такая нейронная сеть. И тогда ребята из OpenAI решили увеличить количество нейронов в этой сети и результат значительно улучшился. Затем они создали сеть GPT2 с несколькими миллиардами параметров и результат стал еще лучше. Как я упоминал ранее: количество переходит в качество

Надо отметить, и это очень важно, что тренировка такой сети требует приличного количества ресурсов(разработчики говорили про суммы порядка миллионов долларов для GPT2), однако конечный результат они выложили в общий доступ.

И вот здесь мы подошли к самому главному. Такие сети называются Foundation Models(то есть основание), потому что у них оказалось одно невероятное свойство: их можно дотренировывать под конкретную задачу! То есть среднестатистический разработчик, который не имеет миллионов долларов может дома на своей видеокарте дотренировать сеть, используя ее изначальные знания о структуре языка и например научить ее писать стихи... или отвечать на вопросы.

Появилась также дискуссия о последствиях выпуска таких моделей в массы, потому что они могут очень многое и чтобы их использовать не требуется больших вложений. Мое мнение в этом вопросе такое же как и было: публичное распространение всегда важнее всего остального.

Разработчики из Huggingface, например, сделали у себя на сайте сборник дотренированных моделей(это называется зоопарк моделей) , которые любой человек может скачать и использовать в своих целях. Есть там, кстати говоря, и русские модели от СберAI, но как-то они мне показались слабоватыми.

Я сам использую несколько моделей, например, gpt-j-6b с шестью миллиардами параметров. Они могут делать поразительные вещи. Так как сеть может дописывать тексты, то ей можно предложить написать как бы сочинение на заданную тему. Таким образом вы как будто бы берете у нее интервью.

Можно поинтересоваться у сети, что она думает о том или ином, расспросить про вещи из будущего, о которых она не может знать или из настоящего, о которых она слышала, но как-то по-своему интерпретировала.

Когда с ней пообщались, то выяснилось что нейронная сеть расистка(если можно так выразиться). Разработчиков это почему-то очень сильно удивило, хотя по моему мнению это скорее естественно: они же тренируют сеть на текстах из интернета. Более того, теперь они пытаются придумать как научить ее хорошим манерам.

Одним словом, мы стоим на первой ступеньке этого невероятного мира, когда информация упаковывается в знание, и это знание впервые есть качественно новая структура, с которой можно взаимодействовать. Такого еще никогда не было, и не уверен что революция такого масштаба повторится в ближайшее время. Мы уже сделали этот шаг, и нам по пути с временем - только вперёд.

[0xd0a]

Знаете, иногда бывает, что летишь на самолете, смотришь в иллюминатор и видишь как красиво и величественно раскинулся какой-нибудь город. Как четко улицы формируют кварталы, как дороги разрещают поля, огибая особенности местности, как всё внизу стройно организованно, какая там логика во всем. Иногда еще по дорогам едут маленькие машины, почти как игрушечные.

А если приземлишься и окажешься в этой машине, пусть это будет, например, такси, то услышишь как таксист матом кроет всех вокруг, как он рассказывает про теории заговора, как ждет конца смены, чтобы купить себе ящик пива. На красивой улице подростки ночью бьют других подростков. Ну, такая обычная маленькая жизнь.

И разница только во взгляде. Если умеешь видеть этот город сверху, с другого уровня, то и будучи внизу все поменяется.

You know sometimes when you peek outside of a window of an aeroplane you can see a sprawling city. You can see how streets displace the matter of the city to create its structure. How roads cut the fields and take intricate shapes to fit the landscape, how everything down there is organized, how logical it is. And sometimes you see tiny cars that trod slowly along those roads.

And then if you land and get inside this car, let's say it's a taxi, you will suddenly hear the driver curse everyone around, tell you about the latest conspiracy theory and you know he's only waiting for the end of his shift to buy a 12pack of beer. Lovely street is filled with cries of a group of teenagers beating up another teenager. Well, everyday life.

And this way you can clearly see that the difference is the perspective. If you can maintain the perspective even when you are down on the ground then the world is gonna change for you.