Боян 15-летней давности

"""
Причина кризиса 2008 года - за много-много лет до него...

Размышлял о истоках нынешнего кризиса. И нашел их.

Понятно, что в основе нынешнего кризиса неограниченная кредитная экспансия. Ипотечники в США понабрали субпраймов. Фонды прямых инвестиций выкупали компании за десятки миллиардов в кредит под залог этих же компаний. Хедж-фонды арбитрировали все, что движется с таким плечом, которое раньше только в форексных салонах было. Даже правительство США устроило войнушку в свое удовольствие в госдолг немыслимых доселе размеров. То же и у нас: олигархи в кредит скупали компании, инвестбанки - акции, граждане - жилье и машины. Словом, всему виной дешевый кредит. Как его не стало, все сжалось, и пошел "эффект музыкальных стульев".

Но откуда взялся дешевый кредит? Кто виноват? А виноват Гринспен, это он ставку с 2000 по 2003 опустил в ноль.

Но зачем Гринспен это сделал? А он боролся с рецессией, которую вызвали падение Энрона и прочих компаний, которые мукхлевали все 1990-е с отчетностью.

А зачем же компании мухлевали? А им советы директоров и акционеры говорили - посмотрите, как интернет-компании прут вовсе без прибыли и продаж! Прибыль каждый квартал больше давай, свои акции покупай давай, курс накручивай давай! И едва интернет-компании обвалились...

Почему ж интернет-компании поперли? А это оттого, что вся экономика стагнировала, и такого случая ради ставки срезали, в венчурные фонды деньги пришли... Как ставки выросли - тут интернет-компании и посыпались, а за ними и энроны покатились под гору, 9-11 только все докончил.

А почему ж ставки в начале 1990-х были низкие? Это так с рецессией боролись. Была противная долгая рецессия, ничего не помогало.

Откуда ж рецессия? А фондовый рынок обвалился, да еще до кучи все компании финансировались через джанк-бонды, на которые рейдеры компании перехватывали, бонды им Майкл Милкен делал, а деньги на те джанк-бонды давали ссудно-сберегательные ассоциации, которые почти не регулировались, вот они и воротили что хотели. И в целом на рынке был бум инвестиций.

Кто ж такие бонды и ссудно-сберегательные ассоциации нагородил? Неужели Милкен? Нет, он только ситуацией воспользовался. А дерегулировал экономику Рональд Рейган. Да еще Пол Волкер помог - ставки сперва взинтил до неба, а потом опустил, деньги и хлынули рекой.

Что ж Рейган и Волкер с ума спятили? Ничего подобного - они с жесточайшей стагфляцией боролись. А случилась эта стагфляция из-за того, что арабы ввели нефтяное эмбарго и цены на нефть подняли до небес (по тем временам).

Зачем же арабы это эмбарго сделали? Они таким образом боролись с Израилем, который им задницу надрал в 1967 и 1973 годах.

Получается, Израиль всю эту кашу заварил? Да нет, тогда уж виноваты англичане, которые еще в 1916 году пообещали израильтян переселить в Палестину, где израильтяне не жили почти два тысячелетия, а полтора на их месте жили арабы. Как спорам не быть, когда на одной территории два соседа.

Таким образом, все бы обошлось, живи евреи в Израиле безвылазно... Но ведь они ж не сами из Израиля ушли. А их выгнал древнеримский император Адриан в 132 году. Потому что евреи устроили восстание Бар-Кохбы, и с того восстания и начались два тысячелетия диаспоры.

Что ж евреи с Адрианом не поладили? А дело в том, что Адриан Иерусалим переименовал в свою честь и на руинах второго храма поставил статую своего малолетнего любовника Антиноя, которому велел поклоняться как богу. Лучше религиозные чувства иудеям он отдавить бы не смог.

Почему ж Адриан такую поразительную вещь учудил? Дело в том, что у него настроение было отвратительное. В том самом году они с Антиноем в Египет поехали - и Антиной утонул в Ниле. Адриан его обожествил, велел по всей империи ему статуи поставить, даже созвездие Орла в его честь переименовал. Он на иудеях сорвал злость по полной!

Итак, мы нашли причину кризиса. Антиной! Вот так, весь мир рушится - и все из-за одного ПИДОРАСА!
"""
src: https://web.archive.org/web/20210608043131/https://ammosov.livejournal.com/423796.html

Разговоры про (без)опасность #ИИ и superintelligence от #OpenAI и компании наводят на опасения что скоро правительства развитых стран, в ответ на опасения общественности и экспертов, начнут лицензировать разработку сложных ИИ. Ну как лабораториям нужны лицензии на работу с радиоактивными веществами, опасными вирусами или запрещёнными наркотиками. И в результате в добавок к (постоянно дешевеющим) вычислительным мощностям, мы получим ещё один барьер защищающий крупных игроков от конкуренции.

Что-то подобное произошло с ГМО, в результате коммерческой разработкой ГМО растений сейчас занимаются две с половиной компании богатые толстые и опытные во взаимодействии с регуляторами чтобы получить от них одобрение на свои продукты.

Я ни в коем случае не утверждаю что всё будет именно так или что ИИ-компании имеют такой план. Я понимаю что это по сути теория заговора и предлагаю отнестись к этому with grain of salt (фото grain of salt прилагается), но тем не менее

Нужно из питонячьего скрипта сгенерить простейшие pdf по шаблону. Две области текста выравненного по центру (области фиксированного размера, текст переменной длинны, если лишнее орежется — не проблема) и картинка фиксированного размера. Сверстал html-страничку, всё как надо, два div-а, один img и пара стилей. Для питона есть модуль рендерящий html в pdf, и вроде дааже не тяжеловесный, круто. А, пагади. у него зависимость от утилиты какой-то. Эта утилита походу тащит на себе webkit (спасибо что не хром) и её в репах дистра нет.
Ну да, html это ведь только современный html, а для рендера современного html нужно 10 гб исходников.

Ну ок, сделаю на svg, как тут сделать <div width='N' height='M' text-align='center' overflow='clip'>some text</div>? А чёрт его знает, может и не как, не под то формат делался всё-таки.

Но вот есть LaTeX, он делался как-раз примерно под то. Только прочти вот эту книжку. Не хочешь книгу читать, ладно, есть куча статей которые коротенько объясняют как быстро сверстать твою статью для научного журнала. В смысле тебе не нужно верстать статью для научного журнала!?!

FUUUUUUUUUUUUUUUUUUU

А есть какая-то обзорная статья по большим языковым моделям (GPT, LLaMA и тому подобное), так чтобы более-менее высокоуровнево про общую архитектуру и пайплан, но не совсем для самых маленьких. Из обрывочных источников у меня сложилось впечатление что процесс обучения выглядит так:
Сначала нулёвую неросеть обучают на Большом объёме более-менее рандомных текстов из интернета оптимизируя её способность дописывать тексты так же как оно было в обучающей выборке. После этого этапа нейросеть как бы знает язык.
Потом её дообучают на меньшем объёме текстов, но уже нужного формата (обычно диалогах с ассистентом). После этого этапа мы получаем уже чатбота (ну или на чём там дообучали).
Потом можно тюнить модель дообучая на ещё более меньшей выборке, или манипулируя запросом. Например чтобы получить хамского чатбота можно дообучить его на вручную составленном корпусе диалогов с хамом-ассистентом или просто добавить к запросу что-то вроде «Напиши хамский ответ на запрос: пользовательский_запрос».

При этом каждый следующий этап требует меньше вычислительных и человеческих ресурсов. Первый этап сейчас осилили всего несколько компаний с жирными бюджетами (OpenAI, Facebook...). Большинство ходящих по интернету моделей это производные от моделей этих компаний.

Правильно я понял?

Задолбал свет мигать. Один комп ИБП вытягивает, а второй выключается. Надо второй ИБП брать. Лезу в интернет-магазин, в отзывах на все модели пишут что либо шумит перестаёт держать заряд через месяц, либо шумит безбожно (а по моему опыту если люди пишут в отзывах что железка тихая, значит на мой слух она громкая, а если пишут что она громкая значит там где-то внутри реактивный двигатель от боинга).
Какой ИБП посоветуете? Блок питания 650 ватт, монитор какой-то древний, ХЗ сколько жрёт. Бюджет до 10к деревянных

@tech