:blobcatwhatsthis: Я почему-то долгое время думал, что моя RTX 3060 с её 12 гигабайтами VRAM не вывезет никакие, кроме совсем небольших #LLM, порядка 7B-8B максимум (7-8 миллиардов параметров).
Но долгое время не доходили руки протестировать пределы на практике.
На днях дошли.
Оказалось, что может и больше. Раза в два. Моделька на 16B влезла в GPU без проблем. С обычным для Ollama квантованием в 4 бита, что типично даёт оптимальное соотношение качества ответов к размеру модели.
Плюс выяснилось, что #Ollama умеет ещё и выгружать модель частично на CPU, с этим запустить удалось даже 22B (84% GPU/16% CPU) на скорости 2-3 токена в секунду.
Грустно только, что GUI в комплекте нет. Удобнее всего, как ни странно, оказалось приложение Ollama для Android: https://github.com/JHubi1/ollama-app/blob/main/README.md — где можно даже картинки загружать для моделей, которые их понимают.
:blobcatwhatsthis: Я почему-то долгое время думал, что моя RTX 3060 с её 12 гигабайтами VRAM не вывезет никакие, кроме совсем небольших #LLM, порядка 7B-8B максимум (7-8 миллиардов параметров).
Но долгое время не доходили руки протестировать пределы на практике.
На днях дошли.
Оказалось, что может и больше. Раза в два. Моделька на 16B влезла в GPU без проблем. С обычным для Ollama квантованием в 4 бита, что типично даёт оптимальное соотношение качества ответов к размеру модели.
🏆 Достижение разблокировано:
НЕ МЕТАВСЕЛЕННАЯ
Включить беспроводную мышь и попытаться перетащить курсором ноутбук со стола к себе на кровать (тщетно) :blobcatgooglyshrug:
:blobcatgooglypen: Что-то по итогам взаимодействия с пожилыми в последнее время у меня образуется впечатление, что приложениям нужна новая опция опция доступности. Наравне с высоким контрастом и совместимостью с экранными дикторами, такой доступности.
Замена этого шикарного разнообразия "всем привычных" значков на обычные скучные надписи буквами.
🚿 Каким-то образом сельхоз-революция в виде быстросъёмных шланговых соединений прошла мимо меня. Но сбежать незамеченной ей всё же не удалось.
Почему-то дедушка мой использовал с садовыми шлангами исключительно металлические хомуты, в том числе самодельные (закрутить проволоку пассатижами) и соединения "грубой силой" типа натягивания на соединитель чуть большего диаметра, чем внутренний диаметр шланга. (Гусары, молчать!)
От перехода на быстросъёмники (который состоялся на днях) ощущения примерно как от перехода в потребительской электронике на USB Type C: у меня уже были устройства под него, я просто не придавал этому значения, под него есть и куча других неведомых мне ранее устройств, а теперь он вдруг повсюду и это невероятно удобно!
Особенно заценил соединения с аквастопом, за удобство и за элегантность конструкции: чтобы остановить воду, теперь достаточно отсоединить поливалку от шланга, не надо бежать через весь участок или громко просить кого-то на той стороне закрыть кран.
🚿 Каким-то образом сельхоз-революция в виде быстросъёмных шланговых соединений прошла мимо меня. Но сбежать незамеченной ей всё же не удалось.
Почему-то дедушка мой использовал с садовыми шлангами исключительно металлические хомуты, в том числе самодельные (закрутить проволоку пассатижами) и соединения "грубой силой" типа натягивания на соединитель чуть большего диаметра, чем внутренний диаметр шланга. (Гусары, молчать!)
🌟 Из примечательной периферии, уж не знаю насколько долговечной, но которая когда-то очень бы пригодилась:
• механический таймер, с которым *можно* оставить включенный шланг под деревом на заданное время, не обеспечивая это время личным присутствием или электроникой
• поплавковый кран, отключающий воду когда ёмкость под ним набралась (привет бачку унитаза, да)
• просто кран, который ставится на любой шланг с любой стороны, позволяя *выбирать*, откуда перекрывать воду, чтобы не бегать каждый раз к главному крану
• шланговая катушка с быстросъёмным штуцером в оси вращения — он как джек 3.5мм, его можно вращать даже в процессе эксплуатации, не перекручивая шланг, подключенный в торец катушки, и (почти) не мешая работе
Ещё не всё из этого приехало, но руки уже чешутся испытывать, ар-р-р-ргх!
🌟 Из примечательной периферии, уж не знаю насколько долговечной, но которая когда-то очень бы пригодилась:
• механический таймер, с которым *можно* оставить включенный шланг под деревом на заданное время, не обеспечивая это время личным присутствием или электроникой
• поплавковый кран, отключающий воду когда ёмкость под ним набралась (привет бачку унитаза, да)
• просто кран, который ставится на любой шланг с любой стороны, позволяя *выбирать*, откуда перекрывать воду, чтобы не бегать каждый раз к главному крану
:blobcatangery: Как же меня заколебали многочисленные производные новостные издания, которые постят новости из других источников в другой форме (перевод, краткая выжимка, и т. д.), но на эти источники не ссылаясь.
Из-за таких авторов или их начальства и их страха, что читатель предпочтёт им источники оригиналов, учёные постоянно насилуют журналистов, размывая дискурс, достоверность новостей летит в тартарары, а веб-поисковики ещё глубже внедряются в общественную жизнь, становясь ещё более увесистой рекламной площадкой, как будто текущего состояния мало.
Какую новость мне в последнее время в Телеграме ни перешлют, там такая херня. Как новость CNews ни открою, там ссылки только на самих себя[1]. И это только случаи, которые я сходу помню.
Алло, гиперссылки придумали ещё в 1965 году[2], или вам там всем за 60 уже?
:blobcatangery: Как же меня заколебали многочисленные производные новостные издания, которые постят новости из других источников в другой форме (перевод, краткая выжимка, и т. д.), но на эти источники не ссылаясь.
Из-за таких авторов или их начальства и их страха, что читатель предпочтёт им источники оригиналов, учёные постоянно насилуют журналистов, размывая дискурс, достоверность новостей летит в тартарары, а веб-поисковики ещё глубже внедряются в общественную жизнь, становясь ещё более увесистой...
Крышка начала попрыгивать, когда мне в Телеграме переслали новость "В Питере все 24 пляжа непригодны для купания, — Роспотребнадзор."
Спасибо хоть источник хотя бы *назвали*, только я ж не помню сайт РПН наизусть, куда я пойду? Правильно, в поисковик. Зачем? Буду пытаться понять, что значит "в Питере", чтобы понять, где купаться всё же можно. Время потрачу. Перефразируя классика[1], как тебе спится, серийный журналист?
А половину новости занимает перечисление всех категорий болезней, которые там можно подхватить. Да понял я уже, что нельзя там купаться! Не буду! Наберу в доме ванну, блин, пока водопровод таким же не стал. /стучит по дереву за спиной/
Специально не буду давать ссылку на ту новость. Во-первых, потому что новых читателей они на мой взгляд не заслуживают. Во-вторых, потому что дело даже не в них, они следуют духу времени. В-третьих, чтобы меня было за что обвинить в двойных стандартах, бугага.
Крышка начала попрыгивать, когда мне в Телеграме переслали новость "В Питере все 24 пляжа непригодны для купания, — Роспотребнадзор."
Спасибо хоть источник хотя бы *назвали*, только я ж не помню сайт РПН наизусть, куда я пойду? Правильно, в поисковик. Зачем? Буду пытаться понять, что значит "в Питере", чтобы понять, где купаться всё же можно. Время потрачу. Перефразируя классика[1], как тебе спится, серийный журналист?
:blobcatwut: Приятель затеял смешной разговор с GPT-4o о том, кем ему является муж жены, на что получил забавный ответ, что "вы сами себе муж".
Этот ответ нас повеселил, а я задумался, что определённая логика в ответе есть, просто зависит от определения понятия "муж". Если муж определяется следующим образом (тройками субъект-предикат-объект):
?x "муж" ?y
:=
?x "состоит в браке" ?b
?y "состоит в браке" ?b
?x "пол" "мужской"
…то существующие употребления это определение проходит и для совпадающих ?x и ?y действительно может давать такой вроде бы странный ответ.
Сходу найденные словарные определения, конечно, с ним не согласны и настаивают, что где есть муж, он непременно муж для жены. Что с современным явлением однополых браков не очень согласуется, да и определение усложняет.
Ну, мы попросили его дать определение, чтобы посмотреть, согласуется ли оно.
(Продолжение в ответе)
:blobcatwut: Приятель затеял смешной разговор с GPT-4o о том, кем ему является муж жены, на что получил забавный ответ, что "вы сами себе муж".
Этот ответ нас повеселил, а я задумался, что определённая логика в ответе есть, просто зависит от определения понятия "муж". Если муж определяется следующим образом (тройками субъект-предикат-объект):
Хорошо настолько, что наверное буду это советовать даже тем, кто лезть за пределы настроек графического редактора не готов: под Windows он чуть ли не одной кнопкой устанавливает Python и ComfyUI с моделями, а сгенерированные картинки оказываются *уже в редакторе*, где с ними можно работать дальше более традиционными инструментами, не возясь с браузером, командной строкой или файлами.
Хорошо настолько, что наверное буду это советовать даже тем, кто лезть за пределы настроек графического редактора не готов: под Windows он чуть ли не одной кнопкой устанавливает Python и ComfyUI с моделями, а сгенерированные картинки оказываются *уже в редакторе*, где с ними можно работать дальше...
В декабре 2022 я в InvokeAI штопал в режиме холста из кусочков 512x512 обоину на свой вкус в размере 4720x1920, выдерживая стиль и перекрашивая инпейнтингом явные огрехи.[1] Каждое такое лоскутное одеяло занимало пару часов. По большей части, ожидания очередного лоскута.
AI Diffusion в Krita даёт мне тоже неплохой результат в один проход за ≈3мин20с, сразу нужного размера и неплохо выдерживая стиль. И поскольку кроме исходного запроса от меня в этом процессе (пока) больше ничего не требуется, можно добавить в очередь целую пачку задач на отрисовку и вернуться отбирать и корректировать варианты.
На одной и той же системе дело обстоит: i7-8550U, 16Gb RAM, RTX 3060
Разве что версия Stable Diffusion другая, тогда была 1.4 (?), сейчас 1.5, но они различаются не так уж сильно, насколько я помню.
В декабре 2022 я в InvokeAI штопал в режиме холста из кусочков 512x512 обоину на свой вкус в размере 4720x1920, выдерживая стиль и перекрашивая инпейнтингом явные огрехи.[1] Каждое такое лоскутное одеяло занимало пару часов. По большей части, ожидания очередного лоскута.
AI Diffusion в Krita даёт мне тоже неплохой результат в один проход за ≈3мин20с, сразу нужного размера и неплохо выдерживая стиль. И поскольку кроме исходного запроса от меня в этом процессе (пока) больше ничего не требуется, можно...
Я точно помнил, что у меня были #Android-версии инди-шедевра #Osmos с Humble Bundle. Но в библиотеке HB их не оказалось. Хм…
Нашёл я их на сайте разработчика. Они там, внезапно, *раздаются всем желающим*, потому что разработчикам "неловко такое продавать": https://www.hemispheregames.com/faq-android/#meta_buy
Тем, у кого игра ещё заводится, предлагают купить десктопные версии игры в качестве "пожертвования". Да и тем, у кого не заводится, тоже.
А как так вообще вышло?
Портом на Android, оказывается, занимался сторонний подрядчик (Apportable) и с помощью собственных технологий, которые не открыл своим заказчикам (Hemisphere Games, авторам Osmos) даже когда прекратил существовать, втихую продавшись Google[1].
Поэтому последняя сохранившаяся версия далеко не новая (32-битная) и разработчики оригинала не могут её обновить. Так что Hemisphere нашли нового партнёра для нового Android-порта Osmos, который надеются выпустить к концу года.
Я точно помнил, что у меня были #Android-версии инди-шедевра #Osmos с Humble Bundle. Но в библиотеке HB их не оказалось. Хм…
Нашёл я их на сайте разработчика. Они там, внезапно, *раздаются всем желающим*, потому что разработчикам "неловко такое продавать": https://www.hemispheregames.com/faq-android/#meta_buy
Тем, у кого игра ещё заводится, предлагают купить десктопные версии игры в качестве "пожертвования". Да и тем, у кого не заводится, тоже.
До меня тут дошло, что инфраструктура контактов (телефонной/адресной книги) почти идеально подходит и для избранных мест на карте.
Нет, серьёзно!
В vCard уже есть атрибут GEO для координат (и ADR для адреса, который вы, возможно, уже заполняете, и можно использовать для заполнения GEO в автоматическом режиме).
Можно приложить аватар/фотографию/логотип.
В контактах уже обычно предусмотрены группы.
Системы синхронизации контактов давно стандартизировались на CardDAV и уже очень хорошо вызрели.
Есть поля для контактных телефонов (разумеется!) и заметок.
Но в мобильных приложениях карт почему-то городят какой-то отдельный закрытый огород, в лучшем случае с экспортом и импортом, но зачастую просто "зологиньтес у нас, синхронезируем". Даже в опенсорсе, насколько могу судить (смотрел в OSMAnd и Organic Maps), закладки хранятся исключительно "у себя".
До меня тут дошло, что инфраструктура контактов (телефонной/адресной книги) почти идеально подходит и для избранных мест на карте.
Нет, серьёзно!
В vCard уже есть атрибут GEO для координат (и ADR для адреса, который вы, возможно, уже заполняете, и можно использовать для заполнения GEO в автоматическом режиме).
Можно приложить аватар/фотографию/логотип.
В контактах уже обычно предусмотрены группы.
Системы синхронизации контактов давно стандартизировались на CardDAV и уже очень хорошо вызрели.
Есть...
Вещание местоположения контакта из мессенджера тоже *великолепно* на это ложится семантически; но технически скорее всего будет хромать. Зачатки есть: мессенджер уже умеет выставлять собственные контакты остальной системе, но в этом не хватает реалтаймового получения обновлений и поддержки отображения в картах — причём на последнее я уже сетовал выше, только для другого сценария.
⚒️ Что-то чем дольше я в деревне, тем больше во внешнем мире происходит такой херни, что хочется взять топор и применить его к спутниковой тарелке и оптическому кабелю.
🛠️ А после запереться и осваивать мастерскую, а то тут столько всего держится на соплях (уровня саморезов через ДВП), что принимать меры надо срочно, а больше, увы, некому.
* * *
🪑 Когда по интернетам ходила ссылка на комментарий[1] на гитхабе о том, что автор бросил разработку и работает с деревом, я отнёсся с некоторой долей солидарности. Мол, «да, чел, у нас в индустрии много странной и бессмысленной херни происходит, лет через 10 возможно может и я присоединюсь».
🤷 Процесс произошёл… несколько быстрее и не так, но что поделать.
⚒️ Что-то чем дольше я в деревне, тем больше во внешнем мире происходит такой херни, что хочется взять топор и применить его к спутниковой тарелке и оптическому кабелю.
🛠️ А после запереться и осваивать мастерскую, а то тут столько всего держится на соплях (уровня саморезов через ДВП), что принимать меры надо срочно, а больше, увы, некому.
@dside от интонации формулировок аж попахивает. Никогда не понимал откуда у людей такая надменность. Хочется их вернуть на землю и объяснить, что они не реки вспять пустили, а просто туалетную бумагу старыми газетами заменили.
@dside интересно только, кто именно поднял, и почему бы просто не юзать тот же mirror.gcr.io - или любое другое, которое не вчера появилось и не от анонима
Кто-то в https://mastodon.ml/@rf недавно спрашивал, не хочет ли кто в Stardew Valley. Я хотел было пошутить, что да, свалить от городской суеты в деревню, где только я, домик, огород и кошка, было бы неплохо.
…
Но столы повернулись резко и так хитро, что именно из такого места я сейчас и пишу. Смешно. Даже на фоне довольно грустного повода, из-за которого я здесь. Но об этом как-нибудь потом.
Ох и давненько я не бывал в местах, где так мало светового загрязнения. На звёзды посмотрел впервые уже не знаю за сколько времени.
Днём всё вокруг цветёт, ночью соловьи свистят.
Интересная атмосфера.
* * *
Записать, жаль, нечем, но и смысла мало, т. к. запахи очень значимая часть ощущений, а их пока зафиксировать можно только языком (ну, русским, например), и тут их целый букет, который и мне на составляющие разобрать будет сложно, и читателям воспроизвести в голове.
Ох и давненько я не бывал в местах, где так мало светового загрязнения. На звёзды посмотрел впервые уже не знаю за сколько времени.
Днём всё вокруг цветёт, ночью соловьи свистят.
Интересная атмосфера.
* * *
Записать, жаль, нечем, но и смысла мало, т. к. запахи очень значимая часть ощущений, а их пока зафиксировать можно только языком (ну, русским, например), и тут их целый букет, который и мне на составляющие разобрать будет сложно, и читателям воспроизвести в голове.
@dside крепись. Грустный повод заняться сельскими делами, но на самом деле звучит как начало чего-то светлого. Удачи в этом нелегком деле (говорю как человек, до окончания школы работавший в семейном агробизнесе)
:blobcatcomfreading: Читнул тут статью о разработке и инфраструктуре #BlueSky, и в конце заметил забавное соседство тезисов:
> I also tried out Mastodon, which is another federated social network, when it launched. At the time, Mastodon felt a lot more clunky in onboarding than Bluesky. You had to choose a server to use, but different servers have different rules, whereas Bluesky was much smoother.
> But a decentralized network allows servers to be operated by other teams/organizations/individuals. This might not seem like a big deal, but it means a social network is no longer dependent on the moderation policies of a parent company.
То есть, автора оттолкнула децентрализация Mastodon в лице необходимости выбрать сервер, но в следующем же абзаце он её же подаёт как преимущество BlueSky. :verified_sus:
:blobcatcomfreading: Читнул тут статью о разработке и инфраструктуре #BlueSky, и в конце заметил забавное соседство тезисов:
> I also tried out Mastodon, which is another federated social network, when it launched. At the time, Mastodon felt a lot more clunky in onboarding than Bluesky. You had to choose a server to use, but different servers have different rules, whereas Bluesky was much smoother.
Я не был готов к тому, что при открытии в онлайн-магазине баннера "рациональное питание" (что само по себе у меня вызвало смешок)… одной из категорий внутри окажется "халяльные продукты" (т. е. разрешённые в исламе).
Разгадка простая: это "рациональное" от слова "рацион", и рациональность тут немного ни при чём.
Gregory's Server
@dside ну, о вершителях мы кое-что да знаем...