Email or username:

Password:

Forgot your password?
All posts Alexey's posts Post Back to profile
Alexey Skobkin

Начал отпуск с того, что:

✅ Запилил Telegram-бота для своего чатика, который отвечает LLM-кой на вопросы, а также умеет сходить по ссылке, прочитать новость и дать по ней выжимку с ключевыми тезисами.
✅ Добавил к своему стеку для Synapse и поднял у себя сервер Sliding Sync чтобы можно было пользоваться клиентами под Matrix 2.0 (Element X, например)
✅ Забрал восьмиструнную гитару у мастера

Есть ещё немало планов, большинство из которых будет успешно проёбано, но хотя бы начало успешное.

#vacation #log #dev #server #Docker #Matriix #SlidingSync #Telegram #LLM #guitar #soft #hardware #plans

10 March at 23:32 | Open on lor.sh
8 comments
kurator88

@skobkin бот отвечает на основе сообщений в чате где его спросили или просто отвечает ?

Как модель делает самари ?

10 March at 23:37 | Reply | Open on soc.kurator.tech
Alexey Skobkin

@kurator88
> бот отвечает на основе сообщений в чате где его спросили или просто отвечает ?

Я не стал выключать у бота Chat Privacy и поэтому имплементить контекст ему тоже не стал.
Технически в этом особо ничего сложного не было бы - SDK под это заточен как раз, но у меня пока не было такой задачи, да и хотелось сделать stateless бота без БД.

> Как модель делает самари ?

Слушай, ну в целом достаточно неплохо. Я по-моему сейчас ему задал бэкендом расцензурированную Mistral (dolphin-mistral).

Иногда ему срывает крышу и он рассказывает итоги пандемии CoVID-19. Но это скорее всего потому что либа, которую я использую для экстракции текстов не со всеми сайтами может справиться и не возвращает ничего дельного, а Мистралька та очень любит про коронавирус рассказывать.

Давай покажу пример.

@kurator88
> бот отвечает на основе сообщений в чате где его спросили или просто отвечает ?

Я не стал выключать у бота Chat Privacy и поэтому имплементить контекст ему тоже не стал.
Технически в этом особо ничего сложного не было бы - SDK под это заточен как раз, но у меня пока не было такой задачи, да и хотелось сделать stateless бота без БД.
10 March at 23:47 | Reply | Open on lor.sh
kurator88

@skobkin а треды в федерации не пробовал ему давать как задание ?

Наверное снова будет про ковид

11 March at 6:47 | Reply | Open on soc.kurator.tech
Alexey Skobkin

@kurator88
Да, он мастодон не осиливает.
Я там goose взял, если что.

11 March at 12:14 | Reply | Open on lor.sh
kurator88

@skobkin яндекс короткое содержимое тоже не может в пересказ

11 March at 12:15 | Reply | Open on soc.kurator.tech
Alexey Skobkin

@kurator88 Я вот не удивлюсь если у них там тоже гошечка и гусь, лол.

11 March at 12:27 | Reply | Open on lor.sh
WildPowerHammer

@skobkin

>Я по-моему сейчас ему задал бэкендом расцензурированную Mistral (dolphin-mistral).

Прошу прощения, но мне почему то казалось что Mistral сам по себе не зацензурен, что именно разцензуривается в dilphin-mistral? Или я как обычно, что то перепутал?

@kurator88

11 March at 7:14 | Reply | Open on mastodon.ml
Alexey Skobkin

@WildPowerHammer @kurator88
Ну вот попроси у обеих топ-3 способа убить себя, например.
Одна тебе будет давать советы по улучшению психического состояния, а другая выразит сожаление и даст.
Само собой я держу вторую мистраль не ради такого - просто этот пример очень простой и я его только что проверил. Просто цензурированные модели иногда даже на безобидные вопросы начинают херню нести, поэтому я сразу беру расцензуренную версию если есть.

Уже ведь где-то смеялись, что то ли ChatGPT, то ли свободная какая-то модель на просьбу написать код на C отказывались потому, что НЕБЕЗОПАСНО.

@WildPowerHammer @kurator88
Ну вот попроси у обеих топ-3 способа убить себя, например.
Одна тебе будет давать советы по улучшению психического состояния, а другая выразит сожаление и даст.
Само собой я держу вторую мистраль не ради такого - просто этот пример очень простой и я его только что проверил. Просто цензурированные модели иногда даже на безобидные вопросы начинают херню нести, поэтому я сразу беру расцензуренную версию если есть.

11 March at 12:23 | Reply | Open on lor.sh
Go Up