Учимся писать нейросети | End Way - форум программирования и сливов различных скриптов
  • Присоединяйтесь к нам в телеграм канал! EndWay канал | EndSoft канал | EWStudio канал
  • Хочешь поставить скрипт, но не умеешь?
    А может ты хочешь свой скрипт на основе слитого?

    Тогда добро пожаловать в нашу студию разработки!

    Телеграм бот: EWStudioBot
    Телеграм канал: EWStudio

Учимся писать нейросети

h04x2

Джун
Автор темы
27 Янв 2023
7
4
0
Привет , ты зашел сюда не зря!
В этой статье ты преисполнишься и сможешь создать свою нейросеть на python!
[srci]⁡Python - язык программирования, Датасет - база данных на которой обучается нейросеть(текста, картинки, видео)[/srci]⁡
Нейросеть - это программа, которая работает как человеческий мозг. Она состоит из большого количества простых элементов, которые связаны между собой. Эти элементы могут обучаться на данных, чтобы выполнять различные задачи, такие как распознавание образов, обработка естественного языка и машинное обучение.
Мы будем писать нейросеть которая будет предсказывать будущее. Датасет который будет это год - событие. Для более точного предсказание нужно около 100к строк. Но для примера мы ее обучим на 5к строках, сделаем ее умной!.
Создаем файл main.py и строим архитектуру:
|-dataset - папка
|--dataset.txt
main.py
newai.py

Python:
import tensorflow as tf
from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences
import numpy as np
import pickle
import tensorflow as tf
from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences
import numpy as np
import pickle


file_path = 'dataset/news_dataset.txt'
with open(file_path, 'r', encoding='utf-8') as file:
    lines = file.readlines()

texts = [line.split('\t')[1].strip() for line in lines]


tokenizer = Tokenizer()
tokenizer.fit_on_texts(texts)
total_words = len(tokenizer.word_index) + 1

input_sequences = []
for line in texts:
    token_list = tokenizer.texts_to_sequences([line])[0]
    for i in range(1, len(token_list)):
        n_gram_sequence = token_list[:i+1]
        input_sequences.append(n_gram_sequence)

max_sequence_length = max([len(x) for x in input_sequences])
input_sequences = pad_sequences(input_sequences, maxlen=max_sequence_length, padding='pre')

X, y = input_sequences[:, :-1], input_sequences[:, -1]
y = tf.keras.utils.to_categorical(y, num_classes=total_words)


embedding_dim = 50
model = tf.keras.models.Sequential([
    tf.keras.layers.Embedding(total_words, embedding_dim, input_length=max_sequence_length-1),
    tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(75, return_sequences=True)),
    tf.keras.layers.Dropout(0.2),
    tf.keras.layers.LSTM(50),
    tf.keras.layers.Dense(total_words, activation='softmax')
])

model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])


batch_size = 128
train_dataset = tf.data.Dataset.from_tensor_slices((X, y)).batch(batch_size)

model.fit(train_dataset, epochs=1, verbose=1)


model.save('news_predidction_model.h5')


with open('tokdenizer.pickle', 'wb') as handle:
    pickle.dump(tokenizer, handle, protocol=pickle.HIGHEST_PROTOCOL)

print("Обучение завершено.")[/SIZE]
Python:
import tensorflow as tf
[SIZE=4]from tensorflow.keras.models import load_model
from tensorflow.keras.preprocessing.sequence import pad_sequences
import pickle
import numpy as np

# Загрузка сохраненной модели и токенизатора
model = load_model('news_prediction_model_finetuned1.h5')

with open('tokenizer.pickle', 'rb') as handle:
    tokenizer = pickle.load(handle)

# Функция для генерации ответа на запрос с вероятностью события
def generate_event_response(model, tokenizer, max_length, query):
    token_list = tokenizer.texts_to_sequences([query])[0]
    token_list = pad_sequences([token_list], maxlen=max_length-3, padding='pre')
    predicted_probabilities = model.predict(token_list, verbose=0)[0]
    event_probability = np.max(predicted_probabilities)

    return event_probability

def generate_combined_response(model, tokenizer, max_length_event, max_length_sequence, query, length_sequence=5):
    event_probability = generate_event_response(model, tokenizer, max_length_event, query)
    print(f"Запрос: {query}")
    print(f"Вероятность события: {event_probability:.2%}")


user_query = "Пожар во Франции январь 1990 – декабрь 2023."
max_sequence_length_event = 78  # Определите или вычислите max_sequence_length для события
max_sequence_length_sequence = 77  # Определите или вычислите max_sequence_length для последовательности
desired_length_sequence = 5  # Задайте желаемую длину ответа для последовательности

# Вызов объединенной функции
generate_combined_response(model, tokenizer, max_sequence_length_event, max_sequence_length_sequence, user_query, length_sequence=desired_length_sequence)
[/SIZE]
1936 Всеобщая забастовка в Греции

1942 школьница блокадного Ленинграда Таня Савичева сделала в своём дневнике последнюю запись: «Мама в 13 мая в 7-30 утра», «Савичевы умерли», «Умерли все», «Осталась одна Таня»

1943 капитуляция Североафриканского корпуса в Тунисе

1949 катастрофа Ил-12 под Новосибирском. Погибли 25 человек

1950 в городе Сильверстоуне (Англия) прошла первая гонка первого чемпионата «Формулы-1». Победителем стал итальянский автогонщик Джузеппе Фарина (Giuseppe Farina) («Альфа-Ромео»), который по итогам сезона стал и первым чемпионом «Формулы-1»

1904 под Москвой в Кучино основан первый в России Центральный аэрогидродинамический институт (14 января 1905 года состоялось его официальное открытие)

1907 Пётр Столыпин в Госдуме заявил: «Вам нужны великие потрясения, нам нужна великая Россия»

1913 первый полёт самолёта С-9 («Большой Балтийский» или «Гранд») конструктора Игоря Сикорского

1923 создана первая авиакомпания в Закавказье— АО Закавиа

1930 образован футбольный клуб «Ростов»

1932 в Ленинграде завод «Коминтерн» выпустил первые 20 советских телевизоров

1933 демонстративное сожжение книг национал-социалистическими студентами в Берлине, положившее начало массовому уничтожению книг, противных немецкому духу

1946 начало исследований в США верхних слоёв атмосферы с помощью трофейных ракет А-4 (Фау-2)

1947 на киностудии «Ленфильм» прошёл общественный просмотр новой кинокартины «Золушка»

1950 в Гаити произошёл государственный переворот, в результате которого был свергнут президент Дюмарсе Эстиме. К власти пришла военная хунта

1957 в СССР принят закон «О дальнейшем совершенствовании организации управления промышленностью и строительством», вводивший совнархозы с целью децентрализации управления народным хозяйством страны

1960 американская атомная лодка «Тритон» завершила первое подводное кругосветное путешествие, длившееся 84 дня

1962 компания Marvel Comics выпустила первый комикс про Халка

1963 по рекомендации Джорджа Харрисона (George Harrison) фирма грамзаписи Decca подписала контракт с группой «The Rolling Stones»

1965 в Иерусалиме открылся Музей Израиля

1975 Sony представила видеомагнитофон формата Betamax

1978 в Одессе начались съёмки фильма «Место встречи изменить нельзя»

1991 первый полёт голландского пассажирского самолёта авиалиний малой и средней протяжённости Фоккер F28-1000 «Фэллоушип»

1995 национальной валютой Таджикистана стал таджикский рубль

1902 Сормовская демонстрация рабочих судоремонтного завода

1907 во многих европейских столицах прошли демонстрации трудящихся по случаю праздника Первого мая, а в Варшаве в этот день объявлена всеобщая забастовка

1909 в канадской провинции Онтарио вступил в силу «сухой закон»

1917 впервые в России праздник 1 Мая отмечается свободно. Активное участие в праздничных демонстрациях и митингах наряду с рабочими принимают солдаты

1920 по решению 9-го съезда РКП(б) был проведён первый в истории Всероссийский субботник. По этому поводу на Театральной площади в Москве при участии Владимира Ленина состоялась закладка памятника Карлу Марксу. Первоначальный план не был реализован, и долгие годы на Театральной площади стоял гранитный блок с текстом: «Первый камень памятника великому вождю и учителю всемирного пролетариата Карлу Марксу»

1922 открыта первая в России международная воздушная линия— Москва— Кёнигсберг (авиакомпания Дерулюфт— нем.Deutsche Russian Luftverkehr). В мае 1926 года авиалиния продлена до Берлина

1925 Кипр объявлен британской коронной колонией. Остров не впервые оказался под английским владычеством: в 1191 году его завоевал Ричард Львиное Сердце

1926 авиакомпания Deutsche Luft Hansa выполнила первый в мире ночной регулярный пассажирский рейс Берлин— Кёнигсберг на самолёте Junkers G-24

1932 в Тушино начал работу планёрный завод Осоавиахима

1933 установлена телефонная связь между Британией и Индией

1935 выпущен первый серебряный канадский доллар

1936 в Комсомольске-на-Амуре собран первый серийный Р-6 (АНТ-7)

1937 завершено строительство канала Москва—Волга

1940 официально объявлено об отмене Олимпиады 1940 года— в связи с войной

1943 советский десант на косу Вербяная

1944 убийство 200 первомайцев— заключённых коммунистов в Греции

1945 в Берлине над Рейхстагом водружено Знамя Победы

1946 австралийские аборигены устроили свою первую промышленную забастовку

1948 провозглашено создание КНДР

1950 в Китайской Народной Республике запрещаются полигамия, детоубийство и браки в детском возрасте

1951 в Мюнхене начало вещание на страны Восточной Европы «Радио „Свобода“», финансируемое конгрессом США

1954 в Сеуле преподобный Мун основал Церковь Объединения (Ассоциация Святого Духа за объединение всемирного христианства). В настоящее время у Муна имеются миллионы последователей в 150 странах мира

1960 в районе Свердловска сбит американский самолёт-разведчик U-2, пилотировавшийся Фрэнсисом Пауэрсом

1961 Фидель Кастро объявил, что на Кубе отныне не будет выборов

1963 бывшая голландская колония Западный Ириан, находившаяся под управлением Временной администрации ООН, передана Индонезии

1967 свадьба Элвиса и Присциллы Пресли

1974 в Португалии выпускаются на свободу политические заключённые и отменяется цензура в средствах массовой информации

1975 в финском Тампере открылся парк развлечений «Сяркянниеми»

1984 вышел первый выпуск комикса про черепашек-ниндзя

1992 нападение ИРА на блокпост в Клоходже

1994 гибель трёхкратного чемпиона мира в классе «Формула-1» Айртона Сенны во время Гран-при Сан-Марино

1996 начало вещания «Муз-ТВ»

1903 на экраны вышел первый вестерн «Большое ограбление поезда»

1919 40-летняя леди Астор стала первой женщиной, принявшей участие в заседании Палаты общин Великобритании (была избрана членом парламента 28 ноября)

1923 1923 в Ломбардии, Италия обрушилась плотина Глено, жертвой наводнения стали свыше 300 человек

1925 в Лондоне подписаны семь Локарнских договоров о западных границах Германии и [tooltip=27]арбитраже[/tooltip], гарантиях безопасности Польши и Чехословакии и др

1934 убийство Сергея Кирова в Ленинграде

1941 Великая Отечественная война: немецкие войска заняли Красную Поляну

1943 завершилась Тегеранская конференция глав правительств трёх союзных держав СССР (И.В.Сталин), США (Ф.Д.Рузвельт) и Великобритании (У. Черчилль)

1945 основана Международная демократическая федерация женщин

1959 заключён Договор об Антарктике, согласно которому запрещено использование Антарктиды в каких бы то ни было военных целях

1962 знаменитое посещение Хрущёвым выставки авангардистов в московском Манеже

1971 катастрофа Ан-24 под Саратовом, погибли 57 человек

1974 катастрофа Boeing 727 под Вашингтоном, погибли 92 человека. Крупнейшая авиакатастрофа в Виргинии

1981 катастрофа югославского MD-81 на острове Корсика, погибли 180 человек

1989 Михаил Горбачёв первым из советских лидеров посетил Ватикан

1990 проходчики, строившие Евротоннель с французской и британской сторон, встретились друг с другом под Ла-Маншем

1995 в Китае открылась Цзитунская железная дорога, на которой 100% перевозок осуществлялось паровозами

1996 начало вещания СТС

1902 катастрофическое землетрясение магнитудой от 6,7 до 9 в городе Андижан (Узбекистан)

1920 Александропольский договор между Турцией и Арменией, завершивший турецко-армянскую войну

1939 открытие международного аэропорта Ла-Гуардия в Нью-Йорке

1942 получение Энрико Ферми первой контролируемой цепной ядерной реакции

1946 соглашение об объединении оккупационных зон Германии, подписанное Великобританией и США в Нью-Йорке, положившее начало Бизонии

1956 группа революционеров во главе с Фиделем Кастро, приплывшая из Мексики на яхте «Гранма», высаживается на Кубе

1968 катастрофа Fairchild F-27 в Педро-Бэе

1970 начало работу Агентство по охране окружающей среды США

1971 советская автоматическая межпланетная станция «Марс-3» впервые в мире совершила мягкую посадку на поверхность Марса

1976 Фидель Кастро стал президентом Кубы

1977 катастрофа самолёта Ту-154 близ города Эль-Байда (Ливия). Погибли 59 человек

1982 премьер-министром Испании стал Фелипе Гонсалес

1990 старт космического корабля «Союз ТМ-11» с международным экипажем (Виктор Афанасьев, Муса Манаров, Тоёхиро Акияма)

1991 Канада и Польша стали первыми странами, признавшими независимость Украины от СССР

1993 в Медельине убит наркобарон Пабло Эскобар

1912 Болгария, Греция, Сербия и Черногория подписали Чаталджинское перемирие с Турцией. Военные действия возобновились 3 февраля 1913 года при Чаталдже

1965 в Великобритании выходит альбом Rubber Soul группы «The Beatles», который, как считается, положил начало коренным изменениям в музыке ливерпульской четвёрки

1966 у Кремлёвской стены были погребены останки Неизвестного солдата

1967 в госпитале Грут Шут, Кейптаун (ЮАР) проведена первая в истории медицины операция по пересадке сердца; её провёл профессор Кристиан Барнард, трансплантировав сердце смертельно раненой 25-летней женщины 55-летнему больному

1969 при вылете из Каракаса (Венесуэла) рухнул в воду Boeing 707. Погибли 62 человека

1971 начало третьей индо-пакистанской войны

1972 на острове Тенерифе (Канарские острова) при взлёте потерпел катастрофу Convair 990, погибли 155 человек

1979 аятолла Рухолла Хомейни стал первым Высшим руководителем Ирана

1984 Бхопальская катастрофа: в результате утечки метилизоцианата на заводе пестицидов погибли более 3800 человек, и сотни тысяч пострадали

1989 президент США Джордж Буш и генеральный секретарь ЦК КПСС Михаил Горбачёв заявили, что их страны более не являются противниками. День вошёл в историю как официальная дата окончания «холодной войны»

1990 в аэропорту Детройта столкнулись два самолёта компании Northwest Airlines, погибли 8 человека

1991 распущен КГБ СССР

1992 отправлено первое СМС-сообщение

1994 Sony представила миру свою первую игровую консоль PlayStation

1997 подписан Оттавский договор о запрещении применения, производства, накопления и экспорта противопехотных мин

1906 открыто движение по Симплонскому железнодорожному тоннелю

1907 создана Футбольная ассоциация Финляндии

1908 на сцене парижской «Гранд-опера» Сергей Дягилев поставил оперу М. Мусоргского «Борис Годунов» с Фёдором Шаляпиным в заглавной роли

1910 возвращение кометы Галлея: Земля пересекла хвост кометы

1914 британской палатой общин в третий раз принят Закон об упразднении церкви в Уэльсе

1921 Конгресс США постановил значительно сократить квоту на приём эмигрантов из стран Европы, в первую очередь из России, Греции и Италии

1922 Всероссийская конференция комсомола приняла решение «О повсеместном создании пионерских отрядов»; дата основания Всесоюзной пионерской организации

1926 Томас Эдисон впервые выступил по радио. На вечере, устроенном Национальной электрической компанией в Атлантик-Сити, его попросили выступить перед микрофоном. Растерявшись, изобретатель произнёс: «Я не знаю, что и сказать… Я впервые говорю перед такой штуковиной. Спокойной ночи!»

1934 переворот в Болгарии

1935 ЦК ВКП(б) разослал на места секретное письмо, в котором призвал выявлять внутри партии «врагов рабочего класса»

1939 успешный полёт первой в мире двухступенчатой ракеты с прямоточным ВРД на второй ступени

1944 в СССР принято решение о создании Совета по делам неправославных культов

1950 в Израиль прибыла первая партия евреев из Ирака

1952 писательница Лилиан Хеллман в сенатской Комиссии по расследованию антиамериканской деятельности, возглавляемой сенатором Джозефом Маккарти, заявила об отказе свидетельствовать против своих друзей: «Я не могу и не буду изменять своей совести, следуя сиюминутной моде»

1956 открыто прямое беспересадочное железнодорожное пассажирское сообщение между Москвой и Веной

1957 встреча партийно-государственных руководителей во главе с Н. С. Хрущёвым с представителями творческой интеллигенции на правительственной даче в Подмосковье

1961 беспилотный космический аппарат Венера-1 впервые пролетел около Венеры

1969 в Росарио (Аргентина) вспыхивает восстание против диктатуры

1978 группа Dire Straits выпустила в Англии свой первый сингл— «Sultans of Swing»

1979 свадьба Эрика Клэптона и Патти Бойд, в честь которой музыкант ещё в 1970 написал песню «Layla»

1989 в Москве открылся первый всесоюзный конкурс «Мисс СССР-89». Победительницей стала московская десятиклассница Юлия Суханова (172, 55, 91-59-90)

1993 катастрофа Boeing 727 под Медельином (Колумбия), погибли 132 человека

1996 налётчик Лесли Рогге стал первым, кого ФБР арестовало после публикации фото в Интернете

1913 в Киеве началась Первая Всероссийская спортивная олимпиада

1919 в США запрещены забастовки железнодорожников

1922 на заводах Ford Motor Company появилось предупреждение, что любого, от кого будет нести запахом пива, вина или более крепких напитков, ждёт немедленное увольнение с работы

1933 подписан советско-итальянский договор о дружбе, ненападении и нейтралитете

1935 Джордж Гершвин завершил работу над оперой «Порги и Бесс»

1942 Расстрел 47-ми воспитанников Нижне-Чирского детского дома

1943 освобождён от немецко-фашистских захватчиков город Лисичанск

1949 Югославия разорвала морской и воздушный договоры с СССР

1958 впервые вышло в эфир телевидение Китая

1962 СССР объявил о том, что он будет тренировать и обучать кубинских офицеров

1964 катастрофа Ил-18 под Южно-Сахалинском

1967 отставной английский офицер Падди Бейтс провозгласил создание на морской платформе у берегов Англии независимого Княжества Силенд, которое стало предоставлять гражданство всем желающим

1969 один из «дней рождения Интернета». В лаборатории Калифорнийского университета состоялась первая успешная передача данных между соседними компьютерами

1970 катастрофа Ту-124 под Днепропетровском

1971 Объединённая Арабская Республика распалась на Египет и Сирию

1972 началась первая серия матчей между советскими хоккеистами и канадскими профессионалами. В Монреале сборная СССР сенсационно разгромила канадцев со счётом 7:3

1986 канадка Кэти Смит (Cathy Smith) приговорена к трём годам тюрьмы за непреднамеренное убийство американского актёра Джона Белуши, умершего от передозировки наркотиков

1990 провозглашено создание Приднестровской Республики в составе СССР

1998 катастрофа MD-11 под Галифаксом, 229 погибших. Крупнейшая катастрофа авиакомпании Swissair и самолёта McDonnell Douglas MD-11

1903 в Чикаго случился крупнейший пожар в театре "Ирокез", в результате чего погибло более 600 человек и 250 получили ранения

1915 немецкая подводная лодка U-38 торпедирует британский лайнер «Персия» у побережья острова Крит. Жертвами кораблекрушения стали, по меньшей мере, 330 человек из 501, в том числе Элеанора Веласко Торнтон, послужившая моделью для «Летящей Леди»

1916 Убийство Григория Распутина

1922 I Всесоюзный съезд Советов утвердил декларацию и договор об образовании Союза Советских Социалистических Республик. В СССР объединились 4 государства: Российская СФСР, Украинская ССР, Белорусская ССР, Закавказская СФСР

1941 Освобождены города Керчь, Феодосия, Калуга

1947 Королевство Румыния перестаёт существовать и превращается в Румынскую Народную Республику

1978 в Киеве введена в эксплуатацию первая в СССР линия скоростного трамвая, построенная по инициативе Владимира Веклича и Василия Дьяконова

1984 Головная «Щука-Б», К-284, вступила в строй Тихоокеанского флота ВМФ СССР

1991 открыты станции Киевского метрополитена «Дружбы народов» (ныне «Зверинецкая») и «Выдубичи»

1993 Израиль и Ватикан наладили дипломатические отношения

1995 Установлены Почётные звания Российской Федерации

2000 на торжественном предновогоднем приёме в Большом Кремлёвском дворце впервые официально исполнен новый Гимн России

1903 в Лондоне на маршрут вышел первый в мире городской автобус с двигателем внутреннего сгорания

1910 спущен на воду австро-венгерский броненосец-додредноут SMS Zrínyi

1917 Первая мировая война: победа канадских войск над немцами в битве при Вими во Франции

1919 в Советской России прошёл первый коммунистический субботник (на станции Москва-Сортировочная были отремонтированы три паровоза)

1927 переворот Чан Кайши в Нанкине и Шанхае

1929 в СССР основана туристическая компания «Интурист»

1934 скорость ветра в 372 километра в час зарегистрирована на горе Вашингтон (штат Нью-Гэмпшир, США)
1937 стендовые испытания газотурбинного реактивного двигателя Ф. Уиттла[значимость?]
1945 смерть 32-го президента США Франклина Делано Рузвельта, президентом становится Гарри Трумэн
После обучение на нашем датасете создаются два файла news_predidction_model.h5 - модель которая обучилась и tokenizer.pickle - токенизатор для разбиения слов на слоги, можно запускать файл newai.py, но перед этим в коде поменять [tooltip=529]запрос[/tooltip] на 30 строке.
Начало обучения..
[IMG=align=left;alt=%5BIMG%5D]https://nztcdn.com/files/82ead394-2513-494c-bba2-b0371f0f072a.webp[/IMG]
Видим такое - значит все хорошо и она обучается! Становится умнее, эпохи менять в файле main.py на 48 строке, чем больше тем лучше, но дольше будет обучение, у меня на macbook air m1 5к строк в датасете обучалась она 8 часов!

После обучение запускаем файл newai.py и видим такое:


[IMG=align=left;alt=%5BIMG%5D]https://nztcdn.com/files/d2183a78-2654-4299-a24d-5dfef4ee3152.webp[/IMG]

Она сказал все будет хорошо!
Это не супер-пупер крутой способ, но для новичков пойдет! Если нужна еще одна статья, пишите что за нейросеть сделать. Первая статья, хотелось бы критики.
 
Последнее редактирование модератором:
Like
  • 3
Реакции: 2 users

lasha7771+REP

Кибермаг
4 Июл 2023
167
1,529
93
круто . Это модель только генерирует процент анализируя инфу которую ты ввёл. Или любой вопрос ей задашь она ответит из той инфрмации которая есть? и еще мне нужно обучить распознование языка ocr у меня есть датасет из слов текстовик. Надо наверное для начала сгенерить картинки со словами а потом на их основе обучать можешь по этой теме чет написать или го в лс там в тг
 

lasha7771+REP

Кибермаг
4 Июл 2023
167
1,529
93
бл начал чекать ни рекуирементс нихуя чел йомаё я тебя в чате запиарил на 62 строке в майн пу [/SIZE] йомаё чел я в ахуе
 
Активность:
Пока что здесь никого нет