Восстановление данных с SSD диска. Как мы будем восстанавливать данные c вашего SSD диска

О чатботах, использующих нейронные сети я уже писал некоторое время назад. Сегодня я расскажу о том как я попробовал сделать полномасштабный русскоязычный вариант.

Обучаемые диалоговые системы приобрели в последнее время неожиданную популярность. К сожалению, все что сделано в рамках нейросетевых диалоговых систем, сделано для английского языка. Но сегодня мы восполним этот пробел и научим модель говорить по русски.

Метод
Я решил для начала отказаться от генерации текста пословно. Это круто, но не так полезно, как кажется и особо сложно для русского языка с его большим числом разных словоформ. Вместо этого я решил пойти путем подбора правильного ответа из большой базы. Т.е. задачей является создать нейросеть, которая определяет, является ли предложение подходящим ответом, учитывая контекст разговора, или нет.

Почему так:
- Не нужен большой softmax слой для выбора слов, а значит мы можем больше ресурсов нейросети выделить на собственно задачу анализа текста.
- Полученная модель сопоставления годится для разных целей, теоретически можно заставить чатбот общаться на разные специальные темы, просто загрузив новую базу текстов, без нового обучения. Это полезно на практике.
- Можно сделать модель, которая работает быстро и может реально общаться со многими пользователями одновременно без нескольких GPU на сервере.

Зачем
Вообще, общетематические диалоговые системы бывают полезны, например, в онлайн-консультантах, чтобы консультант мог поговорить на несвязанные с основной задачей темы, в играх, и в ряде других задач.

Почему нейронные сети?
Нельзя ли подойти к задаче более классическим методом? Загрузить набор ответов в БД и искать полнотекстовым индексом по предыдущей фразе? Ответ, так сделать можно, но результат получается не очень. Вот допустим:

Ч: привет!
К: грег, мария, это али…
Ч: как дела?
К: из соседнего номера поступила жалоба на шум, месье
Ч: как тебя зовут?
К: спасибо, спасибо.
Ч: сколько тебе лет?
К: ты живешь где-то рядом...?

Поиск по большой базе ответов дает много результатов, но релевантность их маленькая, поэтому диалоги получаются достаточно низкого качества. Вот здесь нам и должна помочь нейронная сеть – с помощью нее мы отсортируем хорошие ответы от плохих.

Где взять данные для обучения:
Самый больной для многих вопрос. Вот и люди взяли базу субтитров к фильмам. Такая база есть и для русского языка, правда меньше размером. Но большая беда этой базы – в ней много монологов, различного мусора и вообще разделить диалоги друг от друга сложно.

Поэтому я решил пойти другим путем и помимо субтитров собрать диалоги из находящихся в открытом доступе книг. Начинающие писатели и авторы всевозможных фанфиков создали просто невероятный объем информации, так что грех им не воспользоваться. Конечно, там много всякой ерунды. В процессе работы мне приходилось это неизбежно читать, и голова пухла от длинных бесед какого-то Сергея и Сейлор Мун (кому то же это пришло в голову!). Но в целом, это более качественная база, чем субтитры, правда собрать ее не так просто, нужно потратить время.

Архитектура
Здесь есть немалый простор для фантазии. Я начал с простых вариантов и продвигался к сложным, чтобы понять, какая реально польза от различных наворотов. В статьях люди обычно стараются сделать круто и прицепить какой-то новый прибамбас, а в связи с тем, что область новая, то польза от этого не всегда очевидна.

Самая простая модель берет соединение последовательности векторов слов контекста и ответа и подает все это на обычный полностью соединенный слой. Поскольку ответ бывает разной длины, его записываем в вектор длины фиксированной, заполняя “лишнее” место нулями. Считается, что это плохо. Посмотрим.

Второй вариант отличается тем, что до “смешивания” контекста и ответа им дан “свой собственный” слой для формирования представления. Ну и дальше может быть несколько слоев обработки, на рисунке показано два.

Третий вариант кодирует последовательность разной длины с помощью рекуррентного LSTM кодировщика. Это много медленнее и обучается дольше. Но вроде как должно работать лучше.

Рис.1. Архитектура нейронных сетей

Результаты
По способности выбирать правильный ответ из нескольких предложенных вариантов (случайно взятых ответов), самый лучший результат показала модель номер 2, с пятью слоями для анализа данных по 700 нейронов в каждом (+1 слой репрезентации входных данных, тоже из 700 нейронов). Чтобы обучить такую глубокую сеть, пришлось использовать Хайвей (Highway) слои, которые позволяют информации проще распространятся от нижних слоев к верхним, также подождать несколько дней пока модель рассчитывалась на GPU. Модель номер 1 явно недообучилась, а номер 3 долго думала, и тоже не добрала до результатов модели номер 2 несколько процентов. Что напоминает нам о том, хотя самые простые модели не годятся для больших объемом данных, все же никогда не следует умножать сущности сверх необходимости.

Получившаяся система располагает базой в 30 миллионов пар реплик, а нейронная сеть имеет около 3 млн. обучаемых параметров.

Какие же диалоги можно в результате получить?

Ч: Привет
К: привет.
Ч: Как твои дела?
К: Не знаю.
Ч: Как тебя зовут?
К: меня зовут юнис.
Ч: Сколько тебе лет?
К: Пятнадцать.
Ч: Где ты живешь?
К: Дома.
Ч: ты учишься в школе?
К: Нет
Ч: а где ты учишься?
К: в бундесвере.
Ч: Ты любишь музыку?
К: да, я люблю музыку.
Ч: Какая музыка тебе нравится?
К: в основном я слушаю r&b, фанк.
Ч: Ты веришь в бога?
К: я и сейчас верю в бога, старина
Ч: что такое мораль?
К: два человека вместе - разве это не мораль?
Ч: какого цвета море?
К: цвета океана после шторма.

Достаточно хорошо, на мой взгляд. Вот еще пример:

Ч: Где живет бегемот?
К: Жил
Ч: а что, сейчас не живет?
К: Я не знаю.
Ч: тогда где он жил раньше?
К: у парка, на мэйпл стрит.
Ч: куда же он пропал?
К: куда он пропал?
Ч: я тебя спрашиваю, куда он пропал?
К: я не понимаю, почему я снова в больнице.
Ч: потому что ты болеешь
К: я просто хочу помогать людям.
Ч: Тогда скажи мне, где бегемот!
К: почему ты так сильно хочешь это знать?
Ч: просто ответь мне
К: ты хочешь, чтобы я помогла тебе попрощаться с родными?
Ч: Это угроза?
К: Наблюдение
Ч: Так где же все-таки бегемот?
К: он на гавайях, но радж управляет отсюда
Ч: Кто такой радж?
К: не встречалась с ним?
Ч: Нет, никогда
К: жили-были муж с женой, только муж каждую ночь исчезал.

Одним из важнейших условий овладения английским языком является практика его использования. Даже если вы учите английский , все равно письменное и устное общение является важнейшей частью обучения. Существует несколько способов организации подобного языкового опыта.

Данная статья посвящена одному из таких секретов, о котором, действительно, не все еще знают, как можно практиковать письменный английский с роботами совершенно бесплатно. В статье также представлен список подобных умных программ со ссылками. На самом деле, в некоторых странах, например в Японии, люди платят деньги, чтобы изучать английский с роботами и чат-ботами.

Своим ученикам я рекомендую использовать язык при любой возможности. Те ученики, которые живут, работают или путешествуют за рубежом, показываю более быстрый прогресс, так как используют английский в повседневной жизни. А те ребята, у кого есть вторая половинка, но их разделяет языковой барьер, они вообще на турбо скоростях овладевают иностранным языком.

Те ученики, у которых нет такой возможности, при помощи моих находят иностранцев для общения и языковой практики. Но, здесь скрыто несколько подводных камней. Во-первых, не все хотят искать и попросту ленятся; во-вторых, регистрация на сайтах, поиск партнеров зачастую отнимают много времени; в-третьих, английский новых друзей иногда оставляет желать лучшего. На самом деле, – это оптимальный вариант, даже не смотря не некоторые указанные “подводные камни”. Однако, иногда хочется чего-то побыстрее. Когда написал и тебе сразу ответили.

Поиски решения этого вопроса привели меня к теме чат-ботов для изучения английского. Простыми словами, вы можете переписываться, а в некоторых случаях даже общаться голосом, с умными роботами, которые довольно-таки “в тему” отвечают. Многие из этих роботов прошли тест Тьюринга и вы вряд ли бы догадались в некоторых случаях, что перед вами робот, а не человек.

Преимущества практики английского с ботами:

• они всегда отвечают, когда бы вы ни написали им
• их английский всегда грамотен и они знают

Список чат-ботов для языковой практики:

1. Mike – хороший собеседник
2. Elbot – хороший собеседник
3. Cleverbot (действительно, не тупой) + есть возможность голосового общения)
4. Zabaware (довольно неглупый бот, который к тому же произносит фразы)
5. John Lennon (да, тот самый. Нажмите слева в меню “Chat with…”)
6. Acobot – отличное приложение на Android, которое ориентированно именно на изучения английского. Можно для примера

Представьте ситуацию: удалились данные с SSD, или твердотельный накопитель вышел из строя. Возможно ли восстановить информацию? Рассмотрим, какими программами происходит восстановление данных с SSD диска, и когда это возможно.

Немного теории

На традиционном HDD удаляется только индекс. ОС помечает запись файла в файловой системе, чтобы объявить эти блоки доступными. В них записывается другая информация, но старые данные остаются доступными. Поэтому они . Реальное содержимое остается пока в этот сектор не запишутся новые данные.

Что происходит при удалении

Данные пишутся в пустые ячейки NAND памяти. При удалении ОС обращается к контроллеру SSD, передавая команду TRIM (удалить). Что это за команда?
TRIM - технология интерфейса ATA (используется для подключения накопителей). Сообщает ОС какие ячейки с информацией могут быть очищены диском. Он мгновенно удаляет содержимое блоков без уведомления пользователя. Такой механизм делает невозможным .
Если SSD встроен в ПК через SATA и на нем находится ОС, или используется как дополнительное файловое хранилище - восстановить утерянную информацию не получится. Причина - команда TRIM. При удалении контроллер получает команду на физическое удаление информации в блоке в этот же момент.
Рассмотрим случаи, когда возможно восстановление данных с SSD дисков.

Когда восстановление возможно

1. Не выполнилась команда TRIM: сбой файловой системы;
2. TRIM не поддерживается старыми ОС, ниже Windows 7;
3. Диск используется как внешний накопитель;
4. Команда TRIM не поддерживается устройством;
5. Диск отформатирован в FAT;
6. При сбое в таблице разделов диска. Потеряется доступ к информации, но команда TRIM не запустится.

Как узнать, что диск сломался

Если устройство не работает, происходит следующее:

1. Постоянное постукивание или жужжание;
2. Софт не инсталлируется, игры не запускаются. Связано с появлением Bad-секторов
3. Появляется ошибка «Файловая система повреждена».

Как восстановить

Установите программу Renee Undeleter . Нажмите два раза ЛКМ по инсталляционному «exe» файлу для начала установки. Она простая не вызовет сложностей даже у начинающий пользователей. Программа предлагает использовать четыре варианта восстановления:

Следующим шагом выберите устройство.
Если известно какие файлы нужно восстановить, выберите настройки пользователя. Это уменьшит время сканирования. Иначе выберите по умолчанию.
После сканирования отобразятся удаленные файлы.
Восстановите нужные данные.

Hetman Recovery

Скачайте утилиту с официального сайта . Благодаря встроенному Мастеру, работа не вызовет сложностей даже у неподготовленных пользователей. Он покажет последовательность действий.
После открытия программы, отобразится список всех HDD. Даже тех, которые не определяются системой. Отобразятся как не размеченные области.
Запускаем Мастер. Нажав на кнопку «Wizard».
Выбираем нужный диск.
Определяемся как программа будет анализировать данные. Предлагается два варианта: быстрый или полный. Для SSD используете второй вариант «Full».
Запустите сканирование. После его завершения восстановите файлы, кликнув на «Recovery».

Восстановление данных с жесткого диска SSD программой DMDE

Скачайте приложение с официального сайта . Бесплатная версия имеет ограничение. Восстанавливает файлы по одному. Запустите программу, выберите носитель, с которого нужно восстановить информацию.
Утилита проанализирует структуру SSD, отобразит информацию о разделах. Выберите нужный, далее «Открыть».
В левой части программы выберете «Найденное», справа в параметрах установите «Чистая», далее поставьте значение «Включить удаленные».
Найденные файлы программа отметит крестиком. Выберите те, которые нужно восстановить, укажите директорию, куда программа сохранит восстановленную информацию.

Расширенный поиск

После выбора нажмите кнопку «Полное сканирование».
Далее:

При повелении ошибок чтения MFT нажимайте кнопку «ОК». Будет произведен дальнейший анализ.

AdvancedDiskRecovery

Скачайте утилиту по адресу: https://www.systweak.com/advanced-disk-recovery/ . Запустите инсталляционный «exe» файл для установки.
Откроется окно программы где:
Перейдя в раздел «Настройки» выберите тип сканирования:

1. Быстрое. Поиск удаленной информации на основе таблицы файлов;
2. Полное. Определение удаленных файлов по сигнатуре.

Вывод

Мы рассмотрели, как восстановить данные с SSD диска. Воспользуйтесь для этого приложениями, описанными выше. Начинающим рекомендую использовать Hetman Partition. Благодаря встроенному мастеру процесс восстановления не вызовет трудностей.

Жесткий диск SSD (Solid State Disk) (с англ.) – твердотельный накопитель. Основное отличие от обычных жестких дисков – отсутствие механических элементов. В производстве можно встретить два вида твердотельных накопителей: с энергозависимой Flash SSD или NAND памятью, или энергозависимой RAM SSD.

Первым, кто показал данное запоминающее устройство, была компания M-System. После по ее примеру последовали Super Talent Technology и OCZ. История этих дисков начинается с 2009 года, когда были выпущены диски объемом 512 Гб, а немного позже и 1Тб. На сегодняшний день почти не осталось производителя, который бы не производил или разрабатывал SSD накопители. Основной рынок данного продукта находится у Samsung, OCZ, SanDisk.

Эти накопители появились совсем недавно, и сразу нашли своего покупателя на рынке компьютерной техники и периферии. По началу SSD накопители проигрывали в скорости чтения и записи стандартным жестким дискам, но сейчас уже есть модели, которые приблизились, и даже превосходят по показателям.

Основными преимуществами SSD накопителей перед жесткими дисками являются:

Достаточно высокая скорость доступа к памяти накопителя

Отсутствие подвижных элементов, что исключает шум от винчестера

Высока скорость чтения и записи (до 270 Мб/сек)

Высокая эргономичность

Достаточно маленький вес и габариты

Долголетие, что выражается в высокой сопротивляемости механических повреждениям и широкий диапазон рабочих температур

Но есть и недостатки:

Приличная цена за 1Гб данных

Сильная восприимчивость к потере питания в сети

Подвержены воздействию магнитных и электрических полей

Ограничение в количестве перезаписи данных (до 100 тысяч раз)

Твердотельные накопители SSD тоже подвержены поломкам и потере данных. Наиболее часто-встречаемые:

Логические ошибки (отформатировали, стерли нужную информацию, ошибки в загрузочных секторах)

Электрические неполадки и повреждения (скачок в электросети, неправильное подключение к питанию)

Механические повреждения частей и элементов (разломана плата, поврежден разъем)

Поломка контроллера (сгорел или поврежден иным способом)

Если система не может определить SSD накопитель, то, скорее всего, присутствует механическая неисправность или поврежден контроллер. Восстановление SSD отличается от процесса реанимации жестких дисков. В случае, если обнаружена поломка, вам не помогут сторонние программы и утилиты. Сразу стоит обратиться квалифицированному специалисту, чтобы не усугубить неполадку собственным вмешательством в оборудование.

Основной проблемой является контроллер на SSD накопителе и его прошивка. Очень велика вероятность его повреждения, так как он расположен между интерфейсом и микросхемами.

Сама задача по восстановлению SSD очень не простая и состоит из нескольких этапов, которые занимают достаточно много времени и сил, и требуют специальных знаний.

Прежде всего, нужно разобрать корпус накопителя и достать все микросхемы. Затем со всех микросхем считываются данные и сохраняются на компьютер. Тут не обойтись без специального устройства для считывания. В процессе важно соблюдать последовательность считывания, в соответствии с каждой моделью твердотельного накопителя. Это поможет мастеру по восстановлению SSD в поиске правильного решения и сэкономит кучу времени. И только после, обработав данные на специальном программном обеспечении, можно будет получить восстановленную пользовательскую информацию в виде образа диска.

Всю эту работу сделают за кратчайшие сроки опытные специалисты сервисных центров или инженеры компании.

Восстановление SSD-накопителей | Когда хорошая память попадает в неприятные ситуации

В этот раз мы связались с лабораторией Flashback Data, сотрудники которой занимаются всеми типами устройств для хранения данных, но имеют особый опыт работы с флэш-памятью. Представители Flashback Data согласились показать нам, какие усилия предпримет высококлассная лаборатория ради спасения нашей драгоценной флэш-памяти.

Восстановление SSD-накопителей | Диапазон чтения

В самом начале своего пути Flashback в основном производила замену неисправных чипов, но со временем продолжать это становилось всё тяжелее, поскольку производители стали использовать различные компоненты на различных стадиях производства в одной и той же модели. На некоторых устройствах появилось шифрование, которое ещё больше затрудняет процесс восстановления данных. В этом случае от Flashback требовалась возможность чтения памяти напрямую, что, в свою очередь, означало необходимость обладать невероятным количеством способов для чтения чипов из столь широкого разнообразия имеющейся флэш-памяти.

Заметим, что когда Flashback ссылается на "шифрование", это состояние, как правило, является неизвестным для пользователя. Например, где-то с 2006 года SanDisk начала шифровать данные на всех своих накопителях, как поведал нам один из основателей и вице-президент компании Flashback Рассел Чозик (Russell Chozick). Как и в случае с автоматическим шифрованием жёстких дисков, контроллер производит шифрование всех данных, хранящихся во флэш-памяти. Так как для блокировки шифрования не предусмотрен пароль, данные расшифровываются и извлекаются из носителя. Так что в случае повреждения печатной платы сотрудники Flashback стараются переместить контроллер и чипы памяти в новое устройство. "Если сгорел контроллер, то получить данные обратно практически нереально, поскольку именно на нём содержится информация о том, как именно нужно расшифровать данные. При отсутствии возможности работы с контроллером вы сталкиваетесь с большой проблемой".

Восстановление SSD-накопителей | Типы флэш-памяти

Эти тёмно-серые чипы стандарта TSOP48 в течение многих лет являлись типичными компонентами USB-накопителей, а также карт памяти SSD/SD/CF, но в последнее время они открыли дорогу и для других чипов. На самом нижнем образце на картинке видно заднюю часть чипа TLGA, и вы можете заметить, что сбоку нет контактов, а модули расположены на задней стороне. Такие чипы являются обычными для всех типов флэш-памяти и работают, например, в новейших смартфонах iPhone.

Во время процесса восстановления сотрудники Flashback вставляют чипы TSOP48 в считывающие устройства, но TLGA также должны быть припаяны. Очевидно, что при этом процессы анализа и восстановления информации происходят куда сложнее. Так что после внедрения в смартфоны более компактной флэш-памяти старые "монолитные" форматы кажутся более простыми в сравнении с ней.

Карты памяти формата SD и USB-устройства LaCie также имеют монолитные чипы. В то время как большинство карт памяти имеет отдельные чипы контроллера и памяти, в монолитном чипе оба компонента объединены в одном крошечном модуле. Очевидно, что нарушения в работе таких устройств могут произойти по любой из множества причин. Если перестаёт работать контроллер, то специалисты всё равно могут получить доступ к данным при помощи других средств вместо использования контактов для подключения к кардридеру, смартфону или камере. На фотографии заметно, как с устройства частично снят корпус, поскольку специалистам необходимо удалить некоторую часть припаянного чёрного покрытия, чтобы найти определённые точки для подключения к логическому анализатору. Как только все точки будут определены, карта будет подсоединена так, как это показано на следующих картинках.

Для удаления части покрытия сотрудниками Flashback используются удивительно незамысловатые инструменты: шлифовальная паста и полировальный круг. Для достижения этой цели можно использовать и химикаты, однако нам сказали, что лучше воспользоваться медленным и тщательным процессом полировки. В процессе шлифования можно легко повредить очень тонкие контакты. Сначала мы попросили подключить накопитель LaCie, но затем отказались от этой идеи, узнав, что такая работа может занять у специалиста целый день.

Восстановление SSD-накопителей | Типичные ошибки флэш-накопителей

Мы видели фотографии повреждённых жёстких дисков, большинство из которых пострадало из-за столкновения головки с треками в магнитном носителе. Практически все повреждения SSD-накопителей и флэш-памяти, которые обнаруживают сотрудники Flashback, незаметны. В редких случаях можно увидеть след ожога на печатной плате, но, в целом, сломанные контроллеры и сожжённые предохранители не оставляют видимых признаков. В итоге, специалистам приходится долго работать, тестируя каждый резистор. В сравнении с этим отсоединить коннектор, как это показано на фото, для специалистов по ремонту – пара пустяков.

Восстановление SSD-накопителей | Как насчёт изнашивания?

Ранее мы уже писали о постоянной гонке двух процессов – усовершенствованием чтения алгоритмов по мере увеличения ёмкости и сокращением литографии, что напоминает перетягивание каната. В частности, мы обеспокоены тем, что флэш- и SSD-накопители, проработавшие несколько лет, могут проявлять признаки износа.

К счастью, как нам говорят, большинству SSD-накопителей, которые поступают в лабораторию Flashback, нет ещё и года, так что и износа NAND-памяти не наблюдается. На самом деле, случаи фактического износа крайне редки. Хотя у USB-флэшек (особенно более старых моделей с менее совершенными алгоритмами выравнивания) износ распространён чуть больше. Считывание с чипов происходит отлично, но при проверке информации возникает множество ошибок ECC, и никакие данные извлечь не получается. Наличие четырёх красных точек (далее на картинках) говорит о проблемах с ECC. Напротив, основные проблемы износа будут отмечены четырьмя зелёными точками.

Были и такие случаи, когда специалисты проводили анализ, вынимали чип, чистили ламель и ставили всё на место, усугубляя проблему со считыванием данных, на что теперь требовалось больше времени. Так что износ и правда можно расценивать как реальную опасность, но здесь не идёт речи ни о каком кризисе, хотя многие могли бы о нём подумать.

Восстановление SSD-накопителей | Нагрей

Чипы должны быть удалены с печатной платы при помощи специального паяльного приспособления, и одним из главных инструментов на этом этапе является горячий воздух. На картинке видно, как специалисты удаляют TLGA-чип из USB-устройства. Они контролируют температуру и давление воздуха, нагревая устройство настолько, чтобы можно было расплавить спаянные точки. В таких паяльных станциях также имеются паяльники, сварочный флюс, омметры и другие приспособления для диагностики. Некоторые из этих станций занимают основную лабораторию Flashback, площадь которой составляет примерно 465 квадратных метров.