Master-X
Форум | Новости | Статьи
Главная » Форум » Программинг, Скрипты, Софт, Сервисы » 
Тема: Подскажите скрипт, команду или софт для работы с текстом
цитата
19/11/16 в 11:52
 Crimean
Задача такая
есть файл txt
в нем записи в таком формате

СЛОВО СЛОВО2 СЛОВО2
СЛОВО СЛОВО2 СЛОВО2
СЛОВО СЛОВО2 СЛОВО2

разделитель пробел или TAB

нужно, чтобы в каждой строке осталось только СЛОВО, а все после него удалилось
т.е. получить такой формат

СЛОВО
СЛОВО
СЛОВО

файл большой, 8ГБ с миллионами строк

чем можно сделать ?
цитата
19/11/16 в 12:08
 vi[:RuS]
Сделай масс реплейс " СЛОВО2 СЛОВО2" на "" icon_smile.gif
цитата
19/11/16 в 13:04
 johndoe2
Код:

awk '{print $1}' < input.txt > output.txt
цитата
19/11/16 в 14:45
 Crimean
vi[:RuS] писал:
Сделай масс реплейс " СЛОВО2 СЛОВО2" на "" icon_smile.gif


так они разные
во второй строке уже будет СЛОВО4 СЛОВО5 и тд

я не правлино в первом посте написал
формат такой

СЛОВО_первое1 СЛОВО2 СЛОВО3
СЛОВО_первое2 СЛОВО4 СЛОВО5
СЛОВО_первое3 СЛОВО6 СЛОВО7
и тд

Последний раз редактировалось: Crimean (19/11/16 в 14:51), всего редактировалось 1 раз
цитата
19/11/16 в 14:48
 Crimean
johndoe2: сколько стоит такое написать ?
+ удалить повторы
+ концу каждой строки прибавить .com .info и тд по выбору

чтоб с денвера или с консоли работало
цитата
19/11/16 в 16:57
 johndoe2
Crimean писал:
+ удалить повторы
+ концу каждой строки прибавить .com .info и тд по выбору


Код:

awk '{print $1}' < input.txt | sort | uniq | awk '$0=$0".com"' > output.txt


Если на винде - поставь cygwin. Там полный набор утилит
цитата
19/11/16 в 17:00
 Magistrator
если на винде, то просто импортируй как таблицу в майкрософт аксцессе
он тебе сразу и повоторения уберет.
цитата
19/11/16 в 18:07
 Crimean
микрософт такие большие файлы не открывает
цитата
19/11/16 в 18:10
 Crimean
johndoe2: это PHP ?
цитата
19/11/16 в 18:16
 Mika
это shell, открываешь терминал и запускаешь команду.
цитата
19/11/16 в 18:18
 johndoe2
Crimean писал:
johndoe2: это PHP ?


Это стандартные команды *nix
цитата
19/11/16 в 19:09
 raider
звгони в excell с разделением по табуляции и удали колонки 2 и з
цитата
19/11/16 в 19:09
 dizziness
тот самый момент, когда ты жалеешь о том, что не юзаешь *nix shell trollface.png
цитата
19/11/16 в 20:02
 MattCutts
Если не подходит awk и прочие nix-утилиты (excel и access не подойдут на таком объеме), то легко сделать такое при помощи textpipe:



В other пишем пробел или иной разделитель.

8 gb - не проблема
цитата
19/11/16 в 20:18
 mickey
notepad++ выделение столбцом еще можно icon_cool.gif
цитата
19/11/16 в 20:56
 MattCutts
np++ 8 gb не откроет
цитата
19/11/16 в 22:09
 Crimean
MattCutts писал:
(excel и access не подойдут на таком объеме), то легко сделать такое при помощи textpipe:

картинка не грузится,

textpipeом давно пользуюсь, но он не удвлет столбцы моя null версия почемуто )

other это где там ? icon_smile.gif
цитата
19/11/16 в 22:10
 Crimean
за cygwin спасибо!
цитата
19/11/16 в 22:44
 MattCutts
Crimean писал:


other это где там ? icon_smile.gif


Remove fields
цитата
19/11/16 в 22:51
 EagleOwl
Я для подобных задач пользуюсь http://csved.sjfrancke.nl/
цитата
20/11/16 в 10:40
 Crimean
MattCutts писал:
Remove fields

вот такое только там


columns ничего не удаляет icon_confused.gif
цитата
20/11/16 в 12:09
 MattCutts
Crimean писал:
вот такое только там


columns ничего не удаляет icon_confused.gif


Delimeted fields

Тебе нужно удалить поля с разделителем на каждой строке. Разделитель в данном случае - это пробел. Сколько именно полей и с какого начинать - задаешь в настройках справа. Понятно? icon_smile.gif
цитата
20/11/16 в 13:30
 Гарин
Здесь было нативное виндоус решение.

Больше не будет. icon_smile.gif
цитата
20/11/16 в 14:47
 Crimean
MattCutts: Спасибо smail54.gif icon_smile.gif
цитата
20/11/16 в 15:51
 Magistrator
Crimean писал:
микрософт такие большие файлы не открывает

facepalm.gif
Стр. 1, 2  >  последняя »


Эта страница в полной версии